Run Containered MPI Program in HPC with Slurm and Apptainer
This blog is inspired by the blog post A New Approach to MPI in Apptainer written by Dave Godlove from CIQ, Inc.. This blog post provides a simple and straightforward introduction to the method proposed by Dave Godlove.
Background
The traditional way of running MPI programs in the HPC environment faces the challenges of complex compiling depen...
在Slurm中以Master和Worker模式运行自定义程序
超算集群采用的Slurm集群资源管理器默认是为MPI应用设计,但当需要以Master-Worker主从模式运行自定义的分布式计算程序时,需要利用一些技巧进行处理。本文提供了两个适用于主从模式的通用Slurm作业脚本,可以分别启动自定义的主节点程序与从节点程序。
该脚本由两个子脚本slurm-job-script.sh以及driver-script.py组成,其中slurm-job-script.sh是一个bash脚本,用于让Slurm管理器启动作业,driver-script.py是一个Python脚本,用于具体的启动分布式计算作业。
使用方法
将slurm-job-script.sh和driver-script.py两个脚本文件放到同一个目录下。
slurm-job-scri...
本科毕业设计/大学生创新训练计划技术指导
在进行本科毕业设计、大学生创新训练计划时,需要提前学习和掌握部分课堂中不会教、但对于后续研究工作开展非常必要的技术知识。目前包括Linux编程环境配置、C/C++语言系列、Java语言系列、分布式计算、图计算、大数据技术等。
在超算(HPC)集群中运行Spark作业
高性能计算(HPC)中经常需要使用到超算集群。超算集群多采用Slurm作为集群资源管理器,对用户提交的计算作业(job)统筹分配计算节点并在远程节点上启动计算进程。
但Spark官方仅支持Standalone、YARN、Mesos、K8s等部署方式,其不适应HPC集群中基于Slurm的以作业为单位的管理方式。
为了在HPC环境下利用大数据软件栈,劳伦斯利物浦国家实验室(LLNL)开发的Magpie项目提供了在HPC环境下通过Slurm、Moab等集群管理器运行大数据系统的脚本。
Magpie项目的官方文档精确而简洁,适合对HPC环境很了解的专业用户阅读与使用,但对于初学者上手有难度。
本教程的目标是面向初学者介绍如何利用Magpie项目在HPC环境中启动和运行Spark作业。
Summary of Query Graphs in Subgraph Matching Research
This blog summarizes the query graphs that are frequently used in isomorphism-based subgraph matching algorithm/system research. The surveyed literature is listed in the “Reference” section.
Problem Definition of Isomorphism-based Subgraph Matching
Given a single large data graph $D$ and a small query graph $q$, the target of subgraph isomorph...
共计 22 篇文章,3 页。