From 1ef09f0482517ddaac28efc97c7bc355524ed919 Mon Sep 17 00:00:00 2001 From: sunlock0653 Date: Wed, 30 Jul 2025 15:06:02 +0800 Subject: [PATCH 1/7] update readme --- README.md | 72 ++++++++++++++++++++++++++++++++++--------------------- 1 file changed, 45 insertions(+), 27 deletions(-) diff --git a/README.md b/README.md index 13837e48..3978ab8b 100644 --- a/README.md +++ b/README.md @@ -1,13 +1,13 @@ # HPCRunner : 贾维斯智能助手 -## **愿景：自动容器化助力极简部署，一站式调优HPC应用** + **愿景：自动容器化助力极简部署，一站式调优HPC应用** ![贾维斯](./images/jarvis-logo.png) -## 项目背景 +### 项目背景 ​ HPC被喻为是IT行业“金字塔上的明珠”，其部署、编译、运行、性能采集分析的门槛非常高，不同的机器上部署HPC应用耗费大量精力，而且很多情况下需要同时部署ARM/X86两套环境进行验证，增加了很多的重复性工作，无法聚焦核心算法优化。 ![贾维斯功能概览](./images/jarvis.png) -## 项目特色 +### 项目特色 - 支持ARM/X86,一键部署，采用业界权威依赖目录结构管理海量依赖，自动生成module file - 根据HPC配置实现一键编译运行、一键CPU/GPU性能采集、一键Benchmark. @@ -19,7 +19,27 @@ - (未来) 集群性能分析工具. - (未来) 智能调优. -## 目录结构 +### 贾维斯开发规划 + +![RoadMap](./images/roadmap.png) + +### 环境依赖 + +- X86/ARM架构 + LinuxOS +- python3 +- environment-modules +- cmake + +## 贾维斯使用指导 +### 下载贾维斯 +执行如下命令安装相关依赖并下载贾维斯 +``` +yum -y install environment python3 python3-devel cmake +git clone https://gitee.com/openeuler/hpcrunner.git + +``` + +### 贾维斯目录结构 | 目录/文件 | 说明 | 备注 | | --------- | ---------------------------------- | -------- | @@ -36,17 +56,16 @@ | init.sh | 贾维斯初始化文件 | | | jarvis | 贾维斯启动入口 | | -## 环境依赖 +### 使用贾维斯安装应用流程 +以安装 xapp 为例： -- X86/ARM架构 -- python3 -- LinuxOS - -## 贾维斯使用流程 - -1、开发应用模板 +步骤1：生效应用模板 +进入hpcrunner根目录执行如下命令： +``` +./jarvis -use /path/xapp.config +``` -贾维斯中包含典型HPC应用模板， 位于目录”hpcrunner/template”中，可直接使用。如要新增应用模板，需遵循一定的格式新建自定义文件app.config。 +注：贾维斯中包含典型HPC应用模板， 位于目录”hpcrunner/template”中，可直接使用。如要新增应用模板，需遵循一定的格式新建自定义文件app.config。 配置文件格式如下所示 @@ -64,31 +83,27 @@ | [BATCH] | HPC应用批量运行命令**** | #!/bin/bash
mpirun -np 2 cp2k.psmp H2O-256.inp mpirun -np 2 cp2k.psmp H2O-512.inp | | [PERF] | 性能分析采集工具额外参数配置 | perf= -o
nsys=
ncu=--target-processes all --launch-skip 71434 --launch-count 1 | -2、生效应用模板 -``` -./jarvis -use /path/app.config -``` -3、下载安装包 +步骤2：下载安装包 ``` ./jarvis -d ``` -4、安装应用依赖 +步骤3：安装应用依赖 ``` ./jarvis -dp ``` -5、编译应用 +步骤4：编译应用 ``` ./jarvis -b ``` -6、运行应用 +步骤5：运行应用 ``` ./jarvis -r @@ -101,7 +116,7 @@ 使用默认的应用配置部署运行应用QE ``` -./jarvis -use data.config +./jarvis -use templates/qe/6.4/data.qe.arm.cpu.config ./jarvis -d ./jarvis -dp ./jarvis -b @@ -111,6 +126,7 @@ ## 贾维斯命令大全 +### 贾维斯常用命令 | **功能** | **命令** | **示例/说明** | | ------------------------------- | ------------------------------------------------------------ | ------------------------------------------------------------ | @@ -133,7 +149,8 @@ | 一键生成Singularity容器定义文件 | ./jarvis -container docker-hub-address | 需要事先指定应用配置./jarvis -use data.config
参数"docker-hub-address"指定基础镜像
示例：./jarvis -container openeuler/openeuler | | 更新依赖库的路径 | ./jarvis -u | 如果移动了贾维斯的路径，将自动更新software/modulefiles的路径 | -### option支持列表如下所示 +### option介绍 +option支持列表如下所示 | **选项值** | **解释** | **安装目录** | | ----------- | ------------------------------- | ------------------------- | @@ -144,15 +161,16 @@ | bisheng+mpi | 使用毕昇和当前生效的mpi进行编译 | software/libs/bisheng/mpi | | any | 安装工具软件 | software/utils | -## 路标 -![RoadMap](./images/roadmap.png) ## FAQ Q1：如何在没有网络的环境下使用贾维斯部署软件？ - -A：将事先下载好的安装包放置到downloads目录下即可进行后续安装操作。 +``` +A： +步骤1：寻找一台有外网链接的服务器环境，执行jarvis -d命令，下载相关依赖 +步骤2：将事先下载好的安装包放置到downloads目录下即可进行后续安装操作。 +``` ## 欢迎贡献 -- Gitee From 432feba9a682e629e3afcd5917081a46bb2f9e76 Mon Sep 17 00:00:00 2001 From: sunlock0653 Date: Wed, 30 Jul 2025 15:10:42 +0800 Subject: [PATCH 2/7] update readme --- README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/README.md b/README.md index 3978ab8b..c4aa4518 100644 --- a/README.md +++ b/README.md @@ -1,5 +1,5 @@ # HPCRunner : 贾维斯智能助手 - **愿景：自动容器化助力极简部署，一站式调优HPC应用** +## **愿景：自动容器化助力极简部署，一站式调优HPC应用** ![贾维斯](./images/jarvis-logo.png) ### 项目背景 -- Gitee From a045f33da9be271ce66a6b175e87858a92a74028 Mon Sep 17 00:00:00 2001 From: sunlock0653 Date: Wed, 30 Jul 2025 15:13:54 +0800 Subject: [PATCH 3/7] update readme --- README.md | 31 +++++++++++++++---------------- 1 file changed, 15 insertions(+), 16 deletions(-) diff --git a/README.md b/README.md index c4aa4518..f211f9cb 100644 --- a/README.md +++ b/README.md @@ -1,13 +1,13 @@ # HPCRunner : 贾维斯智能助手 -## **愿景：自动容器化助力极简部署，一站式调优HPC应用** + ![贾维斯](./images/jarvis-logo.png) ### 项目背景 - + **愿景：自动容器化助力极简部署，一站式调优HPC应用** ​ HPC被喻为是IT行业“金字塔上的明珠”，其部署、编译、运行、性能采集分析的门槛非常高，不同的机器上部署HPC应用耗费大量精力，而且很多情况下需要同时部署ARM/X86两套环境进行验证，增加了很多的重复性工作，无法聚焦核心算法优化。 ![贾维斯功能概览](./images/jarvis.png) -### 项目特色 +## 项目特色 - 支持ARM/X86,一键部署，采用业界权威依赖目录结构管理海量依赖，自动生成module file - 根据HPC配置实现一键编译运行、一键CPU/GPU性能采集、一键Benchmark. @@ -19,27 +19,27 @@ - (未来) 集群性能分析工具. - (未来) 智能调优. -### 贾维斯开发规划 +## 贾维斯开发规划 ![RoadMap](./images/roadmap.png) -### 环境依赖 +## 环境依赖 - X86/ARM架构 + LinuxOS - python3 - environment-modules - cmake -## 贾维斯使用指导 +# 贾维斯使用指导 ### 下载贾维斯 执行如下命令安装相关依赖并下载贾维斯 ``` yum -y install environment python3 python3-devel cmake git clone https://gitee.com/openeuler/hpcrunner.git - ``` -### 贾维斯目录结构 + +## 贾维斯目录结构 | 目录/文件 | 说明 | 备注 | | --------- | ---------------------------------- | -------- | @@ -56,7 +56,7 @@ git clone https://gitee.com/openeuler/hpcrunner.git | init.sh | 贾维斯初始化文件 | | | jarvis | 贾维斯启动入口 | | -### 使用贾维斯安装应用流程 +## 使用贾维斯安装应用流程 以安装 xapp 为例： 步骤1：生效应用模板 @@ -111,7 +111,7 @@ git clone https://gitee.com/openeuler/hpcrunner.git -### 运行示例 +## 运行示例 使用默认的应用配置部署运行应用QE @@ -125,8 +125,7 @@ git clone https://gitee.com/openeuler/hpcrunner.git -## 贾维斯命令大全 -### 贾维斯常用命令 +# 贾维斯运行指令 | **功能** | **命令** | **示例/说明** | | ------------------------------- | ------------------------------------------------------------ | ------------------------------------------------------------ | @@ -149,7 +148,7 @@ git clone https://gitee.com/openeuler/hpcrunner.git | 一键生成Singularity容器定义文件 | ./jarvis -container docker-hub-address | 需要事先指定应用配置./jarvis -use data.config
参数"docker-hub-address"指定基础镜像
示例：./jarvis -container openeuler/openeuler | | 更新依赖库的路径 | ./jarvis -u | 如果移动了贾维斯的路径，将自动更新software/modulefiles的路径 | -### option介绍 +** option介绍** option支持列表如下所示 | **选项值** | **解释** | **安装目录** | @@ -163,7 +162,7 @@ option支持列表如下所示 -## FAQ +# FAQ Q1：如何在没有网络的环境下使用贾维斯部署软件？ ``` @@ -172,7 +171,7 @@ A： 步骤2：将事先下载好的安装包放置到downloads目录下即可进行后续安装操作。 ``` -## 欢迎贡献 +# 欢迎贡献 贾维斯项目欢迎您的专业技能和热情参与！ @@ -190,7 +189,7 @@ A： ![微信群](./images/wechat-group-qr.png) -## 技术文章 +# 技术文章 揭开HPC应用的神秘面纱：https://zhuanlan.zhihu.com/p/489828346 -- Gitee From 8a3e3ed98dbf3873bdfa0903549942b6c91125d2 Mon Sep 17 00:00:00 2001 From: sunlock0653 Date: Wed, 30 Jul 2025 15:18:12 +0800 Subject: [PATCH 4/7] update readme --- README.md | 10 +++++----- 1 file changed, 5 insertions(+), 5 deletions(-) diff --git a/README.md b/README.md index f211f9cb..d5281520 100644 --- a/README.md +++ b/README.md @@ -1,9 +1,8 @@ -# HPCRunner : 贾维斯智能助手 +# HPCRunner : 贾维斯智能助手，一站式部署调优HPC应用 ![贾维斯](./images/jarvis-logo.png) ### 项目背景 - **愿景：自动容器化助力极简部署，一站式调优HPC应用** -​ HPC被喻为是IT行业“金字塔上的明珠”，其部署、编译、运行、性能采集分析的门槛非常高，不同的机器上部署HPC应用耗费大量精力，而且很多情况下需要同时部署ARM/X86两套环境进行验证，增加了很多的重复性工作，无法聚焦核心算法优化。 +HPC被喻为是IT行业“金字塔上的明珠”，其部署、编译、运行、性能采集分析的门槛非常高，不同的机器上部署HPC应用耗费大量精力，而且很多情况下需要同时部署ARM/X86两套环境进行验证，增加了很多的重复性工作，无法聚焦核心算法优化。 ![贾维斯功能概览](./images/jarvis.png) @@ -31,7 +30,7 @@ - cmake # 贾维斯使用指导 -### 下载贾维斯 +## 下载贾维斯 执行如下命令安装相关依赖并下载贾维斯 ``` yum -y install environment python3 python3-devel cmake @@ -126,6 +125,7 @@ git clone https://gitee.com/openeuler/hpcrunner.git # 贾维斯运行指令 +##功能指令介绍 | **功能** | **命令** | **示例/说明** | | ------------------------------- | ------------------------------------------------------------ | ------------------------------------------------------------ | @@ -148,7 +148,7 @@ git clone https://gitee.com/openeuler/hpcrunner.git | 一键生成Singularity容器定义文件 | ./jarvis -container docker-hub-address | 需要事先指定应用配置./jarvis -use data.config
参数"docker-hub-address"指定基础镜像
示例：./jarvis -container openeuler/openeuler | | 更新依赖库的路径 | ./jarvis -u | 如果移动了贾维斯的路径，将自动更新software/modulefiles的路径 | -** option介绍** +##option介绍 option支持列表如下所示 | **选项值** | **解释** | **安装目录** | -- Gitee From 69f12a7a7c4a84c9ea467644e11b9114f1f750a5 Mon Sep 17 00:00:00 2001 From: sunlock0653 Date: Wed, 30 Jul 2025 15:18:56 +0800 Subject: [PATCH 5/7] update readme --- README.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/README.md b/README.md index d5281520..b06c9941 100644 --- a/README.md +++ b/README.md @@ -125,7 +125,7 @@ git clone https://gitee.com/openeuler/hpcrunner.git # 贾维斯运行指令 -##功能指令介绍 +## 功能指令介绍 | **功能** | **命令** | **示例/说明** | | ------------------------------- | ------------------------------------------------------------ | ------------------------------------------------------------ | @@ -148,7 +148,7 @@ git clone https://gitee.com/openeuler/hpcrunner.git | 一键生成Singularity容器定义文件 | ./jarvis -container docker-hub-address | 需要事先指定应用配置./jarvis -use data.config
参数"docker-hub-address"指定基础镜像
示例：./jarvis -container openeuler/openeuler | | 更新依赖库的路径 | ./jarvis -u | 如果移动了贾维斯的路径，将自动更新software/modulefiles的路径 | -##option介绍 +## option介绍 option支持列表如下所示 | **选项值** | **解释** | **安装目录** | -- Gitee From 7d88e4880df636a06e8c9fb50031f5e54bf98bf7 Mon Sep 17 00:00:00 2001 From: sunlock0653 Date: Wed, 30 Jul 2025 15:20:48 +0800 Subject: [PATCH 6/7] update readme --- README.md | 3 ++- 1 file changed, 2 insertions(+), 1 deletion(-) diff --git a/README.md b/README.md index b06c9941..de3b4416 100644 --- a/README.md +++ b/README.md @@ -112,7 +112,7 @@ git clone https://gitee.com/openeuler/hpcrunner.git ## 运行示例 -使用默认的应用配置部署运行应用QE +使用默认的应用配置部署运行应用QE-6.4 ``` ./jarvis -use templates/qe/6.4/data.qe.arm.cpu.config @@ -165,6 +165,7 @@ option支持列表如下所示 # FAQ Q1：如何在没有网络的环境下使用贾维斯部署软件？ + ``` A： 步骤1：寻找一台有外网链接的服务器环境，执行jarvis -d命令，下载相关依赖 -- Gitee From a0677e5275e18da53e392ccfe22a50e9d883c624 Mon Sep 17 00:00:00 2001 From: sunlock0653 Date: Wed, 30 Jul 2025 15:22:12 +0800 Subject: [PATCH 7/7] update readme --- README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/README.md b/README.md index de3b4416..9712cde3 100644 --- a/README.md +++ b/README.md @@ -84,7 +84,7 @@ git clone https://gitee.com/openeuler/hpcrunner.git -步骤2：下载安装包 +步骤2：下载安装包以及相关依赖 ``` ./jarvis -d -- Gitee