From 798ad0a1197d24699a1506b423bf81d26c050aaf Mon Sep 17 00:00:00 2001 From: xcx_shine Date: Wed, 30 Jul 2025 04:20:42 +0000 Subject: [PATCH 01/14] =?UTF-8?q?=E6=96=B0=E5=BB=BA=20Pangu?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- MindIE/LLM/Pangu/.keep | 0 1 file changed, 0 insertions(+), 0 deletions(-) create mode 100644 MindIE/LLM/Pangu/.keep diff --git a/MindIE/LLM/Pangu/.keep b/MindIE/LLM/Pangu/.keep new file mode 100644 index 0000000000..e69de29bb2 -- Gitee From 523b0403864e8def02ec7e63352fffbfa251d5b8 Mon Sep 17 00:00:00 2001 From: xcx_shine Date: Wed, 30 Jul 2025 04:21:38 +0000 Subject: [PATCH 02/14] =?UTF-8?q?=E6=96=B0=E5=BB=BA=20Pangu-1B-OrangePi?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- MindIE/LLM/Pangu/Pangu-1B-OrangePi/.keep | 0 1 file changed, 0 insertions(+), 0 deletions(-) create mode 100644 MindIE/LLM/Pangu/Pangu-1B-OrangePi/.keep diff --git a/MindIE/LLM/Pangu/Pangu-1B-OrangePi/.keep b/MindIE/LLM/Pangu/Pangu-1B-OrangePi/.keep new file mode 100644 index 0000000000..e69de29bb2 -- Gitee From 6cd0b41d766e96d4a12130d01ae8da2bef67462e Mon Sep 17 00:00:00 2001 From: xcx_shine Date: Wed, 30 Jul 2025 04:22:22 +0000 Subject: [PATCH 03/14] =?UTF-8?q?=E5=88=A0=E9=99=A4=E6=96=87=E4=BB=B6=20Mi?= =?UTF-8?q?ndIE/LLM/Pangu/.keep?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- MindIE/LLM/Pangu/.keep | 0 1 file changed, 0 insertions(+), 0 deletions(-) delete mode 100644 MindIE/LLM/Pangu/.keep diff --git a/MindIE/LLM/Pangu/.keep b/MindIE/LLM/Pangu/.keep deleted file mode 100644 index e69de29bb2..0000000000 -- Gitee From 98783d39b08eb699e3c45b922dc7fab2290b9200 Mon Sep 17 00:00:00 2001 From: xcx_shine Date: Wed, 30 Jul 2025 04:23:00 +0000 Subject: [PATCH 04/14] add MindIE/LLM/Pangu/Pangu-1B-OrangePi. Signed-off-by: xcx_shine --- MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md | 0 1 file changed, 0 insertions(+), 0 deletions(-) create mode 100644 MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md diff --git a/MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md b/MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md new file mode 100644 index 0000000000..e69de29bb2 -- Gitee From e082cb01fa3ddaf483caffdb10ac724221cd8dc0 Mon Sep 17 00:00:00 2001 From: xcx_shine Date: Wed, 30 Jul 2025 04:26:13 +0000 Subject: [PATCH 05/14] update MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md. Signed-off-by: xcx_shine --- MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md | 180 +++++++++++++++++++ 1 file changed, 180 insertions(+) diff --git a/MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md b/MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md index e69de29bb2..120628facb 100644 --- a/MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md +++ b/MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md @@ -0,0 +1,180 @@ +# Pangu-1B-OrangePi +## 简介 +我们在此发布基于昇腾NPU从零训练的盘古1B（不含词表Embedding）模型，模型结构选用26层Dense架构，在预训练阶段稳定训练了约10.4T tokens。通过昇腾310B可用的模型架构设计、数据和训练策略优化，盘古1B在保持端侧运行的要求下达到了较高的精度。 + +盘古1B是一个为端侧设备高效运行而设计的小型语言模型，支持快速响应的特性，不支持慢思考。 + +- 支持310B（对外名称待确认）：模型架构包括层数、FFN shape及attention shape等维度考虑了昇腾310B端侧设备可用，综合保障模型精度与昇腾端侧设备上推理速度。 +- 渐进式SFT：根据样本难度进行渐进式迭代训练，实现模型精度与泛化能力的渐进式优化。 + +## 约束条件 +* 在OrangePi AIpro(20T)上部署Pangu-1B模型 +* 需要修改权重目录下的config.json文件，"torch_dtype"字段改为"float16", "max_position_embedding"字段改为4096, 删除“rope_scaling”字段 +* 由于此硬件为单卡，仅支持TP=1 + +## 权重 + +**权重下载** + +- [Pangu-1B](https://codehub-g.huawei.com/pangu-open/pangu-1b-model-src/files?ref=1B_2_0_0_1_SP3_32K) + +## 新建环境 + +### 1.1 安装CANN +- CANN-kernels[下载链接](https://mindie.obs.cn-north-4.myhuaweicloud.com/xiangchengpai_20250211/Ascend-cann-kernels-310b_8.1.RC1_linux-aarch64.run) +- CANN-toolkit[下载链接](https://mindie.obs.cn-north-4.myhuaweicloud.com/xiangchengpai_20250211/Ascend-cann-toolkit_8.1.RC1_linux-aarch64.run) +- 安装顺序：先安装toolkit 再安装kernel + +#### 1.1.1 安装toolkit + +- 下载 + +| cpu | 包名（其中`${version}`为实际版本） | +| ------- | ------------------------------------------------ | +| aarch64 | Ascend-cann-toolkit_${version}_linux-aarch64.run | + +- 安装 + ```bash + # 安装toolkit 以arm为例 + chmod +x Ascend-cann-toolkit_${version}_linux-aarch64.run + ./Ascend-cann-toolkit_${version}_linux-aarch64.run --install + source /usr/local/Ascend/ascend-toolkit/set_env.sh + ``` + +#### 1.1.2 安装kernel + +- 下载 + +| 包名 | +| ------------------------------------------ | +| Ascend-cann-kernels*_${version}_linux.run | + + - 根据芯片型号选择对应的安装包 + +- 安装 + ```bash + chmod +x Ascend-cann-kernels-*_${version}_linux.run + ./Ascend-cann-kernels-*_${version}_linux.run --install + ``` + +#### 1.1.3 安装加速库 +- 下载加速库 + - [下载链接](https://mindie.obs.cn-north-4.myhuaweicloud.com/xiangchengpai_20250211/Ascend-cann-nnal_8.1.RC1_linux-aarch64.run)。 + + | 包名（其中`${version}`为实际版本） | + | -------------------------------------------- | + | Ascend-cann-nnal_${version}_linux-aarch64.run | + | ... | + + - 将文件放置在\${working_dir}路径下 + +- 安装 + ```shell + chmod +x Ascend-cann-nnal_*_linux-*.run + ./Ascend-cann-nnal_*_linux-*.run --install --install-path=${working_dir} + source ${working_dir}/nnal/atb/set_env.sh + ``` +- 可以使用`uname -a`指令查看服务器是x86还是aarch架构 +- 可以使用以下指令查看abi是0还是1 + ```shell + python -c "import torch; print(torch.compiled_with_cxx11_abi())" + ``` + - 若输出结果为True表示abi1，False表示abi0 + +### 1.2 安装PytorchAdapter + +先安装torch 再安装torch_npu + +#### 1.2.1 安装torch + +- 下载 + + | 包名 | + | -------------------------------------------- | + | torch-2.1.0-cp310-cp10-linux_aarch64.whl | + | ... | + + - 根据所使用的环境中的python版本以及cpu类型，选择对应版本的torch安装包。 + +- 安装 + ```bash + # 安装torch 2.1.0 的python 3.10 的arm版本为例 + pip install torch-2.1.0-cp310-cp310-linux_aarch64.whl + ``` + +#### 1.2.2 安装torch_npu + +[下载PyTorch Adapter](https://www.hiascend.com/developer/download/community/result?module=pt)，安装方法： + +| 包名 | +| --------------------------- | +| pytorch_v2.1.0_py38.tar.gz | +| pytorch_v2.1.0_py39.tar.gz | +| pytorch_v2.1.0_py310.tar.gz | +| ... | + +- 安装选择与torch版本以及python版本一致的npu_torch版本 + +```bash +# 安装 torch_npu，以 torch 2.1.0，python 3.10 的版本为例 +tar -zxvf pytorch_v2.1.0_py310.tar.gz +pip install torch*_aarch64.whl +``` +### 1.3 安装开源软件依赖 +| 默认依赖 | [requirement.txt](./requirements.txt) | +- 开源软件依赖请使用下述命令进行安装： + ```bash + pip install -r ./requirements.txt + ``` + +### 1.4 安装模型仓 +使用编译好的包进行安装 + - 下载编译好的包 + - [下载链接-abi0](https://mindie.obs.cn-north-4.myhuaweicloud.com/xiangchengpai_20250211/Ascend-mindie-atb-models_2.0.RC1_linux-aarch64_py310_torch2.1.0-abi0.tar.gz) + - [下载链接-abi0](https://mindie.obs.cn-north-4.myhuaweicloud.com/xiangchengpai_20250211/Ascend-mindie-atb-models_2.0.RC1_linux-aarch64_py310_torch2.1.0-abi1.tar.gz) + + | 包名 | + | ------------------------------------------------------------ | + | Ascend-mindie-atb-models_1.0.RC1_linux-aarch64_torch1.11.0-abi0.tar.gz | + | Ascend-mindie-atb-models_1.0.RC1_linux-aarch64_torch2.1.0-abi1.tar.gz | + | ... | + + - 将文件放置在\${working_dir}路径下 + - 解压 + ```shell + cd ${working_dir} + mkdir MindIE-LLM + cd MindIE-LLM + tar -zxvf ../Ascend-mindie-atb-models_*_linux-*_torch*-abi*.tar.gz + ``` + - 安装atb_llm whl包 + ``` + cd ${working_dir}/MindIE-LLM + # 首次安装 + pip install atb_llm-0.0.1-py3-none-any.whl + # 更新 + pip install atb_llm-0.0.1-py3-none-any.whl --force-reinstall + ``` + + +## 纯模型推理 + +### 对话测试 +进入llm_model路径 + +```shell +cd $ATB_SPEED_HOME_PATH +``` + +执行对话测试 +-非量化场景 +```shell +python -m examples.run_fa_edge \ + --model_path ${权重路径} \ + --input_text 'What is deep learning?' \ + --max_output_length 20 \ + --is_chat_model \ +``` +## 声明 +- 本代码仓提到的数据集和模型仅作为示例,这些数据集和模型仅供您用于非商业目的,如您使用这些数据集和模型来完成示例,请您特别注意应遵守对应数据集和模型的License,如您因使用数据集或模型而产生侵权纠纷，华为不承担任何责任。 +- 如您在使用本代码仓的过程中,发现任何问题(包括但不限于功能问题、合规问题),请在本代码仓提交issue,我们将及时审视并解答。 \ No newline at end of file -- Gitee From f0ba9df641633567aa8034daefa3158bce923232 Mon Sep 17 00:00:00 2001 From: xcx_shine Date: Wed, 30 Jul 2025 04:27:42 +0000 Subject: [PATCH 06/14] update MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md. Signed-off-by: xcx_shine --- MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md b/MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md index 120628facb..ee5f096035 100644 --- a/MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md +++ b/MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md @@ -58,7 +58,7 @@ ``` #### 1.1.3 安装加速库 -- 下载加速库 +- 下载加速库(待后期发布） - [下载链接](https://mindie.obs.cn-north-4.myhuaweicloud.com/xiangchengpai_20250211/Ascend-cann-nnal_8.1.RC1_linux-aarch64.run)。 | 包名（其中`${version}`为实际版本） | -- Gitee From 73216db59480345a9ba74f40d4d57bff17b821c5 Mon Sep 17 00:00:00 2001 From: xcx_shine Date: Wed, 30 Jul 2025 04:48:30 +0000 Subject: [PATCH 07/14] update MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md. Signed-off-by: xcx_shine --- MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md | 8 ++++---- 1 file changed, 4 insertions(+), 4 deletions(-) diff --git a/MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md b/MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md index ee5f096035..c222a2a728 100644 --- a/MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md +++ b/MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md @@ -1,10 +1,10 @@ # Pangu-1B-OrangePi ## 简介 -我们在此发布基于昇腾NPU从零训练的盘古1B（不含词表Embedding）模型，模型结构选用26层Dense架构，在预训练阶段稳定训练了约10.4T tokens。通过昇腾310B可用的模型架构设计、数据和训练策略优化，盘古1B在保持端侧运行的要求下达到了较高的精度。 +盘古1B（不含词表Embedding）模型，模型结构选用26层Dense架构，通过昇腾200I A2可用的模型架构设计、数据和训练策略优化，盘古1B在保持端侧运行的要求下达到了较高的精度。 盘古1B是一个为端侧设备高效运行而设计的小型语言模型，支持快速响应的特性，不支持慢思考。 -- 支持310B（对外名称待确认）：模型架构包括层数、FFN shape及attention shape等维度考虑了昇腾310B端侧设备可用，综合保障模型精度与昇腾端侧设备上推理速度。 +- 支持昇腾200I A2：模型架构包括层数、FFN shape及attention shape等维度考虑了昇腾200I A2端侧设备可用，综合保障模型精度与昇腾端侧设备上推理速度。 - 渐进式SFT：根据样本难度进行渐进式迭代训练，实现模型精度与泛化能力的渐进式优化。 ## 约束条件 @@ -58,8 +58,8 @@ ``` #### 1.1.3 安装加速库 -- 下载加速库(待后期发布） - - [下载链接](https://mindie.obs.cn-north-4.myhuaweicloud.com/xiangchengpai_20250211/Ascend-cann-nnal_8.1.RC1_linux-aarch64.run)。 +- 下载加速库(预计8月上旬发布，届时更新访问链接） + - [下载链接]。 | 包名（其中`${version}`为实际版本） | | -------------------------------------------- | -- Gitee From 8588d626498a7bb6efe7247eafeebe4f13097ff5 Mon Sep 17 00:00:00 2001 From: xcx_shine Date: Wed, 30 Jul 2025 04:49:38 +0000 Subject: [PATCH 08/14] update MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md. Signed-off-by: xcx_shine --- MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md | 3 +-- 1 file changed, 1 insertion(+), 2 deletions(-) diff --git a/MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md b/MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md index c222a2a728..cd38fef057 100644 --- a/MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md +++ b/MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md @@ -58,8 +58,7 @@ ``` #### 1.1.3 安装加速库 -- 下载加速库(预计8月上旬发布，届时更新访问链接） - - [下载链接]。 +- 下载加速库(预计8月上旬发布版本，届时更新下载链接） | 包名（其中`${version}`为实际版本） | | -------------------------------------------- | -- Gitee From f3d1d26c83ef80492898767d64994a6f4b0bc9d3 Mon Sep 17 00:00:00 2001 From: xcx_shine Date: Wed, 30 Jul 2025 06:12:20 +0000 Subject: [PATCH 09/14] update MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md. Signed-off-by: xcx_shine --- MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md | 8 +++----- 1 file changed, 3 insertions(+), 5 deletions(-) diff --git a/MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md b/MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md index cd38fef057..ac1d444d67 100644 --- a/MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md +++ b/MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md @@ -1,6 +1,6 @@ # Pangu-1B-OrangePi ## 简介 -盘古1B（不含词表Embedding）模型，模型结构选用26层Dense架构，通过昇腾200I A2可用的模型架构设计、数据和训练策略优化，盘古1B在保持端侧运行的要求下达到了较高的精度。 +openPangu-Embedded-1B 是基于昇腾 NPU 从零训练的高效语言模型，参数量为 1B（不含词表Embedding），模型结构采用 26 层 Dense 架构，训练了约 10T tokens。通过昇腾 Atlas 200I A2可用的模型架构设计、数据和训练策略优化，openPangu-Embedded-1B 在保持端侧运行的要求下达到了较高的精度。 盘古1B是一个为端侧设备高效运行而设计的小型语言模型，支持快速响应的特性，不支持慢思考。 @@ -16,7 +16,7 @@ **权重下载** -- [Pangu-1B](https://codehub-g.huawei.com/pangu-open/pangu-1b-model-src/files?ref=1B_2_0_0_1_SP3_32K) +- [Pangu-1B](https://ai.gitcode.com/ascend-tribe/openpangu-embedded-1b-model/tree/main) ## 新建环境 @@ -128,9 +128,7 @@ pip install torch*_aarch64.whl ### 1.4 安装模型仓 使用编译好的包进行安装 - - 下载编译好的包 - - [下载链接-abi0](https://mindie.obs.cn-north-4.myhuaweicloud.com/xiangchengpai_20250211/Ascend-mindie-atb-models_2.0.RC1_linux-aarch64_py310_torch2.1.0-abi0.tar.gz) - - [下载链接-abi0](https://mindie.obs.cn-north-4.myhuaweicloud.com/xiangchengpai_20250211/Ascend-mindie-atb-models_2.0.RC1_linux-aarch64_py310_torch2.1.0-abi1.tar.gz) + - 下载编译好的包(预计8月上旬发布版本，届时更新下载链接） | 包名 | | ------------------------------------------------------------ | -- Gitee From 44a0d65fda4e857e39d143c6ae0fd67e9bf90cb2 Mon Sep 17 00:00:00 2001 From: xcx_shine Date: Wed, 30 Jul 2025 06:13:34 +0000 Subject: [PATCH 10/14] update MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md. Signed-off-by: xcx_shine --- MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md | 5 ----- 1 file changed, 5 deletions(-) diff --git a/MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md b/MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md index ac1d444d67..de1afbd3f2 100644 --- a/MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md +++ b/MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md @@ -2,11 +2,6 @@ ## 简介 openPangu-Embedded-1B 是基于昇腾 NPU 从零训练的高效语言模型，参数量为 1B（不含词表Embedding），模型结构采用 26 层 Dense 架构，训练了约 10T tokens。通过昇腾 Atlas 200I A2可用的模型架构设计、数据和训练策略优化，openPangu-Embedded-1B 在保持端侧运行的要求下达到了较高的精度。 -盘古1B是一个为端侧设备高效运行而设计的小型语言模型，支持快速响应的特性，不支持慢思考。 - -- 支持昇腾200I A2：模型架构包括层数、FFN shape及attention shape等维度考虑了昇腾200I A2端侧设备可用，综合保障模型精度与昇腾端侧设备上推理速度。 -- 渐进式SFT：根据样本难度进行渐进式迭代训练，实现模型精度与泛化能力的渐进式优化。 - ## 约束条件 * 在OrangePi AIpro(20T)上部署Pangu-1B模型 * 需要修改权重目录下的config.json文件，"torch_dtype"字段改为"float16", "max_position_embedding"字段改为4096, 删除“rope_scaling”字段 -- Gitee From d0f986a89bb9c61e6ec9db3c97bac7cca67bb764 Mon Sep 17 00:00:00 2001 From: xcx_shine Date: Wed, 30 Jul 2025 06:15:17 +0000 Subject: [PATCH 11/14] =?UTF-8?q?=E5=88=A0=E9=99=A4=E6=96=87=E4=BB=B6=20Mi?= =?UTF-8?q?ndIE/LLM/Pangu/Pangu-1B-OrangePi/.keep?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- MindIE/LLM/Pangu/Pangu-1B-OrangePi/.keep | 0 1 file changed, 0 insertions(+), 0 deletions(-) delete mode 100644 MindIE/LLM/Pangu/Pangu-1B-OrangePi/.keep diff --git a/MindIE/LLM/Pangu/Pangu-1B-OrangePi/.keep b/MindIE/LLM/Pangu/Pangu-1B-OrangePi/.keep deleted file mode 100644 index e69de29bb2..0000000000 -- Gitee From b511967583dfba786cbb3cc35f3c191fd39f1cb1 Mon Sep 17 00:00:00 2001 From: xcx_shine Date: Wed, 30 Jul 2025 06:19:13 +0000 Subject: [PATCH 12/14] rename Signed-off-by: xcx_shine --- .../openPangu-Embedded-1B-OrangePi/README.md | 172 ++++++++++++++++++ 1 file changed, 172 insertions(+) create mode 100644 MindIE/LLM/Pangu/openPangu-Embedded-1B-OrangePi/README.md diff --git a/MindIE/LLM/Pangu/openPangu-Embedded-1B-OrangePi/README.md b/MindIE/LLM/Pangu/openPangu-Embedded-1B-OrangePi/README.md new file mode 100644 index 0000000000..e1742ddc60 --- /dev/null +++ b/MindIE/LLM/Pangu/openPangu-Embedded-1B-OrangePi/README.md @@ -0,0 +1,172 @@ +# Pangu-1B-OrangePi +## 简介 +openPangu-Embedded-1B 是基于昇腾 NPU 从零训练的高效语言模型，参数量为 1B（不含词表Embedding），模型结构采用 26 层 Dense 架构，训练了约 10T tokens。通过昇腾 Atlas 200I A2可用的模型架构设计、数据和训练策略优化，openPangu-Embedded-1B 在保持端侧运行的要求下达到了较高的精度。 + +## 约束条件 +* 在OrangePi AIpro(20T)上部署Pangu-1B模型 +* 需要修改权重目录下的config.json文件，"torch_dtype"字段改为"float16", "max_position_embedding"字段改为4096, 删除“rope_scaling”字段 +* 由于此硬件为单卡，仅支持TP=1 + +## 权重 + +**权重下载** + +- [Pangu-1B](https://ai.gitcode.com/ascend-tribe/openpangu-embedded-1b-model/tree/main) + +## 新建环境 + +### 1.1 安装CANN +- CANN-kernels[下载链接](https://mindie.obs.cn-north-4.myhuaweicloud.com/xiangchengpai_20250211/Ascend-cann-kernels-310b_8.1.RC1_linux-aarch64.run) +- CANN-toolkit[下载链接](https://mindie.obs.cn-north-4.myhuaweicloud.com/xiangchengpai_20250211/Ascend-cann-toolkit_8.1.RC1_linux-aarch64.run) +- 安装顺序：先安装toolkit 再安装kernel + +#### 1.1.1 安装toolkit + +- 下载 + +| cpu | 包名（其中`${version}`为实际版本） | +| ------- | ------------------------------------------------ | +| aarch64 | Ascend-cann-toolkit_${version}_linux-aarch64.run | + +- 安装 + ```bash + # 安装toolkit 以arm为例 + chmod +x Ascend-cann-toolkit_${version}_linux-aarch64.run + ./Ascend-cann-toolkit_${version}_linux-aarch64.run --install + source /usr/local/Ascend/ascend-toolkit/set_env.sh + ``` + +#### 1.1.2 安装kernel + +- 下载 + +| 包名 | +| ------------------------------------------ | +| Ascend-cann-kernels*_${version}_linux.run | + + - 根据芯片型号选择对应的安装包 + +- 安装 + ```bash + chmod +x Ascend-cann-kernels-*_${version}_linux.run + ./Ascend-cann-kernels-*_${version}_linux.run --install + ``` + +#### 1.1.3 安装加速库 +- 下载加速库(预计8月上旬发布版本，届时更新下载链接） + + | 包名（其中`${version}`为实际版本） | + | -------------------------------------------- | + | Ascend-cann-nnal_${version}_linux-aarch64.run | + | ... | + + - 将文件放置在\${working_dir}路径下 + +- 安装 + ```shell + chmod +x Ascend-cann-nnal_*_linux-*.run + ./Ascend-cann-nnal_*_linux-*.run --install --install-path=${working_dir} + source ${working_dir}/nnal/atb/set_env.sh + ``` +- 可以使用`uname -a`指令查看服务器是x86还是aarch架构 +- 可以使用以下指令查看abi是0还是1 + ```shell + python -c "import torch; print(torch.compiled_with_cxx11_abi())" + ``` + - 若输出结果为True表示abi1，False表示abi0 + +### 1.2 安装PytorchAdapter + +先安装torch 再安装torch_npu + +#### 1.2.1 安装torch + +- 下载 + + | 包名 | + | -------------------------------------------- | + | torch-2.1.0-cp310-cp10-linux_aarch64.whl | + | ... | + + - 根据所使用的环境中的python版本以及cpu类型，选择对应版本的torch安装包。 + +- 安装 + ```bash + # 安装torch 2.1.0 的python 3.10 的arm版本为例 + pip install torch-2.1.0-cp310-cp310-linux_aarch64.whl + ``` + +#### 1.2.2 安装torch_npu + +[下载PyTorch Adapter](https://www.hiascend.com/developer/download/community/result?module=pt)，安装方法： + +| 包名 | +| --------------------------- | +| pytorch_v2.1.0_py38.tar.gz | +| pytorch_v2.1.0_py39.tar.gz | +| pytorch_v2.1.0_py310.tar.gz | +| ... | + +- 安装选择与torch版本以及python版本一致的npu_torch版本 + +```bash +# 安装 torch_npu，以 torch 2.1.0，python 3.10 的版本为例 +tar -zxvf pytorch_v2.1.0_py310.tar.gz +pip install torch*_aarch64.whl +``` +### 1.3 安装开源软件依赖 +| 默认依赖 | [requirement.txt](./requirements.txt) | +- 开源软件依赖请使用下述命令进行安装： + ```bash + pip install -r ./requirements.txt + ``` + +### 1.4 安装模型仓 +使用编译好的包进行安装 + - 下载编译好的包(预计8月上旬发布版本，届时更新下载链接） + + | 包名 | + | ------------------------------------------------------------ | + | Ascend-mindie-atb-models_1.0.RC1_linux-aarch64_torch1.11.0-abi0.tar.gz | + | Ascend-mindie-atb-models_1.0.RC1_linux-aarch64_torch2.1.0-abi1.tar.gz | + | ... | + + - 将文件放置在\${working_dir}路径下 + - 解压 + ```shell + cd ${working_dir} + mkdir MindIE-LLM + cd MindIE-LLM + tar -zxvf ../Ascend-mindie-atb-models_*_linux-*_torch*-abi*.tar.gz + ``` + - 安装atb_llm whl包 + ``` + cd ${working_dir}/MindIE-LLM + # 首次安装 + pip install atb_llm-0.0.1-py3-none-any.whl + # 更新 + pip install atb_llm-0.0.1-py3-none-any.whl --force-reinstall + ``` + + +## 纯模型推理 + +### 对话测试 +进入llm_model路径 + +```shell +cd $ATB_SPEED_HOME_PATH +``` + +执行对话测试 +-非量化场景 +```shell +python -m examples.run_fa_edge \ + --model_path ${权重路径} \ + --input_text 'What is deep learning?' \ + --max_output_length 20 \ + --is_chat_model \ +``` +## 声明 +- 本代码仓提到的数据集和模型仅作为示例,这些数据集和模型仅供您用于非商业目的,如您使用这些数据集和模型来完成示例,请您特别注意应遵守对应数据集和模型的License,如您因使用数据集或模型而产生侵权纠纷，华为不承担任何责任。 +- 如您在使用本代码仓的过程中,发现任何问题(包括但不限于功能问题、合规问题),请在本代码仓提交issue,我们将及时审视并解答。 \ No newline at end of file -- Gitee From 3dd090a175f7555c4a993096e4e3c2c5cdc72c71 Mon Sep 17 00:00:00 2001 From: xcx_shine Date: Wed, 30 Jul 2025 06:20:44 +0000 Subject: [PATCH 13/14] =?UTF-8?q?=E5=88=A0=E9=99=A4=E6=96=87=E4=BB=B6=20Mi?= =?UTF-8?q?ndIE/LLM/Pangu/Pangu-1B-OrangePi/README.md?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md | 172 ------------------- 1 file changed, 172 deletions(-) delete mode 100644 MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md diff --git a/MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md b/MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md deleted file mode 100644 index de1afbd3f2..0000000000 --- a/MindIE/LLM/Pangu/Pangu-1B-OrangePi/README.md +++ /dev/null @@ -1,172 +0,0 @@ -# Pangu-1B-OrangePi -## 简介 -openPangu-Embedded-1B 是基于昇腾 NPU 从零训练的高效语言模型，参数量为 1B（不含词表Embedding），模型结构采用 26 层 Dense 架构，训练了约 10T tokens。通过昇腾 Atlas 200I A2可用的模型架构设计、数据和训练策略优化，openPangu-Embedded-1B 在保持端侧运行的要求下达到了较高的精度。 - -## 约束条件 -* 在OrangePi AIpro(20T)上部署Pangu-1B模型 -* 需要修改权重目录下的config.json文件，"torch_dtype"字段改为"float16", "max_position_embedding"字段改为4096, 删除“rope_scaling”字段 -* 由于此硬件为单卡，仅支持TP=1 - -## 权重 - -**权重下载** - -- [Pangu-1B](https://ai.gitcode.com/ascend-tribe/openpangu-embedded-1b-model/tree/main) - -## 新建环境 - -### 1.1 安装CANN -- CANN-kernels[下载链接](https://mindie.obs.cn-north-4.myhuaweicloud.com/xiangchengpai_20250211/Ascend-cann-kernels-310b_8.1.RC1_linux-aarch64.run) -- CANN-toolkit[下载链接](https://mindie.obs.cn-north-4.myhuaweicloud.com/xiangchengpai_20250211/Ascend-cann-toolkit_8.1.RC1_linux-aarch64.run) -- 安装顺序：先安装toolkit 再安装kernel - -#### 1.1.1 安装toolkit - -- 下载 - -| cpu | 包名（其中`${version}`为实际版本） | -| ------- | ------------------------------------------------ | -| aarch64 | Ascend-cann-toolkit_${version}_linux-aarch64.run | - -- 安装 - ```bash - # 安装toolkit 以arm为例 - chmod +x Ascend-cann-toolkit_${version}_linux-aarch64.run - ./Ascend-cann-toolkit_${version}_linux-aarch64.run --install - source /usr/local/Ascend/ascend-toolkit/set_env.sh - ``` - -#### 1.1.2 安装kernel - -- 下载 - -| 包名 | -| ------------------------------------------ | -| Ascend-cann-kernels*_${version}_linux.run | - - - 根据芯片型号选择对应的安装包 - -- 安装 - ```bash - chmod +x Ascend-cann-kernels-*_${version}_linux.run - ./Ascend-cann-kernels-*_${version}_linux.run --install - ``` - -#### 1.1.3 安装加速库 -- 下载加速库(预计8月上旬发布版本，届时更新下载链接） - - | 包名（其中`${version}`为实际版本） | - | -------------------------------------------- | - | Ascend-cann-nnal_${version}_linux-aarch64.run | - | ... | - - - 将文件放置在\${working_dir}路径下 - -- 安装 - ```shell - chmod +x Ascend-cann-nnal_*_linux-*.run - ./Ascend-cann-nnal_*_linux-*.run --install --install-path=${working_dir} - source ${working_dir}/nnal/atb/set_env.sh - ``` -- 可以使用`uname -a`指令查看服务器是x86还是aarch架构 -- 可以使用以下指令查看abi是0还是1 - ```shell - python -c "import torch; print(torch.compiled_with_cxx11_abi())" - ``` - - 若输出结果为True表示abi1，False表示abi0 - -### 1.2 安装PytorchAdapter - -先安装torch 再安装torch_npu - -#### 1.2.1 安装torch - -- 下载 - - | 包名 | - | -------------------------------------------- | - | torch-2.1.0-cp310-cp10-linux_aarch64.whl | - | ... | - - - 根据所使用的环境中的python版本以及cpu类型，选择对应版本的torch安装包。 - -- 安装 - ```bash - # 安装torch 2.1.0 的python 3.10 的arm版本为例 - pip install torch-2.1.0-cp310-cp310-linux_aarch64.whl - ``` - -#### 1.2.2 安装torch_npu - -[下载PyTorch Adapter](https://www.hiascend.com/developer/download/community/result?module=pt)，安装方法： - -| 包名 | -| --------------------------- | -| pytorch_v2.1.0_py38.tar.gz | -| pytorch_v2.1.0_py39.tar.gz | -| pytorch_v2.1.0_py310.tar.gz | -| ... | - -- 安装选择与torch版本以及python版本一致的npu_torch版本 - -```bash -# 安装 torch_npu，以 torch 2.1.0，python 3.10 的版本为例 -tar -zxvf pytorch_v2.1.0_py310.tar.gz -pip install torch*_aarch64.whl -``` -### 1.3 安装开源软件依赖 -| 默认依赖 | [requirement.txt](./requirements.txt) | -- 开源软件依赖请使用下述命令进行安装： - ```bash - pip install -r ./requirements.txt - ``` - -### 1.4 安装模型仓 -使用编译好的包进行安装 - - 下载编译好的包(预计8月上旬发布版本，届时更新下载链接） - - | 包名 | - | ------------------------------------------------------------ | - | Ascend-mindie-atb-models_1.0.RC1_linux-aarch64_torch1.11.0-abi0.tar.gz | - | Ascend-mindie-atb-models_1.0.RC1_linux-aarch64_torch2.1.0-abi1.tar.gz | - | ... | - - - 将文件放置在\${working_dir}路径下 - - 解压 - ```shell - cd ${working_dir} - mkdir MindIE-LLM - cd MindIE-LLM - tar -zxvf ../Ascend-mindie-atb-models_*_linux-*_torch*-abi*.tar.gz - ``` - - 安装atb_llm whl包 - ``` - cd ${working_dir}/MindIE-LLM - # 首次安装 - pip install atb_llm-0.0.1-py3-none-any.whl - # 更新 - pip install atb_llm-0.0.1-py3-none-any.whl --force-reinstall - ``` - - -## 纯模型推理 - -### 对话测试 -进入llm_model路径 - -```shell -cd $ATB_SPEED_HOME_PATH -``` - -执行对话测试 --非量化场景 -```shell -python -m examples.run_fa_edge \ - --model_path ${权重路径} \ - --input_text 'What is deep learning?' \ - --max_output_length 20 \ - --is_chat_model \ -``` -## 声明 -- 本代码仓提到的数据集和模型仅作为示例,这些数据集和模型仅供您用于非商业目的,如您使用这些数据集和模型来完成示例,请您特别注意应遵守对应数据集和模型的License,如您因使用数据集或模型而产生侵权纠纷，华为不承担任何责任。 -- 如您在使用本代码仓的过程中,发现任何问题(包括但不限于功能问题、合规问题),请在本代码仓提交issue,我们将及时审视并解答。 \ No newline at end of file -- Gitee From d074d49d80d844ecd98fb7e484cb1a1df61adc28 Mon Sep 17 00:00:00 2001 From: xcx_shine Date: Wed, 30 Jul 2025 06:24:14 +0000 Subject: [PATCH 14/14] update MindIE/LLM/Pangu/openPangu-Embedded-1B-OrangePi/README.md. Signed-off-by: xcx_shine --- MindIE/LLM/Pangu/openPangu-Embedded-1B-OrangePi/README.md | 6 +++--- 1 file changed, 3 insertions(+), 3 deletions(-) diff --git a/MindIE/LLM/Pangu/openPangu-Embedded-1B-OrangePi/README.md b/MindIE/LLM/Pangu/openPangu-Embedded-1B-OrangePi/README.md index e1742ddc60..6cf7109aa3 100644 --- a/MindIE/LLM/Pangu/openPangu-Embedded-1B-OrangePi/README.md +++ b/MindIE/LLM/Pangu/openPangu-Embedded-1B-OrangePi/README.md @@ -1,9 +1,9 @@ -# Pangu-1B-OrangePi +# openPangu-Embedded-1B-OrangePi ## 简介 openPangu-Embedded-1B 是基于昇腾 NPU 从零训练的高效语言模型，参数量为 1B（不含词表Embedding），模型结构采用 26 层 Dense 架构，训练了约 10T tokens。通过昇腾 Atlas 200I A2可用的模型架构设计、数据和训练策略优化，openPangu-Embedded-1B 在保持端侧运行的要求下达到了较高的精度。 ## 约束条件 -* 在OrangePi AIpro(20T)上部署Pangu-1B模型 +* 在OrangePi AIpro(20T)上部署openPangu-Embedded-1B模型 * 需要修改权重目录下的config.json文件，"torch_dtype"字段改为"float16", "max_position_embedding"字段改为4096, 删除“rope_scaling”字段 * 由于此硬件为单卡，仅支持TP=1 @@ -11,7 +11,7 @@ openPangu-Embedded-1B 是基于昇腾 NPU 从零训练的高效语言模型， **权重下载** -- [Pangu-1B](https://ai.gitcode.com/ascend-tribe/openpangu-embedded-1b-model/tree/main) +- [openPangu-Embedded-1B](https://ai.gitcode.com/ascend-tribe/openpangu-embedded-1b-model/tree/main) ## 新建环境 -- Gitee