From 0a30e88a7b71a62e8689d09ad1f2b416fc63790d Mon Sep 17 00:00:00 2001 From: mayumeng0824 Date: Mon, 3 Mar 2025 07:31:22 +0000 Subject: [PATCH] fix ReadMe Signed-off-by: mayumeng0824 --- MindIE/LLM/DeepSeek/DeepSeek-R1/README.md | 28 ++++++++++++++------- MindIE/LLM/DeepSeek/DeepSeek-V3/README.md | 30 +++++++++++++++-------- 2 files changed, 39 insertions(+), 19 deletions(-) diff --git a/MindIE/LLM/DeepSeek/DeepSeek-R1/README.md b/MindIE/LLM/DeepSeek/DeepSeek-R1/README.md index 0ec84cfd0b..9ab8bfaaa7 100644 --- a/MindIE/LLM/DeepSeek/DeepSeek-R1/README.md +++ b/MindIE/LLM/DeepSeek/DeepSeek-R1/README.md @@ -22,7 +22,7 @@ python fp8_cast_bf16.py --input-fp8-hf-path /path/to/DeepSeek-R1 --output-bf16-h 目前npu转换脚本不会自动复制tokenizer等文件 ```sh git clone https://gitee.com/ascend/ModelZoo-PyTorch.git -cd ModelZoo-PyTorch\MindIE\LLM\DeepSeek\DeepSeek-V2\NPU_inference +cd ModelZoo-PyTorch/MindIE/LLM/DeepSeek/DeepSeek-V2/NPU_inference python fp8_cast_bf16.py --input-fp8-hf-path /path/to/DeepSeek-R1 --output-bf16-hf-path /path/to/deepseek-R1-bf16 ``` @@ -42,18 +42,19 @@ python fp8_cast_bf16.py --input-fp8-hf-path /path/to/DeepSeek-R1 --output-bf16-h 注意：DeepSeek-R1模型权重较大，量化权重生成时间较久，请耐心等待；具体时间与校准数据集大小成正比，10条数据大概需花费3小时。 ### 加载镜像 -前往[昇腾社区/开发资源](https://www.hiascend.com/developer/ascendhub/detail/af85b724a7e5469ebd7ea13c3439d48f)下载适配 +前往[昇腾社区/开发资源](https://www.hiascend.com/developer/ascendhub/detail/af85b724a7e5469ebd7ea13c3439d48f)下载适配，下载镜像前需要申请权限，耐心等待权限申请通过后，根据指南下载对应镜像文件。 -DeepSeek-R1的镜像包：mindie_2.0.T3-800I-A2-py311-openeuler24.03-lts-aarch64.tar.gz -镜像加载后的名称：mindie:2.0.T3-800I-A2-py311-openeuler24.03-lts-aarch64 +DeepSeek-R1的镜像版本：2.0.T3-800I-A2-py311-openeuler24.03-lts +镜像加载后的名称：swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:2.0.T3-800I-A2-py311-openeuler24.03-lts -注意：量化需要使用mindie:2.0.T3版本 +注意：量化需要使用mindie:2.0.T3及其后版本 完成之后，请使用`docker images`命令确认查找具体镜像名称与标签。 ``` -docker load -i mindie:2.0.T3-800I-A2-py311-openeuler24.03-lts-aarch64(下载的镜像名称与标签) +docker images ``` + 各组件版本配套如下： | 组件 | 版本 | | - | - | @@ -113,7 +114,8 @@ git clone https://gitee.com/ascend/ModelZoo-PyTorch.git | target_dir | 可选，str类型参数，默认放置在atb_models同级目录下 | -- 修改模型文件夹属组为1001，执行权限为750，执行： +- 修改模型文件夹属组为1001 -HwHiAiUser属组（容器为Root权限可忽视） +- 执行权限为750： ```sh chown -R 1001:1001 /path-to-weights/DeepSeek-R1 chmod -R 750 /path-to-weights/DeepSeek-R1 @@ -141,9 +143,14 @@ docker run -itd --privileged --name=容器名称 --net=host \ -v /usr/local/sbin:/usr/local/sbin \ -v /etc/hccn.conf:/etc/hccn.conf \ -v /权重路径:/权重路径 \ - mindie:1.0.0-XXX-800I-A2-arm64-py3.11（根据加载的镜像名称修改） \ + swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.0-XXX-800I-A2-arm64-py3.11（根据加载的镜像名称修改） \ bash ``` +#### 3. 进入容器 +- 执行以下命令进入容器（参考）： +```sh +docker exec -it 容器名称 bash +``` #### 开启通信环境变量 ``` export ATB_LLM_HCCL_ENABLE=1 @@ -181,7 +188,7 @@ for i in {0..7};do hccn_tool -i $i -tls -s enable 0;done ``` for i in {0..7};do hccn_tool -i $i -ip -g; done ``` -- 参考如下格式，配置rank_table_file.json +- 参考如下格式，请在每张台机器上配置rank_table_file.json ``` { "server_count": "...", # 总节点数 @@ -278,8 +285,11 @@ vim conf/config.json "interCommTLSEnabled" : false, "interNodeTLSEnabled" : false, ... +"npuDeviceIds" : [[0,1,2,3,4,5,6,7]], +... "modelName" : "DeepSeek-R1" # 不影响服务化拉起 "modelWeightPath" : "权重路径", +"worldSize":8, ``` Example：仅供参考，不保证性能 ``` diff --git a/MindIE/LLM/DeepSeek/DeepSeek-V3/README.md b/MindIE/LLM/DeepSeek/DeepSeek-V3/README.md index 48e52f1e66..2188e7710b 100644 --- a/MindIE/LLM/DeepSeek/DeepSeek-V3/README.md +++ b/MindIE/LLM/DeepSeek/DeepSeek-V3/README.md @@ -20,7 +20,7 @@ python fp8_cast_bf16.py --input-fp8-hf-path /path/to/DeepSeek-V3 --output-bf16-h 目前npu转换脚本不会自动复制tokenizer等文件 ```sh git clone https://gitee.com/ascend/ModelZoo-PyTorch.git -cd ModelZoo-PyTorch\MindIE\LLM\DeepSeek\DeepSeek-V2\NPU_inference +cd ModelZoo-PyTorch/MindIE/LLM/DeepSeek/DeepSeek-V2/NPU_inference python fp8_cast_bf16.py --input-fp8-hf-path /path/to/DeepSeek-V3 --output-bf16-hf-path /path/to/DeepSeek-V3-bf16 ``` 注意： @@ -39,16 +39,16 @@ python fp8_cast_bf16.py --input-fp8-hf-path /path/to/DeepSeek-V3 --output-bf16-h 注意：DeepSeek-R1模型权重较大，量化权重生成时间较久，请耐心等待；具体时间与校准数据集大小成正比，10条数据大概需花费3小时。 ### 加载镜像 -前往[昇腾社区/开发资源](https://www.hiascend.com/developer/ascendhub/detail/af85b724a7e5469ebd7ea13c3439d48f)下载适配 +前往[昇腾社区/开发资源](https://www.hiascend.com/developer/ascendhub/detail/af85b724a7e5469ebd7ea13c3439d48f)下载适配，下载镜像前需要申请权限，耐心等待权限申请通过后，根据指南下载对应镜像文件。 -DeepSeek-V3的镜像包：mindie_2.0.T3-800I-A2-py311-openeuler24.03-lts-aarch64.tar.gz -镜像加载后的名称：mindie:2.0.T3-800I-A2-py311-openeuler24.03-lts-aarch64 +DeepSeek-V3的镜像版本：2.0.T3-800I-A2-py311-openeuler24.03-lts +镜像加载后的名称：swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:2.0.T3-800I-A2-py311-openeuler24.03-lts -注意：量化需要使用mindie:2.0.T3版本 +注意：量化需要使用mindie:2.0.T3及其后版本 -完成之后，请使用`docker images`命令确认查找具体镜像名称与标签。 +完成之后，请使用`docker images`命令确认查找具体镜像名称与标签。 ``` -docker load -i mindie:2.0.T3-800I-A2-py311-openeuler24.03-lts-aarch64(下载的镜像名称与标签) +docker images ``` 各组件版本配套如下： @@ -110,7 +110,8 @@ git clone https://gitee.com/ascend/ModelZoo-PyTorch.git | target_dir | 可选，str类型参数，默认放置在atb_models同级目录下 | -- 修改模型文件夹属组为1001，执行权限为750，执行： +- 修改模型文件夹属组为1001 -HwHiAiUser属组（容器为Root权限可忽视） +- 执行权限为750： ```sh chown -R 1001:1001 /path-to-weights/DeepSeek-V3 chmod -R 750 /path-to-weights/DeepSeek-V3 @@ -138,9 +139,15 @@ docker run -itd --privileged --name=容器名称 --net=host \ -v /usr/local/sbin:/usr/local/sbin \ -v /etc/hccn.conf:/etc/hccn.conf \ -v /权重路径:/权重路径 \ - mindie:1.0.0-XXX-800I-A2-arm64-py3.11（根据加载的镜像名称修改） \ + swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.0-XXX-800I-A2-arm64-py3.11（根据加载的镜像名称修改） \ bash ``` +#### 3. 进入容器 + +- 执行以下命令进入容器（参考）： +```sh +docker exec -it 容器名称 bash +``` #### 开启通信环境变量 ``` export ATB_LLM_HCCL_ENABLE=1 @@ -179,7 +186,7 @@ for i in {0..7};do hccn_tool -i $i -tls -s enable 0;done ``` for i in {0..7};do hccn_tool -i $i -ip -g; done ``` -- 参考如下格式，配置rank_table_file.json +- 参考如下格式，请在每台机器配置rank_table_file.json ``` { "server_count": "...", # 总节点数 @@ -276,8 +283,11 @@ vim conf/config.json "interCommTLSEnabled" : false, "interNodeTLSEnabled" : false, ... +"npuDeviceIds" : [[0,1,2,3,4,5,6,7]], +... "modelName" : "DeepSeek-V3" # 不影响服务化拉起 "modelWeightPath" : "权重路径", +"worldSize":8, ``` Example：仅供参考，不保证性能 ``` -- Gitee