From 9d4224f9a5cd90a06a1b5dab71dd1b8dd8e3be78 Mon Sep 17 00:00:00 2001 From: ZijunYin Date: Thu, 16 Sep 2021 15:54:01 +0800 Subject: [PATCH] =?UTF-8?q?update=20all-in-one=20docs/zh/PyTorch=E5=AE=89?= =?UTF-8?q?=E8=A3=85=E6=8C=87=E5=8D=97/PyTorch=E5=AE=89=E8=A3=85=E6=8C=87?= =?UTF-8?q?=E5=8D=97.md?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...11\350\243\205\346\214\207\345\215\227.md" | 140 +++++++++++------- 1 file changed, 84 insertions(+), 56 deletions(-) diff --git "a/docs/zh/PyTorch\345\256\211\350\243\205\346\214\207\345\215\227/PyTorch\345\256\211\350\243\205\346\214\207\345\215\227.md" "b/docs/zh/PyTorch\345\256\211\350\243\205\346\214\207\345\215\227/PyTorch\345\256\211\350\243\205\346\214\207\345\215\227.md" index e9b00f847b..4a4aa16157 100644 --- "a/docs/zh/PyTorch\345\256\211\350\243\205\346\214\207\345\215\227/PyTorch\345\256\211\350\243\205\346\214\207\345\215\227.md" +++ "b/docs/zh/PyTorch\345\256\211\350\243\205\346\214\207\345\215\227/PyTorch\345\256\211\350\243\205\346\214\207\345\215\227.md" @@ -157,60 +157,40 @@

配置环境变量

-安装完软件包后，需要配置环境变量才能正常使用昇腾PyTorch。建议构建启动脚本，例如构建set\_env.sh脚本，使用source set\_env.sh配置当前窗口的环境变量。set\_env.sh脚本内容如下（以root用户安装，，安装路径为默认路径，python版本为3.7.5为例，用户可根据软件包实际安装路径修改配置项。）。 - -``` -cpu_type=$(echo $HOSTTYPE) - -if [ x"${cpu_type}" == x"x86_64" ];then - cpu_type=x86_64-linux -else - cpu_type=arm64-linux -fi -if [ -d /usr/local/Ascend/nnae/latest ];then - export LD_LIBRARY_PATH=/usr/local/:/usr/local/python3.7.5/lib/:/usr/local/openblas/lib:/usr/local/lib/:/usr/lib64/:/usr/lib/:/usr/local/Ascend/nnae/latest/fwkacllib/lib64/:/usr/local/Ascend/driver/lib64/common/:/usr/local/Ascend/driver/lib64/driver/:/usr/local/Ascend/add-ons/:/usr/lib/aarch64_64-linux-gnu:$LD_LIBRARY_PATH - export PATH=$PATH:/usr/local/Ascend/nnae/latest/fwkacllib/ccec_compiler/bin/:/usr/local/Ascend/nnae/latest/toolkit/tools/ide_daemon/bin/ - export ASCEND_OPP_PATH=/usr/local/Ascend/nnae/latest/opp/ - export OPTION_EXEC_EXTERN_PLUGIN_PATH=/usr/local/Ascend/nnae/latest/fwkacllib/lib64/plugin/opskernel/libfe.so:/usr/local/Ascend/nnae/latest/fwkacllib/lib64/plugin/opskernel/libaicpu_engine.so:/usr/local/Ascend/nnae/latest/fwkacllib/lib64/plugin/opskernel/libge_local_engine.so - export PYTHONPATH=/usr/local/Ascend/nnae/latest/fwkacllib/python/site-packages/:/usr/local/Ascend/nnae/latest/fwkacllib/python/site-packages/auto_tune.egg/auto_tune:/usr/local/Ascend/nnae/latest/fwkacllib/python/site-packages/schedule_search.egg:$PYTHONPATH - export ASCEND_AICPU_PATH=/usr/local/Ascend/nnae/latest/ -else - export LD_LIBRARY_PATH=/usr/local/:/usr/local/lib/:/usr/lib64/:/usr/lib/:/usr/local/python3.7.5/lib/:/usr/local/openblas/lib:/usr/local/Ascend/ascend-toolkit/latest/fwkacllib/lib64/:/usr/local/Ascend/driver/lib64/common/:/usr/local/Ascend/driver/lib64/driver/:/usr/local/Ascend/add-ons/:/usr/lib/aarch64-linux-gnu:$LD_LIBRARY_PATH - export PATH=$PATH:/usr/local/Ascend/ascend-toolkit/latest/fwkacllib/ccec_compiler/bin/:/usr/local/Ascend/ascend-toolkit/latest/toolkit/tools/ide_daemon/bin/ - export ASCEND_OPP_PATH=/usr/local/Ascend/ascend-toolkit/latest/opp/ - export OPTION_EXEC_EXTERN_PLUGIN_PATH=/usr/local/Ascend/ascend-toolkit/latest/fwkacllib/lib64/plugin/opskernel/libfe.so:/usr/local/Ascend/ascend-toolkit/latest/fwkacllib/lib64/plugin/opskernel/libaicpu_engine.so:/usr/local/Ascend/ascend-toolkit/latest/fwkacllib/lib64/plugin/opskernel/libge_local_engine.so - export PYTHONPATH=/usr/local/Ascend/ascend-toolkit/latest/fwkacllib/python/site-packages/:/usr/local/Ascend/ascend-toolkit/latest/fwkacllib/python/site-packages/auto_tune.egg/auto_tune:/usr/local/Ascend/ascend-toolkit/latest/fwkacllib/python/site-packages/schedule_search.egg:$PYTHONPATH - export ASCEND_AICPU_PATH=/usr/local/Ascend/ascend-toolkit/latest/${cpu_type} -fi -path_lib=$(python3.7 -c """ -import sys -import re -result='' -for index in range(len(sys.path)): - match_sit = re.search('-packages', sys.path[index]) - if match_sit is not None: - match_lib = re.search('lib', sys.path[index]) - if match_lib is not None: - end=match_lib.span()[1] - result += sys.path[index][0:end] + ':' - result+=sys.path[index] + '/torch/lib:' -print(result)""" -) -export LD_LIBRARY_PATH=/usr/local/python3.7.5/lib/:${path_lib}:$LD_LIBRARY_PATH -export TASK_QUEUE_ENABLE=1 - -# （可选）当系统为openeuler时，需设置此命令，取消CPU绑核。 -# unset GOMP_CPU_AFFINITY - -# 请依据实际，在下列场景中选择合适的HCCL初始化方式，并配置相应环境变量。具体如下： -# 场景一：单机场景 -export HCCL_WHITELIST_DISABLE=1 # 关闭HCCL通信白名单 -# 场景二：多机场景。 -export HCCL_WHITELIST_DISABLE=1 # 关闭HCCL通信白名单 -export HCCL_IF_IP="1.1.1.1" # “1.1.1.1”为示例使用的host网卡IP，请根据实际修改。需要保证使用的网卡IP在集群内是互通的。 -``` - -相关参数介绍参见[表1](#zh-cn_topic_0000001152616261_table42017516135)。 +安装完软件包后，需要配置环境变量才能正常使用昇腾PyTorch。相关环境变量介绍参见[表1](#zh-cn_topic_0000001152616261_table42017516135)。 + +1. 配置运行环境变量，在适配昇腾AI处理器的PyTorch源代码根目录中运行如下命令。 + + ``` + source pytorch/env.sh + ``` + +2. 请依据实际场景，选择合适的HCCL初始化方式，并配置相应环境变量。 + + ``` + # 场景一：单机场景 + export HCCL_WHITELIST_DISABLE=1 # 关闭HCCL通信白名单 + # 场景二：多机场景。 + export HCCL_WHITELIST_DISABLE=1 # 关闭HCCL通信白名单 + export HCCL_IF_IP="1.1.1.1" # “1.1.1.1”为示例使用的host网卡IP，请根据实际修改。需要保证使用的网卡IP在集群内是互通的。 + ``` + +3. （可选）NPU场景下配置功能或性能环境变量。默认为不开启。 + + ``` + export DYNAMIC_COMPILE_ENABLE=1 # 动态shape特性功能，针对shape变化场景，可选，开启设置为1 + export COMBINED_ENABLE=1 # 非连续两个算子组合类场景优化，可选，开启设置为1 + export TRI_COMBINED_ENABLE=1 # 非连续三个算子组合类场景优化，可选，开启设置为1 + export ACL_DUMP_DATA=1 # 算子数据dump功能，调试时使用，可选，开启设置为1 + export DYNAMIC_OP="ADD#MUL" # 算子实现，ADD和MUL算子在不同场景下有不同的性能表现。可选 + ``` + +4. （可选）当系统为openEuler及其继承操作系统时，如UOS，需设置此命令，取消CPU绑核。 + + ``` + # unset GOMP_CPU_AFFINITY + ``` + **表 1** 环境变量说明 @@ -271,9 +251,57 @@ export HCCL_IF_IP="1.1.1.1" # “1.1.1.1”为示例使用的host网卡IP，请

缺省时，按照以下优先级选定host通信网卡名：docker/local以外网卡（网卡名字字典序升序排列）>docker 网卡 > local网卡

-

unset GOMP_CPU_AFFINITY

+

PTCOPY_ENABLE

+ +

使用PTCopy算子模式，加速转连续及copy等过程，建议开启，开启设置为1

+ + +

ASCEND_SLOG_PRINT_TO_STDOUT

+ +

（可选）设置是否开启日志打屏。

+ + + +

ASCEND_GLOBAL_LOG_LEVEL

+ +

设置应用类日志的全局日志级别。

+ + + +

ASCEND_GLOBAL_EVENT_ENABLE

+ +

设置应用类日志是否开启Event日志。

+ + + +

DYNAMIC_COMPILE_ENABLE

+ +

（可选）动态shape特性功能，针对shape变化场景，开启设置为1

+ + +

COMBINED_ENABLE

+ +

（可选）非连续两个算子组合类场景优化，开启设置为1

+ + +

RI_COMBINED_ENABLE

+ +

（可选）非连续三个算子组合类场景优化，开启设置为1

+ + +

ACL_DUMP_DATA

+ +

（可选）算子数据dump功能，调试时使用，开启设置为1

+ + +

DYNAMIC_OP

+ +

（可选）算子实现，ADD和MUL算子在不同场景下有不同的性能表现。默认不设置。

+ + +

unset GOMP_CPU_AFFINITY

-

（可选）当系统为openeuler时，需设置此命令，取消CPU绑核。

+

（可选）当系统为openEuler及其继承操作系统时，如UOS，需设置此命令，取消CPU绑核。

-- Gitee