From 32a06e4d29033e75e18502d4fc6a8976f9d747ae Mon Sep 17 00:00:00 2001 From: zangyan Date: Sat, 18 Mar 2023 16:41:38 +0800 Subject: [PATCH 1/4] modify readme --- README.md | 91 +++++++++++++++++++++++++++++++++++-------------------- 1 file changed, 58 insertions(+), 33 deletions(-) diff --git a/README.md b/README.md index 3b3a6306a..881691f4f 100755 --- a/README.md +++ b/README.md @@ -1,36 +1,55 @@ -# Tensorflow Adapter For Ascend +# TensorFlow Adapter For Ascend [View English](README.en.md) -Tensorflow Adapter For Ascend（简称TF_Adapter）致力于将昇腾AI处理器卓越的运算能力，便捷地提供给使用Tensorflow框架的开发者。 -开发者只需安装TF_Adapter插件，并在现有Tensorflow脚本中添加少量配置，即可实现在昇腾AI处理器上加速自己的训练任务。 +## 简介 +TensorFlow Adapter For Ascend（简称TF Adapter）致力于将昇腾AI处理器卓越的运算能力，便捷地提供给使用Tensorflow框架的开发者。 +开发者只需安装TF Adapter插件，并在现有TensorFlow脚本中添加少量配置，即可实现在昇腾AI处理器上加速自己的训练任务。 ![tfadapter](https://images.gitee.com/uploads/images/2020/1027/094640_8f305b88_8175427.jpeg "framework.jpg") -您可以通过阅读 [TF_Adapter接口文档](https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/600alpha002/tfmoddevg/tfmigr1/atlasmprtg_13_0009.html) 获取更多使用细节。 -## 安装 -### 从源码安装 - -您可以从源代码构建 TF_Adapter 软件包并将其安装在昇腾AI处理器环境上。 -> TF_Adapter 插件与 Tensorflow 有严格的匹配关系，从源码构建前，您需要确保已经正确安装了 [Tensorflow v1.15.0 ->版本](https://www.tensorflow.org/install/pip) 。 - - -tfadapter也支持由源码编译，进行源码编译前，首先确保你有昇腾910 AI处理器的环境，同时系统满足以下要求： -- Linux OS -- GCC >= 7.3.0 -- CMake >= 3.14.0 -- [SWIG](http://www.swig.org/download.html) - -#### 下载源码 +您可以通过阅读[昇腾社区文档中心](https://www.hiascend.com/zh/document)的《TensorFlow 迁移与训练》手册获取更多使用细节。 + +## 源码安装 +您可以通过此仓中的源代码构建TF Adapter软件包并将其部署在昇腾AI处理器所在环境上。 + +### 安装前准备 +1. 通过源码方式安装TF Adaptet前，请确保环境已参见[昇腾社区文档中心](https://www.hiascend.com/zh/document)中心的《CANN软件安装》手册完成gcc、python等依赖的安装。 +2. TF Adapter 插件与 Tensorflow 有严格的匹配关系，通过源码构建TF Adapter软件包前，您需要确保已经正确安装了 [Tensorflow v1.15.0版本](https://www.tensorflow.org/install/pip) ，安装方式可参见[昇腾社区文档中心](https://www.hiascend.com/zh/document)中心《CANN软件安装》手册中的“安装深度学习框架 > 安装TensorFlow”章节。 +3. TF Adapter源码编译要求CMake软件版本 >=3.14.0，若您系统上的CMake版本不满足要求，可从[CMake官网](https://cmake.org/download/)下载配套操作系统的CMake软件包。 + 安装示例： + + a. 解压缩CMake软件包 + + ​ `tar -zxvf cmake-3.19.3-Linux-x86_64.tar.gz` + + ​ 解压后当前目录下生成cmake-3.19.3-Linux-x86_64的文件夹。 + + b. 设置CMake的环境变量。 + + ​ `export PATH=/home/xxx/xxx/cmake-3.19.3-Linux-x86_64/bin:$PATH` + + ​ 以上路径请替换为CMake的实际部署路径。 + + c. 检查是否安装成功。 + ​ 执行echo $PATH查看环境变量是否设置成功。 + ​ 执行如下命令，查看测试是否安装成功： + + `cmake --version` + + 4. TF Adapter源码编译依赖SWIG。 + 可执行如下命令进行SWIG(http://www.swig.org/download.html))的安装： + + `pip3 install swig` + +### TF Adapter源码下载 ``` git clone https://gitee.com/ascend/tensorflow.git cd tensorflow ``` -#### 适配定制tensorflow -在部分场景下，您可能会把自己定制或者修改过的tensorflow与我们的TF_Adapter软件包配合使用，由于TF_Adapter默认链接的是tensorflow官方网站的源码，因此您在使用TF_Adapter软件包的时候，可能会因为符号不匹配而出现coredump问题。为了使TF_Adapter能适配您的tensorflow源码，我们提供了一种修改建议。 -您只需要将TF_Adapter源码下的tensorflow/cmake/tensorflow.cmake文件稍作修改，便可实现这一目的。 +### TensorFlow源码定制（可选） +在部分场景下，您可能会把自己定制或者修改过的TensorFlow与TF Adapter软件包配合使用，由于TF Adapter默认链接的是TensorFlow官方网站的源码，因此您在使用TF Adapter软件包的时候，可能会因为符号不匹配而出现coredump问题。为了使TF Adapter能适配您的TensorFlow源码，您需要将TF Adapter源码下的tensorflow/cmake/tensorflow.cmake文件稍作修改，详细修改点如下： ![修改前TF_Adapter链接的是tensorflow官网源码](https://gitee.com/guopeian/tensorflow/raw/fix_readme/tf_adapter/docs/tensorflow_cmake.png "tensorflow_cmake.png") @@ -39,32 +58,30 @@ cd tensorflow ![修改后TF_Adapter链接您环境上的tensorflow定制源码](https://gitee.com/guopeian/tensorflow/raw/fix_readme/tf_adapter/docs/revise_tensorflow.png "revise_tensorflow.png") -#### 修改源码 -如果您想对TF_Adapter的源码进行修改，比如添加链接路径，或链接其他so等操作，您可以修改TF_Adapter源码下的tensorflow/CMakeLists.txt文件，只需要将ENABLE_OPEN_SRC分支下的编译配置做修改，便可以生效 +### TF Adapter源码定制（可选） +如果您想对TF Adapter的源码进行修改，比如添加链接路径，或链接其他so等操作，您可以修改TF Adapter源码下的tensorflow/CMakeLists.txt文件，只需要将ENABLE_OPEN_SRC分支下的编译配置做修改，便可以生效 ![CMakeList.txt文件](https://gitee.com/guopeian/tensorflow/raw/fix_readme/tf_adapter/docs/cmake.png "cmake.png") -#### 执行脚本生成安装包 +### 编译TF Adapter源码生成安装包 +执行如下命令，对TF Adapter源码进行编译： ``` chmod +x build.sh ./build.sh ``` - -编译结束后，安装包会生成在 +编译结束后，TF Adapter安装包生成在如下路径： ``` ./build/tfadapter/dist/python/dist/npu_bridge-1.15.0-py3-none-any.whl ``` -#### 安装插件包 -使用 pip3 安装 Ascend Adapter 到您期望的位置。 +#### 安装TF Adapter +执行如下命令安装TF Adapter。 ``` pip3 install ./build/tfadapter/dist/python/dist/npu_bridge-1.15.0-py3-none-any.whl --upgrade ``` -需要注意的是， 您应当保证安装路径与您编译时指定的 python - 解释器搜索路径是一致的。 +执行完成后，TF Adapter相关文件安装到python解释器搜索路径下，例如“/usr/local/python3.7.5/lib/python3.7/siite-packages”路径，安装后文件夹为“npu_bridge”与“npu_bridge-1.15.0.dist-info”。 ## 贡献 - 欢迎参与贡献。 ## 社区版本规划 @@ -75,11 +92,19 @@ https://gitee.com/ascend/tensorflow/wikis/Home?sort_id=3076366 Release Notes请参考[RELEASE](RELEASE.md). ## FAQ -#### 执行./build.sh时提示配置swig的路径 +#### 1. 执行./build.sh时提示配置swig的路径 需要执行以下命令安装swig ``` pip3 install swig ``` +#### 2. Ubuntu系统中执行./build.sh时提示“Could not import the lzma module” + +​ 执行如下命令进行lzma的安装： + +​ `apt-get install liblzma-dev` + +​ 需要注意，此依赖需要在Python安装之前安装，如果用户操作系统中已经安装满足要求的Python环境，在此之后再安装liblzma-dev，则需要重新编译Python环境。 + ## License -- Gitee From eb2041e708f07f52d9255367c29643eb00527767 Mon Sep 17 00:00:00 2001 From: zangyan Date: Mon, 20 Mar 2023 14:45:44 +0800 Subject: [PATCH 2/4] modify readme --- README.md | 33 +++++++++++++++++++++++---------- 1 file changed, 23 insertions(+), 10 deletions(-) diff --git a/README.md b/README.md index 881691f4f..2edccf7b4 100755 --- a/README.md +++ b/README.md @@ -14,29 +14,39 @@ TensorFlow Adapter For Ascend（简称TF Adapter）致力于将昇腾AI处理器 您可以通过此仓中的源代码构建TF Adapter软件包并将其部署在昇腾AI处理器所在环境上。 ### 安装前准备 -1. 通过源码方式安装TF Adaptet前，请确保环境已参见[昇腾社区文档中心](https://www.hiascend.com/zh/document)中心的《CANN软件安装》手册完成gcc、python等依赖的安装。 +1. 通过源码方式安装TF Adaptet前，请确保环境已参见[昇腾社区文档中心](https://www.hiascend.com/zh/document)中心的《CANN软件安装》手册完成以下安装与配置： + + a. 完成gcc、python等依赖的安装。 + + b. 完成开发套件包Ascend-cann-toolkit*_{version}*_linux-*{arch}*.run的安装。 + + c. 完成开发套件包的环境变量配置，假设以root用户使用默认安装路径进行安装，则环境变量配置命令： + + ​ source /usr/local/Ascend/ascend-toolkit/set_env.sh。 + 2. TF Adapter 插件与 Tensorflow 有严格的匹配关系，通过源码构建TF Adapter软件包前，您需要确保已经正确安装了 [Tensorflow v1.15.0版本](https://www.tensorflow.org/install/pip) ，安装方式可参见[昇腾社区文档中心](https://www.hiascend.com/zh/document)中心《CANN软件安装》手册中的“安装深度学习框架 > 安装TensorFlow”章节。 + 3. TF Adapter源码编译要求CMake软件版本 >=3.14.0，若您系统上的CMake版本不满足要求，可从[CMake官网](https://cmake.org/download/)下载配套操作系统的CMake软件包。 安装示例： - + a. 解压缩CMake软件包 - + ​ `tar -zxvf cmake-3.19.3-Linux-x86_64.tar.gz` - + ​ 解压后当前目录下生成cmake-3.19.3-Linux-x86_64的文件夹。 - + b. 设置CMake的环境变量。 - + ​ `export PATH=/home/xxx/xxx/cmake-3.19.3-Linux-x86_64/bin:$PATH` - + ​ 以上路径请替换为CMake的实际部署路径。 - + c. 检查是否安装成功。 ​ 执行echo $PATH查看环境变量是否设置成功。 ​ 执行如下命令，查看测试是否安装成功： - + `cmake --version` - + 4. TF Adapter源码编译依赖SWIG。 可执行如下命令进行SWIG(http://www.swig.org/download.html))的安装： @@ -69,7 +79,10 @@ cd tensorflow chmod +x build.sh ./build.sh ``` +> 请注意：执行编译命令前，请确保环境中已配置开发套件包Ascend-cann-toolkit*_{version}*_linux-*{arch}*.run的环境变量。 + 编译结束后，TF Adapter安装包生成在如下路径： + ``` ./build/tfadapter/dist/python/dist/npu_bridge-1.15.0-py3-none-any.whl ``` -- Gitee From 73baaff62ca8d4f78ffc49a45af43b69ea4c4d95 Mon Sep 17 00:00:00 2001 From: zangyan Date: Mon, 20 Mar 2023 06:53:06 +0000 Subject: [PATCH 3/4] update README.md. Signed-off-by: zangyan --- README.md | 20 ++++++++++---------- 1 file changed, 10 insertions(+), 10 deletions(-) diff --git a/README.md b/README.md index 2edccf7b4..a4368bcf5 100755 --- a/README.md +++ b/README.md @@ -16,20 +16,18 @@ TensorFlow Adapter For Ascend（简称TF Adapter）致力于将昇腾AI处理器 ### 安装前准备 1. 通过源码方式安装TF Adaptet前，请确保环境已参见[昇腾社区文档中心](https://www.hiascend.com/zh/document)中心的《CANN软件安装》手册完成以下安装与配置： - a. 完成gcc、python等依赖的安装。 + a. 完成gcc、python等依赖的安装。 - b. 完成开发套件包Ascend-cann-toolkit*_{version}*_linux-*{arch}*.run的安装。 + b. 完成开发套件包Ascend-cann-toolkit*_{version}*_linux-*{arch}*.run的安装。 - c. 完成开发套件包的环境变量配置，假设以root用户使用默认安装路径进行安装，则环境变量配置命令： - - ​ source /usr/local/Ascend/ascend-toolkit/set_env.sh。 + c. 完成开发套件包的环境变量配置，假设以root用户使用默认安装路径进行安装，则环境变量配置命令：source /usr/local/Ascend/ascend-toolkit/set_env.sh。 2. TF Adapter 插件与 Tensorflow 有严格的匹配关系，通过源码构建TF Adapter软件包前，您需要确保已经正确安装了 [Tensorflow v1.15.0版本](https://www.tensorflow.org/install/pip) ，安装方式可参见[昇腾社区文档中心](https://www.hiascend.com/zh/document)中心《CANN软件安装》手册中的“安装深度学习框架 > 安装TensorFlow”章节。 3. TF Adapter源码编译要求CMake软件版本 >=3.14.0，若您系统上的CMake版本不满足要求，可从[CMake官网](https://cmake.org/download/)下载配套操作系统的CMake软件包。 安装示例： - a. 解压缩CMake软件包 + a. 这里是列表文本解压缩CMake软件包 ​ `tar -zxvf cmake-3.19.3-Linux-x86_64.tar.gz` @@ -42,10 +40,12 @@ TensorFlow Adapter For Ascend（简称TF Adapter）致力于将昇腾AI处理器 ​ 以上路径请替换为CMake的实际部署路径。 c. 检查是否安装成功。 - ​ 执行echo $PATH查看环境变量是否设置成功。 - ​ 执行如下命令，查看测试是否安装成功： - - `cmake --version` + ​ + 执行echo $PATH查看环境变量是否设置成功。 + ​ + 执行如下命令，查看测试是否安装成功： + + `cmake --version` 4. TF Adapter源码编译依赖SWIG。 可执行如下命令进行SWIG(http://www.swig.org/download.html))的安装： -- Gitee From 1d4e76e296882b53c4e2482848213aaa73f0680b Mon Sep 17 00:00:00 2001 From: zangyan Date: Mon, 20 Mar 2023 14:55:37 +0800 Subject: [PATCH 4/4] modify readme --- README.md | 12 ++++++------ 1 file changed, 6 insertions(+), 6 deletions(-) diff --git a/README.md b/README.md index a4368bcf5..4e3bd0d8b 100755 --- a/README.md +++ b/README.md @@ -40,12 +40,12 @@ TensorFlow Adapter For Ascend（简称TF Adapter）致力于将昇腾AI处理器 ​ 以上路径请替换为CMake的实际部署路径。 c. 检查是否安装成功。 - ​ - 执行echo $PATH查看环境变量是否设置成功。 - ​ - 执行如下命令，查看测试是否安装成功： - - `cmake --version` + + ​ 执行echo $PATH查看环境变量是否设置成功。 + + ​ 执行如下命令，查看测试是否安装成功： + + ​ `cmake --version` 4. TF Adapter源码编译依赖SWIG。 可执行如下命令进行SWIG(http://www.swig.org/download.html))的安装： -- Gitee