diff --git "a/docs/zh/PyTorch\345\234\250\347\272\277\346\216\250\347\220\206\346\214\207\345\215\227/PyTorch\345\234\250\347\272\277\346\216\250\347\220\206\346\214\207\345\215\227.md" "b/docs/zh/PyTorch\345\234\250\347\272\277\346\216\250\347\220\206\346\214\207\345\215\227/PyTorch\345\234\250\347\272\277\346\216\250\347\220\206\346\214\207\345\215\227.md" index 945e19de1d02bdeef48968952b82620641a08bc0..679aaa6685e0419a5806156b44f2f4fbd6fdd1d1 100644 --- "a/docs/zh/PyTorch\345\234\250\347\272\277\346\216\250\347\220\206\346\214\207\345\215\227/PyTorch\345\234\250\347\272\277\346\216\250\347\220\206\346\214\207\345\215\227.md" +++ "b/docs/zh/PyTorch\345\234\250\347\272\277\346\216\250\347\220\206\346\214\207\345\215\227/PyTorch\345\234\250\347\272\277\346\216\250\347\220\206\346\214\207\345\215\227.md" @@ -1,48 +1,48 @@ # PyTorch在线推理指南 -- [使用场景](#使用场景.md) -- [基本使用流程](#基本使用流程.md) - - [前提条件](#前提条件.md) - - [在线推理流程](#在线推理流程.md) - - [环境变量配置](#环境变量配置.md) - - [样例参考](#样例参考.md) -- [专题](#专题.md) - - [混合精度](#混合精度.md) -- [安装7.3.0版本gcc](#安装7-3-0版本gcc.md) -

使用场景

+- [使用场景](#使用场景md) +- [基本使用流程](#基本使用流程md) + - [前提条件](#前提条件md) + - [在线推理流程](#在线推理流程md) + - [环境变量配置](#环境变量配置md) + - [样例参考](#样例参考md) +- [专题](#专题md) + - [混合精度](#混合精度md) +- [安装7.3.0版本gcc](#安装7-3-0版本gccmd) +

使用场景

在线推理是在AI框架内执行推理的场景，例如在PyTorch框架上，加载模型后，通过“model.eval\(\)“将模型切换为推理模式。 相比于离线推理场景，使用在线推理可以方便将原来基于PyTorch框架做推理的应用快速迁移到昇腾AI处理器，适用于数据中心推理场景。 -## 支持的芯片型号 +### 支持的芯片型号 昇腾910 AI处理器 昇腾710 AI处理器 -

基本使用流程

+

基本使用流程

-- **[前提条件](#前提条件.md)** +- **[前提条件](#前提条件md)** -- **[在线推理流程](#在线推理流程.md)** +- **[在线推理流程](#在线推理流程md)** -- **[环境变量配置](#环境变量配置.md)** +- **[环境变量配置](#环境变量配置md)** -- **[样例参考](#样例参考.md)** +- **[样例参考](#样例参考md)** -

前提条件

+

前提条件

已完成PyTorch框架及混合精度模块的安装，详情请参见《PyTorch安装指南》进行PyTorch相关运行环境搭建。 -

在线推理流程

+

在线推理流程

在线推理流程如[图1](#fig13802941161818)所示。 **图 1** 在线推理流程图 ![](figures/在线推理流程图.png "在线推理流程图") -

环境变量配置

+

环境变量配置

PyTorch在线推理进程启动所依赖的环境变量： @@ -82,7 +82,7 @@ export TASK_QUEUE_ENABLE=0

LD_LIBRARY_PATH

动态库的查找路径，参考上述举例配置。

-
说明：

若系统环境安装了gcc7.3.0（例如CentOS7.6、Debian和BClinux系统），需要配置gcc相关环境变量，详情请参见5。

+
说明：

若系统环境安装了gcc7.3.0（例如CentOS7.6、Debian和BClinux系统），需要配置gcc相关环境变量，详情请参见5。

必选

@@ -133,9 +133,9 @@ export TASK_QUEUE_ENABLE=0 >![](public_sys-resources/icon-note.gif) **说明：** >更多日志信息，请参见《CANN 日志参考》。 -

样例参考

+

样例参考

-## 样例代码 +#### 样例代码 在进行推理应用时，应尽量保证应用在生命周期内不频繁初始化。推理模式通过模型model.eval\(\)进行设置，并且推理过程要在“with torch.no\_grad\(\):”代码分支下运行。 @@ -406,7 +406,7 @@ if __name__ == '__main__': main() ``` -## 样例执行 +#### 样例执行 以ResNet50模型为例，执行在线推理样例。 @@ -420,7 +420,7 @@ if __name__ == '__main__': 3. 执行推理。 - 参考[环境变量配置](#环境变量配置.md)设置环境变量，并执行命令： + 参考[环境变量配置](#环境变量配置md)设置环境变量，并执行命令： ``` python3 pytorch-resnet50-apex.py --data /data/imagenet \ @@ -433,14 +433,14 @@ if __name__ == '__main__': >上述为样例输入，用户可根据实际修改传入参数。 -

专题

+

专题

-- **[混合精度](#混合精度.md)** +- **[混合精度](#混合精度md)** -

混合精度

+

混合精度

-## 概述 +#### 概述 基于NPU芯片的架构特性，模型运算会涉及到混合精度，即混合使用float16和float32数据类型的应用场景。使用float16代替float32有如下好处： @@ -450,7 +450,7 @@ if __name__ == '__main__': 但是，混合精度训练受限于float16表达的精度范围，单纯将float32转换成float16会影响训练收敛情况，为了保证部分计算使用float16来进行加速的同时能保证训练收敛，这里采用混合精度模块Apex来达到以上效果。混合精度模块Apex是一个集优化性能、精度收敛于一身的综合优化库。 -## 特性支持 +#### 特性支持 混合精度模块功能和优化描述如[表1](#zh-cn_topic_0278765773_table10717173813332)所示。 @@ -489,7 +489,7 @@ if __name__ == '__main__': >![](public_sys-resources/icon-note.gif) **说明：** >当前版本的实现方式主要为python实现，不支持AscendCL或者CUDA优化。 -## 混合精度模型初始化 +#### 混合精度模型初始化 1. 使用apex混合精度模块需要首先从apex库中导入amp，代码如下： @@ -503,20 +503,20 @@ if __name__ == '__main__': model, optimizer = amp.initialize(model, optimizer) ``` - 也可参考[样例代码](#样例参考.md)中的“初始化混合精度模型”： + 也可参考[样例代码](#样例参考md)中的“初始化混合精度模型”： ``` model, optimizer = amp.initialize(model, optimizer, opt_level="O2", loss_scale=1024, verbosity=1) ``` -## 混合精度推理 +#### 混合精度推理 按混合精度模型初始化后，正常执行模型正向计算即可。 -参考代码：可参考[样例代码](#样例参考.md)实现。 +参考代码：可参考[样例代码](#样例参考md)实现。 -

安装7.3.0版本gcc

+

安装7.3.0版本gcc

以下步骤请在root用户下执行。 diff --git "a/docs/zh/PyTorch\345\256\211\350\243\205\346\214\207\345\215\227/PyTorch\345\256\211\350\243\205\346\214\207\345\215\227.md" "b/docs/zh/PyTorch\345\256\211\350\243\205\346\214\207\345\215\227/PyTorch\345\256\211\350\243\205\346\214\207\345\215\227.md" index 4a4aa161572caabf57f07155fc93ed6026bb6d06..e9176a02b4d74df4dd4a760e3272fbcfff7bfe81 100644 --- "a/docs/zh/PyTorch\345\256\211\350\243\205\346\214\207\345\215\227/PyTorch\345\256\211\350\243\205\346\214\207\345\215\227.md" +++ "b/docs/zh/PyTorch\345\256\211\350\243\205\346\214\207\345\215\227/PyTorch\345\256\211\350\243\205\346\214\207\345\215\227.md" @@ -1,42 +1,42 @@ # PyTorch安装指南 -- [简介](#简介.md) -- [手动编译安装](#手动编译安装.md) - - [前提条件](#前提条件.md) - - [安装PyTorch框架](#安装PyTorch框架.md) - - [配置环境变量](#配置环境变量.md) - - [安装混合精度模块](#安装混合精度模块.md) -- [使用Ascend Hub镜像](#使用Ascend-Hub镜像.md) - - [Ascend Hub获取PyTorch镜像](#Ascend-Hub获取PyTorch镜像.md) - - [配置环境变量](#配置环境变量-0.md) -- [参考信息](#参考信息.md) - - [CMake安装方法](#CMake安装方法.md) - - [安装7.3.0版本gcc](#安装7-3-0版本gcc.md) - - [安装“torch-\*.whl ”提示“torch 1.5.0xxxx”与“torchvision”所依赖的版本不匹配](#安装-torch--whl-提示-torch-1-5-0xxxx-与-torchvision-所依赖的版本不匹配.md) -

简介

+- [简介](#简介md) +- [手动编译安装](#手动编译安装md) + - [前提条件](#前提条件md) + - [安装PyTorch框架](#安装PyTorch框架md) + - [配置环境变量](#配置环境变量md) + - [安装混合精度模块](#安装混合精度模块md) +- [使用Ascend Hub镜像](#使用Ascend-Hub镜像md) + - [Ascend Hub获取PyTorch镜像](#Ascend-Hub获取PyTorch镜像md) + - [配置环境变量](#配置环境变量-0md) +- [参考信息](#参考信息md) + - [CMake安装方法](#CMake安装方法md) + - [安装7.3.0版本gcc](#安装7-3-0版本gccmd) + - [安装“torch-\*.whl ”提示“torch 1.5.0xxxx”与“torchvision”所依赖的版本不匹配](#安装-torch--whl-提示-torch-1-5-0xxxx-与-torchvision-所依赖的版本不匹配md) +

简介

用户在准备相关环境进行基于PyTorch框架模型的开发、运行时，可以选择在服务器中手动编译安装PyTorch框架相关模块，或直接获取Ascend Hub镜像中心提供的基础镜像（镜像中已安装PyTorch模块和混合精度模块），进行模型的开发、运行。 **图 1** 环境准备流程图 ![](figures/环境准备流程图.png "环境准备流程图") -

手动编译安装

+

手动编译安装

-- **[前提条件](#前提条件.md)** +- **[前提条件](#前提条件md)** -- **[安装PyTorch框架](#安装PyTorch框架.md)** +- **[安装PyTorch框架](#安装PyTorch框架md)** -- **[配置环境变量](#配置环境变量.md)** +- **[配置环境变量](#配置环境变量md)** -- **[安装混合精度模块](#安装混合精度模块.md)** +- **[安装混合精度模块](#安装混合精度模块md)** -

前提条件

+

前提条件

-## 前提条件 +#### 前提条件 - 需完成CANN开发或运行环境的安装，具体操作请参考《CANN 软件安装指南》。 -- 需安装3.12.0以上版本的CMake，安装方法请参考[CMake安装方法](#CMake安装方法.md)。 -- 需确保已安装7.3.0以上版本的gcc，7.3.0版本gcc具体安装及使用方式请参考[安装7.3.0版本gcc](#安装7-3-0版本gcc.md)。 +- 需安装3.12.0以上版本的CMake，安装方法请参考[CMake安装方法](#CMake安装方法md)。 +- 需确保已安装7.3.0以上版本的gcc，7.3.0版本gcc具体安装及使用方式请参考[安装7.3.0版本gcc](#安装7-3-0版本gccmd)。 - 需确保环境中已安装patch、git工具，以Ubuntu和CentOS系统为例，命令如下： - Ubuntu系统 @@ -54,9 +54,9 @@ -

安装PyTorch框架

+

安装PyTorch框架

-## 安装流程 +#### 安装流程 1. 以root或非root用户登录服务器。 2. 依次执行如下命令安装PyTorch依赖环境。 @@ -155,7 +155,7 @@ >**pip3 list | grep torch** -

配置环境变量

+

配置环境变量

安装完软件包后，需要配置环境变量才能正常使用昇腾PyTorch。相关环境变量介绍参见[表1](#zh-cn_topic_0000001152616261_table42017516135)。 @@ -204,7 +204,7 @@

LD_LIBRARY_PATH

动态库的查找路径，参考上述举例配置。

-

若训练所在系统环境需要升级gcc（例如CentOS、Debian和BClinux系统），则“LD_LIBRARY_PATH”配置项处动态库查找路径需要添加“${install_path}/lib64”，其中“{install_path}”为gcc升级安装路径。请参见5。

+

若训练所在系统环境需要升级gcc（例如CentOS、Debian和BClinux系统），则“LD_LIBRARY_PATH”配置项处动态库查找路径需要添加“${install_path}/lib64”，其中“{install_path}”为gcc升级安装路径。请参见5。

PYTHONPATH

@@ -307,14 +307,14 @@ -

安装混合精度模块

+

安装混合精度模块

-## 前提条件 +#### 前提条件 1. 请确保运行环境中适配昇腾AI处理器的PyTorch框架能正常使用。 -2. 编译安装Apex前，需参见[配置环境变量](#配置环境变量.md)配置好编译过程依赖的环境变量。 +2. 编译安装Apex前，需参见[配置环境变量](#配置环境变量md)配置好编译过程依赖的环境变量。 -## 安装流程 +#### 安装流程 1. 以root或非root用户登录服务器。 2. 获取apex源代码。 @@ -404,21 +404,21 @@ >**pip3 list | grep apex** -

使用Ascend Hub镜像

+

使用Ascend Hub镜像

-- **[Ascend Hub获取PyTorch镜像](#Ascend-Hub获取PyTorch镜像.md)** +- **[Ascend Hub获取PyTorch镜像](#Ascend-Hub获取PyTorch镜像md)** -- **[配置环境变量](#配置环境变量-0.md)** +- **[配置环境变量](#配置环境变量-0md)** -

Ascend Hub获取PyTorch镜像

+

Ascend Hub获取PyTorch镜像

-## 前提条件 +#### 前提条件 - 已准备好相应硬件环境驱动和固件的安装，请参见各硬件产品[“驱动和固件安装升级指南”](https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)。需要在硬件设备上安装与CANN版本配套的固件与驱动。 - 宿主机上已安装Docker。 -## 获取并使用镜像 +#### 获取并使用镜像 用户可登录[Ascend Hub](https://ascendhub.huawei.com/#/home)获取相应镜像（首次申请需要激活账号）。 @@ -445,20 +445,20 @@ -

配置环境变量

+

配置环境变量

-启动并进入镜像容器后，请参见[配置环境变量](#配置环境变量.md)配置模型训练依赖的环境变量。 +启动并进入镜像容器后，请参见[配置环境变量](#配置环境变量md)配置模型训练依赖的环境变量。 -

参考信息

+

参考信息

-- **[CMake安装方法](#CMake安装方法.md)** +- **[CMake安装方法](#CMake安装方法md)** -- **[安装7.3.0版本gcc](#安装7-3-0版本gcc.md)** +- **[安装7.3.0版本gcc](#安装7-3-0版本gccmd)** -- **[安装“torch-\*.whl ”提示“torch 1.5.0xxxx”与“torchvision”所依赖的版本不匹配](#安装-torch--whl-提示-torch-1-5-0xxxx-与-torchvision-所依赖的版本不匹配.md)** +- **[安装“torch-\*.whl ”提示“torch 1.5.0xxxx”与“torchvision”所依赖的版本不匹配](#安装-torch--whl-提示-torch-1-5-0xxxx-与-torchvision-所依赖的版本不匹配md)** -

CMake安装方法

+

CMake安装方法

CMake版本升级为3.12.1的方法 @@ -497,7 +497,7 @@ CMake版本升级为3.12.1的方法 如显示“cmake version 3.12.1”则表示安装成功。 -

安装7.3.0版本gcc

+

安装7.3.0版本gcc

以下步骤请在root用户下执行。 @@ -578,19 +578,19 @@ CMake版本升级为3.12.1的方法 >本步骤为用户在需要用到gcc升级后的编译环境时才配置环境变量。 -

安装“torch-\*.whl ”提示“torch 1.5.0xxxx”与“torchvision”所依赖的版本不匹配

+

安装“torch-\*.whl ”提示“torch 1.5.0xxxx”与“torchvision”所依赖的版本不匹配

-## 现象描述 +#### 现象描述 安装“torch-\*.whl”时，提示"ERROR：torchvision 0.6.0 has requirement torch==1.5.0, but you'll have torch 1.5.0a0+1977093 which is incompatible"。 ![](figures/zh-cn_image_0000001190081735.png) -## 可能原因 +#### 可能原因 安装torch时，会自动触发torchvision进行依赖版本检查，环境中安装的torchvision版本为0.6.0，检查时发现我们安装的torch-\*.whl的版本号与要求的1.5.0不一致，所以提示报错，但实际安装成功 。 -## 处理方法 +#### 处理方法 对实际结果无影响，无需处理。 diff --git "a/docs/zh/PyTorch\347\256\227\345\255\220\345\274\200\345\217\221\346\214\207\345\215\227/PyTorch\347\256\227\345\255\220\345\274\200\345\217\221\346\214\207\345\215\227.md" "b/docs/zh/PyTorch\347\256\227\345\255\220\345\274\200\345\217\221\346\214\207\345\215\227/PyTorch\347\256\227\345\255\220\345\274\200\345\217\221\346\214\207\345\215\227.md" index d27a2c35236e16a366f2a6af96246c1053100c28..12cc6c8103d6b6f88f411d81fe29472bfcb33613 100644 --- "a/docs/zh/PyTorch\347\256\227\345\255\220\345\274\200\345\217\221\346\214\207\345\215\227/PyTorch\347\256\227\345\255\220\345\274\200\345\217\221\346\214\207\345\215\227.md" +++ "b/docs/zh/PyTorch\347\256\227\345\255\220\345\274\200\345\217\221\346\214\207\345\215\227/PyTorch\347\256\227\345\255\220\345\274\200\345\217\221\346\214\207\345\215\227.md" @@ -1,37 +1,37 @@ # PyTorch算子开发指南 -- [简介](#简介.md) -- [算子开发流程](#算子开发流程.md) -- [算子开发准备](#算子开发准备.md) - - [环境准备](#环境准备.md) - - [算子速查](#算子速查.md) -- [算子适配开发](#算子适配开发.md) - - [前提条件](#前提条件.md) - - [获取PyTorch源码](#获取PyTorch源码.md) - - [注册算子开发](#注册算子开发.md) - - [算子适配插件开发](#算子适配插件开发.md) - - [编译和安装PyTorch框架](#编译和安装PyTorch框架.md) -- [算子功能验证](#算子功能验证.md) - - [概述](#概述.md) - - [实现过程](#实现过程.md) -- [FAQ](#FAQ.md) - - [Pillow==5.3.0安装失败](#Pillow-5-3-0安装失败.md) - - [pip3.7 install torchvision安装失败](#pip3-7-install-torchvision安装失败.md) - - [安装“torch-\*.whl ”提示“torch 1.5.0xxxx”与“torchvision”所依赖的版本不匹配](#安装-torch--whl-提示-torch-1-5-0xxxx-与-torchvision-所依赖的版本不匹配.md) - - [如何查看测试的运行日志](#如何查看测试的运行日志.md) - - [为什么我实现的“自定义TBE算子”无法调用到？](#为什么我实现的-自定义TBE算子-无法调用到.md) - - [如何确定“TBE算子”是否被“PyTorch适配”正确调用](#如何确定-TBE算子-是否被-PyTorch适配-正确调用.md) - - [PyTorch编译失败，提示“error: ld returned 1 exit status”](#PyTorch编译失败-提示-error-ld-returned-1-exit-status.md) - - [PyTorch编译失败，提示“error: call of overload ....”](#PyTorch编译失败-提示-error-call-of-overload.md) -- [附录](#附录.md) - - [CMake安装方法](#CMake安装方法.md) - - [自定义算子导出方法](#自定义算子导出方法.md) -

简介

- -## 概述 +- [简介](#简介md) +- [算子开发流程](#算子开发流程md) +- [算子开发准备](#算子开发准备md) + - [环境准备](#环境准备md) + - [算子速查](#算子速查md) +- [算子适配开发](#算子适配开发md) + - [前提条件](#前提条件md) + - [获取PyTorch源码](#获取PyTorch源码md) + - [注册算子开发](#注册算子开发md) + - [算子适配插件开发](#算子适配插件开发md) + - [编译和安装PyTorch框架](#编译和安装PyTorch框架md) +- [算子功能验证](#算子功能验证md) + - [概述](#概述md) + - [实现过程](#实现过程md) +- [FAQ](#FAQmd) + - [Pillow==5.3.0安装失败](#Pillow-5-3-0安装失败md) + - [pip3.7 install torchvision安装失败](#pip3-7-install-torchvision安装失败md) + - [安装“torch-\*.whl ”提示“torch 1.5.0xxxx”与“torchvision”所依赖的版本不匹配](#安装-torch--whl-提示-torch-1-5-0xxxx-与-torchvision-所依赖的版本不匹配md) + - [如何查看测试的运行日志](#如何查看测试的运行日志md) + - [为什么我实现的“自定义TBE算子”无法调用到？](#为什么我实现的-自定义TBE算子-无法调用到md) + - [如何确定“TBE算子”是否被“PyTorch适配”正确调用](#如何确定-TBE算子-是否被-PyTorch适配-正确调用md) + - [PyTorch编译失败，提示“error: ld returned 1 exit status”](#PyTorch编译失败-提示-error-ld-returned-1-exit-statusmd) + - [PyTorch编译失败，提示“error: call of overload ....”](#PyTorch编译失败-提示-error-call-of-overloadmd) +- [附录](#附录md) + - [CMake安装方法](#CMake安装方法md) + - [自定义算子导出方法](#自定义算子导出方法md) +

简介

+ +### 概述 为了实现PyTorch深度学习框架在昇腾AI处理器上运行，需要将框架算子用TBE自定义开发。 -

算子开发流程

+

算子开发流程

Pytorch算子开发包含TBE算子开发和PyTorch框架下的算子适配。 @@ -66,7 +66,7 @@ Pytorch算子开发包含TBE算子开发和PyTorch框架下的算子适配。

准备算子开发及运行验证所依赖的开发环境与运行环境。

-

算子开发准备

+

算子开发准备

2

@@ -83,7 +83,7 @@ Pytorch算子开发包含TBE算子开发和PyTorch框架下的算子适配。

获取昇腾社区PyTorch源码。

-

算子适配开发

+

算子适配开发

4

@@ -113,25 +113,25 @@ Pytorch算子开发包含TBE算子开发和PyTorch框架下的算子适配。

在真实的硬件环境中验证算子功能。

-

算子功能验证

+

算子功能验证

-

算子开发准备

+

算子开发准备

-- **[环境准备](#环境准备.md)** +- **[环境准备](#环境准备md)** -- **[算子速查](#算子速查.md)** +- **[算子速查](#算子速查md)** -

环境准备

+

环境准备

-## 前提条件 +#### 前提条件 - 需完成CANN开发或运行环境的安装，具体操作请参考《CANN 软件安装指南》。 -- 需安装3.12.0及以上版本的CMake，安装方法请参考[CMake安装方法](#CMake安装方法.md)。 +- 需安装3.12.0及以上版本的CMake，安装方法请参考[CMake安装方法](#CMake安装方法md)。 - 需确保已安装7.3.0以上版本的gcc，7.3.0版本gcc具体安装及使用方式请参见《CANN 软件安装指南》中的“安装7.3.0版本gcc”章节。 - 需确保环境中已安装git工具，以Ubuntu和CentOS系统为例，命令如下: - Ubuntu系统 @@ -148,7 +148,7 @@ Pytorch算子开发包含TBE算子开发和PyTorch框架下的算子适配。 -## 安装PyTorch依赖环境 +#### 安装PyTorch依赖环境 如果使用非root用户安装Python及其依赖，用户需要在每句命令末尾加上**--user**，保证安装的正常进行。命令示例为：**pip3.7 install pyyaml --user** @@ -159,9 +159,9 @@ pip3.7 install Pillow==5.3.0 ``` >![](public_sys-resources/icon-note.gif) **说明：** ->若以上过程出错，请参考[FAQ](#FAQ.md)尝试解决问题。 +>若以上过程出错，请参考[FAQ](#FAQmd)尝试解决问题。 -

算子速查

+

算子速查

进行算子开发时，您可以查询当前昇腾AI处理器中支持的算子列表和当前PyTorch适配的算子列表。根据查询结果进行算子开发或PyTorch算子适配。 @@ -177,25 +177,25 @@ pip3.7 install Pillow==5.3.0 - 当前PyTorch适配的算子列表可以参见《PyTorch适配算子清单》。 -

算子适配开发

+

算子适配开发

-- **[前提条件](#前提条件.md)** +- **[前提条件](#前提条件md)** -- **[获取PyTorch源码](#获取PyTorch源码.md)** +- **[获取PyTorch源码](#获取PyTorch源码md)** -- **[注册算子开发](#注册算子开发.md)** +- **[注册算子开发](#注册算子开发md)** -- **[算子适配插件开发](#算子适配插件开发.md)** +- **[算子适配插件开发](#算子适配插件开发md)** -- **[编译和安装PyTorch框架](#编译和安装PyTorch框架.md)** +- **[编译和安装PyTorch框架](#编译和安装PyTorch框架md)** -

前提条件

+

前提条件

-- 完成开发及运行环境准备及相关依赖的安装，详情请参见[环境准备](#环境准备.md)。 +- 完成开发及运行环境准备及相关依赖的安装，详情请参见[环境准备](#环境准备md)。 - 完成相关的TBE算子开发及部署，详情请参见《CANN TBE自定义算子开发指南》。 -

获取PyTorch源码

+

获取PyTorch源码

从gitee上获取适配昇腾AI处理器的PyTorch源代码，获取地址为： [https://gitee.com/ascend/pytorch-develop](https://gitee.com/ascend/pytorch-develop) 。用户可以通过执行下面git命令行下载源代码。 @@ -208,13 +208,13 @@ git clone https://gitee.com/ascend/pytorch-develop.git --deepth=1 >![](public_sys-resources/icon-note.gif) **说明：** >如无权限获取代码，请联系华为技术支持申请加入“Ascend”组织。 -

注册算子开发

+

注册算子开发

-## 概述 +#### 概述 当前制定的NPU适配派发原则是NPU算子的派发不经过框架公共函数，直接派发成NPU适配的函数，即算子执行调用栈中只包含NPU适配的函数调用，不包含框架公共函数。PyTorch框架在编译时，会根据 native\_functions.yaml 的定义，按框架中定义的类型和设备分发原则，生成相应的新算子的中间层的调用说明。对于NPU，会生成在 build/aten/src/ATen/NPUType.cpp。 -## 注册算子开发方法 +#### 注册算子开发方法 1. 打开native\_functions.yaml文件。 @@ -258,7 +258,7 @@ git clone https://gitee.com/ascend/pytorch-develop.git --deepth=1 >该格式供参考，算子适配开发过程中的函数名需与NPU\_Adapt\_Fun\_Name保持一致。 -## 示例 +#### 示例 以torch.add\(\)算子为例介绍注册算子开发过程。 @@ -344,13 +344,13 @@ git clone https://gitee.com/ascend/pytorch-develop.git --deepth=1 -

算子适配插件开发

+

算子适配插件开发

-## 简介 +#### 简介 用户通过开发算子适配插件，实现PyTorch原生算子的输入参数、输出参数和属性的格式转换，使转换后的格式与TBE算子的输入参数、输出参数和属性的格式相同。适配昇腾AI处理器的PyTorch源代码中提供了适配关联、类型转换和判别、处理动态shape等相关的方法供用户使用。 -## 适配插件实现 +#### 适配插件实现 1. 创建适配插件文件。 @@ -372,7 +372,7 @@ git clone https://gitee.com/ascend/pytorch-develop.git --deepth=1 实现算子适配主题函数，根据TBE算子原型构造得到对应的input、output、attr。 -## 示例 +#### 示例 以torch.add\(\)算子为例介绍算子适配开发过程。 @@ -529,9 +529,9 @@ git clone https://gitee.com/ascend/pytorch-develop.git --deepth=1 >![](public_sys-resources/icon-note.gif) **说明：** >AddKernelNpu.cpp的详细实现代码请参见pytorch/aten/src/ATen/native/npu/AddKernelNpu.cpp文档。 -

编译和安装PyTorch框架

+

编译和安装PyTorch框架

-## 编译PyTorch框架 +#### 编译PyTorch框架 1. 进入PyTorch工作目录 ：“pytorch“。 2. 给脚本文件赋权限： @@ -547,9 +547,9 @@ git clone https://gitee.com/ascend/pytorch-develop.git --deepth=1 4. 编译成功后，会在“**pytorch/dist**” 下生成 torch-\*.whl 包，例如：torch-1.5.0a0-cp37-cp37m-linux\_x86.whl。 -## 安装PyTorch框架 +#### 安装PyTorch框架 -1. 将[编译和安装PyTorch框架](#编译和安装PyTorch框架.md)生成的torch-\*.whl包上传到服务器任一路径。 +1. 将[编译和安装PyTorch框架](#编译和安装PyTorch框架md)生成的torch-\*.whl包上传到服务器任一路径。 2. 进入torch-\*.whl 所在的目录，使用pip命令完成torch安装。 当前登录用户为root用户时，执行： @@ -569,34 +569,34 @@ git clone https://gitee.com/ascend/pytorch-develop.git --deepth=1 >- 修改代码之后，需要重新执行“编译”和“安装”PyTorch过程。 >- 安装过程中，可能会出现错误提示"torchvision 0.6.0" 版本不匹配，此问题无影响，忽略即可。 -

算子功能验证

+

算子功能验证

-- **[概述](#概述.md)** +- **[概述](#概述md)** -- **[实现过程](#实现过程.md)** +- **[实现过程](#实现过程md)** -

概述

+

概述

-## 简介 +#### 简介 完成算子适配开发后，可通过运行适配昇腾处理器的PyTorch算子，验证算子运行结果是否正确。 算子功能验证会覆盖算子开发的所有交付件，包含实现文件，算子原型定义、算子信息库以及算子适配插件。本节仅对验证的方法做介绍。 -## 测试用例及测试工具 +#### 测试用例及测试工具 进行自定义算子功能验证，通过PyTorch前端构造自定义算子的函数并运行验证。 在https://gitee.com/ascend/pytorch-develop中 "pytorch/test/test\_npu/test\_network\_ops"目录下提供了测试用例及测试工具，供用户参考。 -

实现过程

+

实现过程

-## 简介 +#### 简介 本章通过具体例子，完成PyTorch算子的功能测试步骤。 -## 操作步骤 +#### 操作步骤 1. 设置环境变量。 @@ -605,8 +605,6 @@ git clone https://gitee.com/ascend/pytorch-develop.git --deepth=1 . /home/HwHiAiUser/Ascend/ascend-toolkit/set_env.sh ``` - install\_path请修改为Toolkit的实际安装路径。 - 2. 编写测试脚本。以add算子为例，在“pytorch/test/test\_npu/test\_network\_ops“路径下编写测试脚本文件： test\_add.py。 以下示例仅为一个简单的用例实现供用户参考，具体测试用例的实现，需要根据算子定义进行完整的覆盖才能保证功能的基本正确。 @@ -660,8 +658,6 @@ git clone https://gitee.com/ascend/pytorch-develop.git --deepth=1 if __name__ == "__main__": torch.npu.set_device("npu:0") run_tests() - - ``` 3. 执行测试用例脚本 @@ -673,36 +669,36 @@ git clone https://gitee.com/ascend/pytorch-develop.git --deepth=1 ``` -

FAQ

+

FAQ

-- **[Pillow==5.3.0安装失败](#Pillow-5-3-0安装失败.md)** +- **[Pillow==5.3.0安装失败](#Pillow-5-3-0安装失败md)** -- **[pip3.7 install torchvision安装失败](#pip3-7-install-torchvision安装失败.md)** +- **[pip3.7 install torchvision安装失败](#pip3-7-install-torchvision安装失败md)** -- **[安装“torch-\*.whl ”提示“torch 1.5.0xxxx”与“torchvision”所依赖的版本不匹配](#安装-torch--whl-提示-torch-1-5-0xxxx-与-torchvision-所依赖的版本不匹配.md)** +- **[安装“torch-\*.whl ”提示“torch 1.5.0xxxx”与“torchvision”所依赖的版本不匹配](#安装-torch--whl-提示-torch-1-5-0xxxx-与-torchvision-所依赖的版本不匹配md)** -- **[如何查看测试的运行日志](#如何查看测试的运行日志.md)** +- **[如何查看测试的运行日志](#如何查看测试的运行日志md)** -- **[为什么我实现的“自定义TBE算子”无法调用到？](#为什么我实现的-自定义TBE算子-无法调用到.md)** +- **[为什么我实现的“自定义TBE算子”无法调用到？](#为什么我实现的-自定义TBE算子-无法调用到md)** -- **[如何确定“TBE算子”是否被“PyTorch适配”正确调用](#如何确定-TBE算子-是否被-PyTorch适配-正确调用.md)** +- **[如何确定“TBE算子”是否被“PyTorch适配”正确调用](#如何确定-TBE算子-是否被-PyTorch适配-正确调用md)** -- **[PyTorch编译失败，提示“error: ld returned 1 exit status”](#PyTorch编译失败-提示-error-ld-returned-1-exit-status.md)** +- **[PyTorch编译失败，提示“error: ld returned 1 exit status”](#PyTorch编译失败-提示-error-ld-returned-1-exit-statusmd)** -- **[PyTorch编译失败，提示“error: call of overload ....”](#PyTorch编译失败-提示-error-call-of-overload.md)** +- **[PyTorch编译失败，提示“error: call of overload ....”](#PyTorch编译失败-提示-error-call-of-overloadmd)** -

Pillow==5.3.0安装失败

+

Pillow==5.3.0安装失败

-## 现象描述 +#### 现象描述 pillow==5.3.0安装失败。 -## 可能原因 +#### 可能原因 缺少必要的依赖，如：libjpeg、python-devel、 zlib-devel 、libjpeg-turbo-devel等等。 -## 处理方法 +#### 处理方法 执行以下命令安装所需依赖。 @@ -710,17 +706,17 @@ pillow==5.3.0安装失败。 apt-get install libjpeg python-devel zlib-devel libjpeg-turbo-devel ``` -

pip3.7 install torchvision安装失败

+

pip3.7 install torchvision安装失败

-## 现象描述 +#### 现象描述 pip3.7 install torchvision安装失败。 -## 可能原因 +#### 可能原因 torch与torchvision版本不匹配。 -## 处理方法 +#### 处理方法 执行以下命令。 @@ -728,9 +724,9 @@ torch与torchvision版本不匹配。 pip3.7 install torchvision --no-deps ``` -

安装“torch-\*.whl ”提示“torch 1.5.0xxxx”与“torchvision”所依赖的版本不匹配

+

安装“torch-\*.whl ”提示“torch 1.5.0xxxx”与“torchvision”所依赖的版本不匹配

-## 现象描述 +#### 现象描述 安装“torch-\*.whl”时，提示"ERROR：torchvision 0.6.0 has requirement torch==1.5.0, but you'll have torch 1.5.0a0+1977093 which is incompatible"。 @@ -738,15 +734,15 @@ pip3.7 install torchvision --no-deps 但实际安装成功 -## 可能原因 +#### 可能原因 安装torch时，会自动触发torchvision进行依赖版本检查，环境中安装的torchvision版本为0.6.0，检查时发现我们安装的torch-\*.whl的版本号与要求的1.5.0不一致，所以提示了一条错误 。 -## 处理方法 +#### 处理方法 对实际结果无影响，无需处理。 -

如何查看测试的运行日志

+

如何查看测试的运行日志

测试运行过程提示错误，但直接可参考的信息太少，如何才能看到更详细的运行日志？ @@ -767,21 +763,21 @@ pip3.7 install torchvision --no-deps ``` -

为什么我实现的“自定义TBE算子”无法调用到？

+

为什么我实现的“自定义TBE算子”无法调用到？

-## 现象描述 +#### 现象描述 完成“自定义TBE算子”开发，和“PyTorch”适配开发，但执行测试用例，发现无法调用到新开发的算子。 -## 可能原因 +#### 可能原因 - 环境变量没有正确设置。 - yaml存在错误，导致没有正确分发。 - 自定义TBE算子实现存在问题，导致无法调用到。 -## 处理方法 +#### 处理方法 -1. 参考“[算子功能验证](#算子功能验证.md)”章节，完成运行环境设置，特别注意： +1. 参考“[算子功能验证](#算子功能验证md)”章节，完成运行环境设置，特别注意： ``` . /home/HwHiAiUser/Ascend/ascend-toolkit/set_env.sh @@ -821,7 +817,7 @@ pip3.7 install torchvision --no-deps -

如何确定“TBE算子”是否被“PyTorch适配”正确调用

+

如何确定“TBE算子”是否被“PyTorch适配”正确调用

不管是“custom”算子，还是“built-in”算子，在安装后，都是以\*.py源码的方式存放在安装目录下，所以我们可以通过编辑源码，在API入口增加日志的方式，打印输出入参，确定输入的参数是否正确。 @@ -871,15 +867,15 @@ pip3.7 install torchvision --no-deps ![](figures/zh-cn_image_0000001144082072.png) -

PyTorch编译失败，提示“error: ld returned 1 exit status”

+

PyTorch编译失败，提示“error: ld returned 1 exit status”

-## 现象描述 +#### 现象描述 PyTorch编译失败，提示“ error: ld returned 1 exit status”。 ![](figures/zh-cn_image_0000001190201973.png) -## 可能原因 +#### 可能原因 通过日志分析，大概原因为XxxxKernelNpu.cpp中实现的适配函数，与PyTorch框架算子要求的分发实现接口参数不匹配。在上面的例子中，是“binary\_cross\_entropy\_npu”，打开对应的XxxxKernelNpu.cpp文件，找到相应的适配函数。 @@ -887,13 +883,13 @@ PyTorch编译失败，提示“ error: ld returned 1 exit status”。 可以看出实现中，最后一个参数是"int" ，与要求的“long”不匹配。 -## 处理方法 +#### 处理方法 修改XxxxKernelNpu.cpp中实现的适配函数，在上面的例子中，修改“binary\_cross\_entropy\_npu”方法最后一个参数类型为“int64\_t”\(cpp中“long”的类型使用"int64\_t"\)。 -

PyTorch编译失败，提示“error: call of overload ....”

+

PyTorch编译失败，提示“error: call of overload ....”

-## 现象描述 +#### 现象描述 PyTorch编译失败，提示“error: call of overload ....”。 @@ -901,7 +897,7 @@ PyTorch编译失败，提示“error: call of overload ....”。 ![](figures/zh-cn_image_0000001190201935.png) -## 可能原因 +#### 可能原因 通过日志分析，错误出在XxxxKernelNpu.cpp中30行位置，NPUAttrDesc的参数不合法。在上面的例子中，是“binary\_cross\_entropy\_attr”，打开对应的XxxxKernelNpu.cpp文件，找到相应的适配函数。 @@ -909,20 +905,20 @@ PyTorch编译失败，提示“error: call of overload ....”。 可以看出实现中，NPUAttrDesc的入参，第二个参数是"int" ，与NPUAttrDesc定义不匹配。 -## 处理方法 +#### 处理方法 1、将binary\_cross\_entropy\_attr\(\)中错误的行代码替换为上面的注释中的代码 2、binary\_cross\_entropy\_attr\(\)入参类型修改为 int64\_t。 -

附录

+

附录

-- **[CMake安装方法](#CMake安装方法.md)** +- **[CMake安装方法](#CMake安装方法md)** -- **[自定义算子导出方法](#自定义算子导出方法.md)** +- **[自定义算子导出方法](#自定义算子导出方法md)** -

CMake安装方法

+

CMake安装方法

以CMake版本升级为3.12.1为例说明。 @@ -961,17 +957,17 @@ PyTorch编译失败，提示“error: call of overload ....”。 显示“cmake version 3.12.1”则表示安装成功。 -

自定义算子导出方法

+

自定义算子导出方法

-## 简介 +#### 简介 PyTorch训练模型中包含自定义算子，将自定义算子导出成onnx单算子模型，方便转移到其他AI框架中使用。自定义算子导出有三种形式，适配NPU的TBE算子导出、C++算子导出、纯Python算子导出。 -## 前提条件 +#### 前提条件 安装PyTorch框架。 -## TBE算子导出 +#### TBE算子导出 TBE算子导出有两种方式。 @@ -1126,7 +1122,7 @@ TBE算子导出有两种方式。 >![](public_sys-resources/icon-note.gif) **说明：** >详细实现代码请参见[test\_custom\_ops\_npu\_demo.py](https://gitee.com/ascend/pytorch/blob/master/test/test_npu/test_onnx/torch.onnx/custom_ops_demo/test_custom_ops_npu_demo.py)，如无权限获取代码，请联系华为技术支持申请加入“Ascend”组织。 -## C++算子导出 +#### C++算子导出 1. 自定义算子 @@ -1192,7 +1188,7 @@ TBE算子导出有两种方式。 >![](public_sys-resources/icon-note.gif) **说明：** >详细实现代码请参见[test\_custom\_ops\_demo.py](https://gitee.com/ascend/pytorch/blob/master/test/test_npu/test_onnx/torch.onnx/custom_ops_demo/test_custom_ops_demo.py)，如无权限获取代码，请联系华为技术支持申请加入“Ascend”组织。 -## 纯Python算子导出 +#### 纯Python算子导出 1. 自定义算子 diff --git "a/docs/zh/PyTorch\347\275\221\347\273\234\346\250\241\345\236\213\347\247\273\346\244\215&\350\256\255\347\273\203\346\214\207\345\215\227/PyTorch\347\275\221\347\273\234\346\250\241\345\236\213\347\247\273\346\244\215&\350\256\255\347\273\203\346\214\207\345\215\227.md" "b/docs/zh/PyTorch\347\275\221\347\273\234\346\250\241\345\236\213\347\247\273\346\244\215&\350\256\255\347\273\203\346\214\207\345\215\227/PyTorch\347\275\221\347\273\234\346\250\241\345\236\213\347\247\273\346\244\215&\350\256\255\347\273\203\346\214\207\345\215\227.md" index 60473cd2ed26bc1a4f1d685880bde54095a9890c..7e907d38300b45d9bbe7429a7227560d3309c808 100644 --- "a/docs/zh/PyTorch\347\275\221\347\273\234\346\250\241\345\236\213\347\247\273\346\244\215&\350\256\255\347\273\203\346\214\207\345\215\227/PyTorch\347\275\221\347\273\234\346\250\241\345\236\213\347\247\273\346\244\215&\350\256\255\347\273\203\346\214\207\345\215\227.md" +++ "b/docs/zh/PyTorch\347\275\221\347\273\234\346\250\241\345\236\213\347\247\273\346\244\215&\350\256\255\347\273\203\346\214\207\345\215\227/PyTorch\347\275\221\347\273\234\346\250\241\345\236\213\347\247\273\346\244\215&\350\256\255\347\273\203\346\214\207\345\215\227.md" @@ -1,103 +1,101 @@ # PyTorch网络模型移植&训练指南 -- [概述](#概述.md) -- [约束与限制](#约束与限制.md) -- [迁移流程](#迁移流程.md) -- [模型移植评估](#模型移植评估.md) -- [环境准备](#环境准备.md) - - [准备运行环境](#准备运行环境.md) - - [配置环境变量](#配置环境变量.md) -- [模型迁移](#模型迁移.md) - - [工具迁移](#工具迁移.md) - - [功能介绍](#功能介绍.md) - - [操作指南](#操作指南.md) - - [结果解析](#结果解析.md) - - [手工迁移](#手工迁移.md) - - [单P训练模型迁移](#单P训练模型迁移.md) - - [多P训练模型迁移](#多P训练模型迁移.md) - - [PyTorch接口替换](#PyTorch接口替换.md) - - [混合精度](#混合精度.md) - - [性能优化](#性能优化.md) - - [概述](#概述-0.md) - - [修改CPU性能模式（X86服务器）](#修改CPU性能模式（X86服务器）.md) - - [修改CPU性能模式（ARM服务器）](#修改CPU性能模式（ARM服务器）.md) - - [安装高性能pillow库（X86服务器）](#安装高性能pillow库（X86服务器）.md) - - [（可选）安装指定版本OpenCV库](#（可选）安装指定版本OpenCV库.md) -- [模型训练](#模型训练.md) -- [性能调优和分析](#性能调优和分析.md) - - [前提条件](#前提条件.md) - - [调测过程](#调测过程.md) - - [总体思路](#总体思路.md) - - [采集训练过程相关数据](#采集训练过程相关数据.md) - - [性能优化](#性能优化-1.md) - - [亲和库](#亲和库.md) - - [来源介绍](#来源介绍.md) - - [功能介绍](#功能介绍-2.md) -- [精度调测](#精度调测.md) - - [前提条件](#前提条件-3.md) - - [调测过程](#调测过程-4.md) - - [总体思路](#总体思路-5.md) - - [精度调优方法](#精度调优方法.md) - - [单算子溢出检测](#单算子溢出检测.md) - - [整网调测](#整网调测.md) -- [模型保存与转换](#模型保存与转换.md) - - [简介](#简介.md) - - [模型保存](#模型保存.md) - - [导出ONNX模型](#导出ONNX模型.md) -- [样例说明](#样例说明.md) - - [ResNet50模型迁移示例](#ResNet50模型迁移示例.md) - - [样例获取](#样例获取.md) - - [训练脚本迁移](#训练脚本迁移.md) - - [单P训练修改](#单P训练修改.md) - - [分布式训练修改](#分布式训练修改.md) - - [脚本执行](#脚本执行.md) - - [ShuffleNet模型调优示例](#ShuffleNet模型调优示例.md) - - [样例获取](#样例获取-6.md) - - [模型评估](#模型评估.md) - - [网络迁移](#网络迁移.md) - - [网络调测](#网络调测.md) -- [参考信息](#参考信息.md) - - [单算子样例编写说明](#单算子样例编写说明.md) - - [单算子dump方法](#单算子dump方法.md) - - [常用环境变量说明](#常用环境变量说明.md) - - [dump op方法](#dump-op方法.md) - - [编译选项设置](#编译选项设置.md) - - [安装7.3.0版本gcc](#安装7-3-0版本gcc.md) - - [编译安装hdf5](#编译安装hdf5.md) -- [FAQ](#FAQ.md) - - [软件安装常见问题](#软件安装常见问题.md) - - [pip3.7 install Pillow==5.3.0安装失败](#pip3-7-install-Pillow-5-3-0安装失败.md) - - [模型和算子运行常见问题](#模型和算子运行常见问题.md) - - [在模型运行或者算子运行时遇到报错“RuntimeError: ExchangeDevice:”](#在模型运行或者算子运行时遇到报错-RuntimeError-ExchangeDevice.md) - - [在模型运行或者算子运行时遇到报错“Error in atexit.\_run\_exitfuncs:”](#在模型运行或者算子运行时遇到报错-Error-in-atexit-_run_exitfuncs.md) - - [在模型运行时遇到报错“terminate called after throwing an instance of 'c10::Error' what\(\): HelpACLExecute:”](#在模型运行时遇到报错-terminate-called-after-throwing-an-instance-of-c10-Error-what()-HelpACLExecute.md) - - [在模型运行时遇到报错“ImportError: libhccl.so.”](#在模型运行时遇到报错-ImportError-libhccl-so.md) - - [在模型运行时遇到报错“RuntimeError: Initialize.”](#在模型运行时遇到报错-RuntimeError-Initialize.md) - - [在模型运行时遇到报错“TVM/te/cce error.”](#在模型运行时遇到报错-TVM-te-cce-error.md) - - [在模型运行时遇到报错“MemCopySync:drvMemcpy failed.”](#在模型运行时遇到报错-MemCopySync-drvMemcpy-failed.md) - - [在模型运行时遇到报错“MemCopySync:drvMemcpy failed.”](#在模型运行时遇到报错-MemCopySync-drvMemcpy-failed-7.md) - - [在模型运行时将多任务下发关闭\(export TASK\_QUEUE\_ENABLE=0\)后仍然遇到报错“HelpACLExecute.”](#在模型运行时将多任务下发关闭(export-TASK_QUEUE_ENABLE-0)后仍然遇到报错-HelpACLExecute.md) - - [在模型运行时遇到报错“55056 GetInputConstDataOut: ErrorNo: -1\(failed\)”](#在模型运行时遇到报错-55056-GetInputConstDataOut-ErrorNo--1(failed).md) - - [模型调测常见问题](#模型调测常见问题.md) - - [在模型调测时遇到报错“RuntimeError: malloc:/..../pytorch/c10/npu/NPUCachingAllocator.cpp:293 NPU error, error code is 500000.”](#在模型调测时遇到报错-RuntimeError-malloc-pytorch-c10-npu-NPUCachingAllocator-cpp-293-NPU-error-error-code-is-5.md) - - [在模型调测时遇到报错“RuntimeError: Could not run 'aten::trunc.out' with arguments from the 'NPUTensorId' backend.”](#在模型调测时遇到报错-RuntimeError-Could-not-run-aten-trunc-out-with-arguments-from-the-NPUTensorId-backend.md) - - [在模型调测时遇到如MaxPoolGradWithArgmaxV1算子和max算子报错](#在模型调测时遇到如MaxPoolGradWithArgmaxV1算子和max算子报错.md) - - [在调用torch时遇到报错“ModuleNotFoundError: No module named 'torch.\_C'”](#在调用torch时遇到报错-ModuleNotFoundError-No-module-named-torch-_C.md) - - [其他操作相关问题](#其他操作相关问题.md) - - [cuda流同步操作报错](#cuda流同步操作报错.md) - - [aicpu\_kernels/libpt\_kernels.so不存在](#aicpu_kernels-libpt_kernels-so不存在.md) - - [使用npu-smi info查看显存时发现python进程残留](#使用npu-smi-info查看显存时发现python进程残留.md) - - [动态shape报错“match op inputs failed”](#动态shape报错-match-op-inputs-failed.md) - - [Op type SigmoidCrossEntropyWithLogitsV2 of ops kernel AIcoreEngine is unsupported](#Op-type-SigmoidCrossEntropyWithLogitsV2-of-ops-kernel-AIcoreEngine-is-unsupported.md) - - [Hook失败](#Hook失败.md) - - [加载权重时遇到报错“load state\_dict error.”](#加载权重时遇到报错-load-state_dict-error.md) - - [模型分布式训练常见问题](#模型分布式训练常见问题.md) - - [在进行模型分布式训练时遇到报错“host not found.”](#在进行模型分布式训练时遇到报错-host-not-found.md) - - [在进行模型分布式训练时遇到报错“RuntimeError：connect\(\) timed out.”](#在进行模型分布式训练时遇到报错-RuntimeError-connect()-timed-out.md) -

概述

+- [概述](#概述md) +- [约束与限制](#约束与限制md) +- [迁移流程](#迁移流程md) +- [模型移植评估](#模型移植评估md) +- [环境准备](#环境准备md) +- [模型迁移](#模型迁移md) + - [工具迁移](#工具迁移md) + - [功能介绍](#功能介绍md) + - [操作指南](#操作指南md) + - [结果解析](#结果解析md) + - [手工迁移](#手工迁移md) + - [单P训练模型迁移](#单P训练模型迁移md) + - [多P训练模型迁移](#多P训练模型迁移md) + - [PyTorch接口替换](#PyTorch接口替换md) + - [混合精度](#混合精度md) + - [性能优化](#性能优化md) + - [概述](#概述-0md) + - [修改CPU性能模式（X86服务器）](#修改CPU性能模式X86服务器md) + - [修改CPU性能模式（ARM服务器）](#修改CPU性能模式ARM服务器md) + - [安装高性能pillow库（X86服务器）](#安装高性能pillow库X86服务器md) + - [（可选）安装指定版本OpenCV库](#可选安装指定版本OpenCV库md) +- [模型训练](#模型训练md) +- [性能调优和分析](#性能调优和分析md) + - [前提条件](#前提条件md) + - [调测过程](#调测过程md) + - [总体思路](#总体思路md) + - [采集训练过程相关数据](#采集训练过程相关数据md) + - [性能优化](#性能优化-1md) + - [亲和库](#亲和库md) + - [来源介绍](#来源介绍md) + - [功能介绍](#功能介绍-2md) +- [精度调测](#精度调测md) + - [前提条件](#前提条件-3md) + - [调测过程](#调测过程-4md) + - [总体思路](#总体思路-5md) + - [精度调优方法](#精度调优方法md) + - [单算子溢出检测](#单算子溢出检测md) + - [整网调测](#整网调测md) +- [模型保存与转换](#模型保存与转换md) + - [简介](#简介md) + - [模型保存](#模型保存md) + - [导出ONNX模型](#导出ONNX模型md) +- [样例说明](#样例说明md) + - [ResNet50模型迁移示例](#ResNet50模型迁移示例md) + - [样例获取](#样例获取md) + - [训练脚本迁移](#训练脚本迁移md) + - [单P训练修改](#单P训练修改md) + - [分布式训练修改](#分布式训练修改md) + - [脚本执行](#脚本执行md) + - [ShuffleNet模型调优示例](#ShuffleNet模型调优示例md) + - [样例获取](#样例获取-6md) + - [模型评估](#模型评估md) + - [网络迁移](#网络迁移md) + - [网络调测](#网络调测md) +- [参考信息](#参考信息md) + - [单算子样例编写说明](#单算子样例编写说明md) + - [单算子dump方法](#单算子dump方法md) + - [常用环境变量说明](#常用环境变量说明md) + - [dump op方法](#dump-op方法md) + - [编译选项设置](#编译选项设置md) + - [安装7.3.0版本gcc](#安装7-3-0版本gccmd) + - [编译安装hdf5](#编译安装hdf5md) +- [FAQ](#FAQmd) + - [软件安装常见问题](#软件安装常见问题md) + - [pip3.7 install Pillow==5.3.0安装失败](#pip3-7-install-Pillow-5-3-0安装失败md) + - [模型和算子运行常见问题](#模型和算子运行常见问题md) + - [在模型运行或者算子运行时遇到报错“RuntimeError: ExchangeDevice:”](#在模型运行或者算子运行时遇到报错-RuntimeError-ExchangeDevicemd) + - [在模型运行或者算子运行时遇到报错“Error in atexit.\_run\_exitfuncs:”](#在模型运行或者算子运行时遇到报错-Error-in-atexit-_run_exitfuncsmd) + - [在模型运行时遇到报错“terminate called after throwing an instance of 'c10::Error' what\(\): HelpACLExecute:”](#在模型运行时遇到报错-terminate-called-after-throwing-an-instance-of-c10-Error-what-HelpACLExecutemd) + - [在模型运行时遇到报错“ImportError: libhccl.so.”](#在模型运行时遇到报错-ImportError-libhccl-somd) + - [在模型运行时遇到报错“RuntimeError: Initialize.”](#在模型运行时遇到报错-RuntimeError-Initializemd) + - [在模型运行时遇到报错“TVM/te/cce error.”](#在模型运行时遇到报错-TVM-te-cce-errormd) + - [在模型运行时遇到报错“MemCopySync:drvMemcpy failed.”](#在模型运行时遇到报错-MemCopySync-drvMemcpy-failedmd) + - [在模型运行时遇到报错“MemCopySync:drvMemcpy failed.”](#在模型运行时遇到报错-MemCopySync-drvMemcpy-failed-7md) + - [在模型运行时将多任务下发关闭\(export TASK\_QUEUE\_ENABLE=0\)后仍然遇到报错“HelpACLExecute.”](#在模型运行时将多任务下发关闭export-TASK_QUEUE_ENABLE-0后仍然遇到报错-HelpACLExecutemd) + - [在模型运行时遇到报错“55056 GetInputConstDataOut: ErrorNo: -1\(failed\)”](#在模型运行时遇到报错-55056-GetInputConstDataOut-ErrorNo--1failedmd) + - [模型调测常见问题](#模型调测常见问题md) + - [在模型调测时遇到报错“RuntimeError: malloc:/..../pytorch/c10/npu/NPUCachingAllocator.cpp:293 NPU error, error code is 500000.”](#在模型调测时遇到报错-RuntimeError-malloc-pytorch-c10-npu-NPUCachingAllocator-cpp-293-NPU-error-error-code-is-5md) + - [在模型调测时遇到报错“RuntimeError: Could not run 'aten::trunc.out' with arguments from the 'NPUTensorId' backend.”](#在模型调测时遇到报错-RuntimeError-Could-not-run-aten-trunc-out-with-arguments-from-the-NPUTensorId-backendmd) + - [在模型调测时遇到如MaxPoolGradWithArgmaxV1算子和max算子报错](#在模型调测时遇到如MaxPoolGradWithArgmaxV1算子和max算子报错md) + - [在调用torch时遇到报错“ModuleNotFoundError: No module named 'torch.\_C'”](#在调用torch时遇到报错-ModuleNotFoundError-No-module-named-torch-_Cmd) + - [其他操作相关问题](#其他操作相关问题md) + - [cuda流同步操作报错](#cuda流同步操作报错md) + - [aicpu\_kernels/libpt\_kernels.so不存在](#aicpu_kernels-libpt_kernels-so不存在md) + - [使用npu-smi info查看显存时发现python进程残留](#使用npu-smi-info查看显存时发现python进程残留md) + - [动态shape报错“match op inputs failed”](#动态shape报错-match-op-inputs-failedmd) + - [Op type SigmoidCrossEntropyWithLogitsV2 of ops kernel AIcoreEngine is unsupported](#Op-type-SigmoidCrossEntropyWithLogitsV2-of-ops-kernel-AIcoreEngine-is-unsupportedmd) + - [Hook失败](#Hook失败md) + - [加载权重时遇到报错“load state\_dict error.”](#加载权重时遇到报错-load-state_dict-errormd) + - [模型分布式训练常见问题](#模型分布式训练常见问题md) + - [在进行模型分布式训练时遇到报错“host not found.”](#在进行模型分布式训练时遇到报错-host-not-foundmd) + - [在进行模型分布式训练时遇到报错“RuntimeError：connect\(\) timed out.”](#在进行模型分布式训练时遇到报错-RuntimeError-connect-timed-outmd) +

概述

当前阶段针对PyTorch框架实现的对接适配昇腾AI处理器的方案为在线对接方案。 -## 方案特性及优点 +### 方案特性及优点 昇腾AI处理器的加速实现方式是以各种算子为粒度进行调用（OP-based），即通过AscendCL调用一个或几个D亲和算子组合的形式，代替原有GPU的实现方式。其逻辑模型如[图1](#fig2267112413239)所示。 @@ -114,7 +112,7 @@ 4. 扩展性好。在打通流程的通路之上，对于新增的网络类型或结构，只需涉及相关计算类算子的开发和实现。框架类算子，反向图建立和实现机制等结构可保持复用。 5. 与GPU的使用方式和风格保持一致。用户在使用在线对接方案时，只需在Python侧和Device相关操作中，指定device为昇腾AI处理器，即可完成用昇腾AI处理器在PyTorch对网络的开发、训练以及调试，用户无需进一步关注昇腾AI处理器具体的底层细节。这样可以确保用户的最小化修改，迁移成本较低。 -

约束与限制

+

约束与限制

- infershape阶段算子不支持unknowshape的推导。 - cube计算的算子只支持float16。 @@ -128,7 +126,7 @@ - 只支持int8，int32，float16和float32数据类型。 -

迁移流程

+

迁移流程

模型迁移主要指将开源社区中实现过的模型迁移到昇腾AI处理器上，主要流程如[图1](#fig759451810422)所示。 @@ -146,12 +144,12 @@

模型选取

-

详情请参见模型选取。

+

详情请参见模型选取。

模型移植评估

-

详情请参见模型移植评估。

+

详情请参见模型移植评估。

算子开发

@@ -161,17 +159,17 @@

环境准备

-

详情请参见环境准备。

+

详情请参见环境准备。

模型迁移

-

详情请参见模型迁移。

+

详情请参见模型迁移。

模型训练

-

详情请参见模型训练。

+

详情请参见模型训练。

错误分析

@@ -181,17 +179,17 @@

性能调优和分析

-

详情请参见性能调优和分析。

+

详情请参见性能调优和分析。

精度调测

-

详情请参见精度调测。

+

详情请参见精度调测。

模型保存与转换

-

详情请参见模型保存与转换和《CANN 开发辅助工具指南》中“ATC工具使用指南”章节。

+

详情请参见模型保存与转换和《CANN 开发辅助工具指南》中“ATC工具使用指南”章节。

应用软件开发

@@ -201,181 +199,50 @@

FAQ

-

主要涉及环境准备、模型迁移、模型调测和其他常见问题的解决方法。详情请参见FAQ。

+

主要涉及环境准备、模型迁移、模型调测和其他常见问题的解决方法。详情请参见FAQ。

-

模型移植评估

+

模型移植评估

1. 在选取模型时，尽可能选取权威Pytorch模型实现仓作为标杆，包括但不限于Pytorch\([example](https://github.com/pytorch/examples/tree/master/imagenet)/[vision](https://github.com/pytorch/vision)等\)、facebookresearch\([Detectron](https://github.com/facebookresearch/Detectron)/[detectron2](https://github.com/facebookresearch/detectron2)等\)和open-mmlab\([mmdetection](https://github.com/open-mmlab/mmdetection)/[mmpose](https://github.com/open-mmlab/mmpose)等\)。 -2. 查看算子适配情况。将原始模型及训练脚本迁移到昇腾AI处理器上之前，可以将原始模型及训练脚本在CPU上进行训练，使用dump op方法获取算子信息，与《PyTorch适配算子清单》算子进行比较，查看是否支持。dump op方法参见[dump op方法](#dump-op方法.md)，当有不支持算子时参见《PyTorch算子开发指南》进行算子开发。 +2. 查看算子适配情况。将原始模型及训练脚本迁移到昇腾AI处理器上之前，可以将原始模型及训练脚本在CPU上进行训练，使用dump op方法获取算子信息，与《PyTorch适配算子清单》算子进行比较，查看是否支持。dump op方法参见[dump op方法](#dump-op方法md)，当有不支持算子时参见《PyTorch算子开发指南》进行算子开发。 >![](public_sys-resources/icon-note.gif) **说明：** >查看算子适配情况也可以先将模型及训练脚本迁移到昇腾AI处理器（迁移方法参见下文）进行训练来查看报错信息。一般会提示不能在昇腾AI处理器的backend下运行某个算子（第一个不支持的算子）。 -

环境准备

+

环境准备

-- **[准备运行环境](#准备运行环境.md)** +请参见《PyTorch安装指南》进行PyTorch及混合精度模块安装，并配置环境变量。 -- **[配置环境变量](#配置环境变量.md)** +

模型迁移

+- **[工具迁移](#工具迁移md)** -

准备运行环境

+- **[手工迁移](#手工迁移md)** -请参见《PyTorch安装指南》进行PyTorch相关运行环境搭建。 +- **[混合精度](#混合精度md)** -

配置环境变量

+- **[性能优化](#性能优化md)** -安装完软件包后，需要配置环境变量才能正常使用昇腾PyTorch。建议构建启动脚本，例如构建set\_env.sh脚本，使用source set\_env.sh配置当前窗口的环境变量。set\_env.sh脚本内容如下（以root用户安装，安装路径为默认路径，python版本为3.7.5为例，用户可根据软件包实际安装路径修改配置项。）。 -``` -cpu_type=$(echo $HOSTTYPE) - -if [ x"${cpu_type}" == x"x86_64" ];then - cpu_type=x86_64-linux -else - cpu_type=arm64-linux -fi -if [ -d /usr/local/Ascend/nnae/latest ];then - export LD_LIBRARY_PATH=/usr/local/:/usr/local/python3.7.5/lib/:/usr/local/openblas/lib:/usr/local/lib/:/usr/lib64/:/usr/lib/:/usr/local/Ascend/nnae/latest/fwkacllib/lib64/:/usr/local/Ascend/driver/lib64/common/:/usr/local/Ascend/driver/lib64/driver/:/usr/local/Ascend/add-ons/:/usr/lib/aarch64_64-linux-gnu:$LD_LIBRARY_PATH - export PATH=$PATH:/usr/local/Ascend/nnae/latest/fwkacllib/ccec_compiler/bin/:/usr/local/Ascend/nnae/latest/toolkit/tools/ide_daemon/bin/ - export ASCEND_OPP_PATH=/usr/local/Ascend/nnae/latest/opp/ - export OPTION_EXEC_EXTERN_PLUGIN_PATH=/usr/local/Ascend/nnae/latest/fwkacllib/lib64/plugin/opskernel/libfe.so:/usr/local/Ascend/nnae/latest/fwkacllib/lib64/plugin/opskernel/libaicpu_engine.so:/usr/local/Ascend/nnae/latest/fwkacllib/lib64/plugin/opskernel/libge_local_engine.so - export PYTHONPATH=/usr/local/Ascend/nnae/latest/fwkacllib/python/site-packages/:/usr/local/Ascend/nnae/latest/fwkacllib/python/site-packages/auto_tune.egg/auto_tune:/usr/local/Ascend/nnae/latest/fwkacllib/python/site-packages/schedule_search.egg:$PYTHONPATH - export ASCEND_AICPU_PATH=/usr/local/Ascend/nnae/latest/ -else - export LD_LIBRARY_PATH=/usr/local/:/usr/local/lib/:/usr/lib64/:/usr/lib/:/usr/local/python3.7.5/lib/:/usr/local/openblas/lib:/usr/local/Ascend/ascend-toolkit/latest/fwkacllib/lib64/:/usr/local/Ascend/driver/lib64/common/:/usr/local/Ascend/driver/lib64/driver/:/usr/local/Ascend/add-ons/:/usr/lib/aarch64-linux-gnu:$LD_LIBRARY_PATH - export PATH=$PATH:/usr/local/Ascend/ascend-toolkit/latest/fwkacllib/ccec_compiler/bin/:/usr/local/Ascend/ascend-toolkit/latest/toolkit/tools/ide_daemon/bin/ - export ASCEND_OPP_PATH=/usr/local/Ascend/ascend-toolkit/latest/opp/ - export OPTION_EXEC_EXTERN_PLUGIN_PATH=/usr/local/Ascend/ascend-toolkit/latest/fwkacllib/lib64/plugin/opskernel/libfe.so:/usr/local/Ascend/ascend-toolkit/latest/fwkacllib/lib64/plugin/opskernel/libaicpu_engine.so:/usr/local/Ascend/ascend-toolkit/latest/fwkacllib/lib64/plugin/opskernel/libge_local_engine.so - export PYTHONPATH=/usr/local/Ascend/ascend-toolkit/latest/fwkacllib/python/site-packages/:/usr/local/Ascend/ascend-toolkit/latest/fwkacllib/python/site-packages/auto_tune.egg/auto_tune:/usr/local/Ascend/ascend-toolkit/latest/fwkacllib/python/site-packages/schedule_search.egg:$PYTHONPATH - export ASCEND_AICPU_PATH=/usr/local/Ascend/ascend-toolkit/latest/${cpu_type} -fi -path_lib=$(python3.7 -c """ -import sys -import re -result='' -for index in range(len(sys.path)): - match_sit = re.search('-packages', sys.path[index]) - if match_sit is not None: - match_lib = re.search('lib', sys.path[index]) - if match_lib is not None: - end=match_lib.span()[1] - result += sys.path[index][0:end] + ':' - result+=sys.path[index] + '/torch/lib:' -print(result)""" -) -export LD_LIBRARY_PATH=/usr/local/python3.7.5/lib/:${path_lib}:$LD_LIBRARY_PATH -export TASK_QUEUE_ENABLE=1 - -# （可选）当系统为openeuler时，需设置此命令，取消CPU绑核。 -# unset GOMP_CPU_AFFINITY - -# 请依据实际，在下列场景中选择合适的HCCL初始化方式，并配置相应环境变量。具体如下： -# 场景一：单机场景 -export HCCL_WHITELIST_DISABLE=1 # 关闭HCCL通信白名单 -# 场景二：多机场景。 -export HCCL_WHITELIST_DISABLE=1 # 关闭HCCL通信白名单 -export HCCL_IF_IP="1.1.1.1" # “1.1.1.1”为示例使用的host网卡IP，请根据实际修改。需要保证使用的网卡IP在集群内是互通的。 -``` - -相关参数介绍参见[表1](#zh-cn_topic_0000001134654416_zh-cn_topic_0000001152616261_table42017516135)。 - -**表 1** 环境变量说明 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

配置项

-

说明

-

LD_LIBRARY_PATH

-

动态库的查找路径，参考上述举例配置。

-

若训练所在系统环境需要升级gcc（例如CentOS、Debian和BClinux系统），则“LD_LIBRARY_PATH”配置项处动态库查找路径需要添加“${install_path}/lib64”，其中“{install_path}”为gcc升级安装路径。请参见5。

-

PYTHONPATH

-

Python搜索路径，参考上述举例配置。

-

PATH

-

可执行程序的查找路径，参考上述举例配置。

-

ASCEND_OPP_PATH

-

算子根目录，参考上述举例配置。

-

OPTION_EXEC_EXTERN_PLUGIN_PATH

-

算子信息库路径。

-

ASCEND_AICPU_PATH

-

aicpu算子包路径。

-

TASK_QUEUE_ENABLE

-

使用异步任务下发，异步调用acl接口。建议开启，开启设置为1。

-

HCCL_WHITELIST_DISABLE

-

配置在使用HCCL时是否开启通信白名单。

-
  • 0：开启白名单
  • 1：关闭白名单
-

缺省值为0，默认开启白名单。

-

HCCL_IF_IP

-

配置HCCL的初始化通信网卡IP。

-
  • ip格式为点分十进制。
  • 暂只支持host网卡。
-

缺省时，按照以下优先级选定host通信网卡名：docker/local以外网卡（网卡名字字典序升序排列）>docker 网卡 > local网卡

-

unset GOMP_CPU_AFFINITY

-

（可选）当系统为openeuler时，需设置此命令，取消CPU绑核。

-
- -

模型迁移

- -- **[工具迁移](#工具迁移.md)** - -- **[手工迁移](#手工迁移.md)** - -- **[混合精度](#混合精度.md)** - -- **[性能优化](#性能优化.md)** - - -

工具迁移

+

工具迁移

Ascend平台提供了脚本转换工具使用户能通过命令行方式将训练脚本迁移到昇腾AI处理器上进行训练，命令行方式工具详细使用说明参见下文。除命令行方式外，用户也可通过MindStudio中集成的PyTorch GPU2Ascend功能进行迁移，详情请参见《MindStudio 用户指南》。 -- **[功能介绍](#功能介绍.md)** +- **[功能介绍](#功能介绍md)** -- **[操作指南](#操作指南.md)** +- **[操作指南](#操作指南md)** -- **[结果解析](#结果解析.md)** +- **[结果解析](#结果解析md)** -

功能介绍

+

功能介绍

-## 简介 +##### 简介 昇腾NPU是AI算力的后起之秀，但目前训练和在线推理脚本大多是基于GPU的。由于NPU与GPU的架构差异，基于GPU的训练和在线推理脚本不能直接在NPU上使用，脚本转换工具提供了将基于GPU的脚本转换为基于NPU的脚本的自动化方法，节省了人工手动进行脚本迁移的学习成本与工作量，大幅提升了迁移效率。 @@ -672,17 +539,17 @@ Ascend平台提供了脚本转换工具使用户能通过命令行方式将训 -## 系统要求 +##### 系统要求 脚本转换工具支持Ubuntu 18.04、CentOS 7.6或EulerOS 2.8。 -## 环境准备 +##### 环境准备 详情请参考《CANN 软件安装指南》安装开发环境。 -

操作指南

+

操作指南

-## 参数说明 +##### 参数说明 **表 1** 参数说明 @@ -754,8 +621,7 @@ Ascend平台提供了脚本转换工具使用户能通过命令行方式将训 - -## 自定义规则文件 +##### 自定义规则文件 自定义转换规则样例如下： @@ -849,7 +715,7 @@ Ascend平台提供了脚本转换工具使用户能通过命令行方式将训 -## 执行转换 +##### 执行转换 1. 进入脚本转换工具所在路径。 @@ -868,7 +734,7 @@ Ascend平台提供了脚本转换工具使用户能通过命令行方式将训 3. 完成脚本转换。 -

结果解析

+

结果解析

脚本转换完成后，进入脚本转换结果输出路径查看结果文件，以GPU单卡脚本转换为NPU多卡脚本为例。 @@ -881,16 +747,16 @@ Ascend平台提供了脚本转换工具使用户能通过命令行方式将训 │ ├── run_distributed_npu.sh // 多卡启动shell脚本。 ``` -

手工迁移

+

手工迁移

-- **[单P训练模型迁移](#单P训练模型迁移.md)** +- **[单P训练模型迁移](#单P训练模型迁移md)** -- **[多P训练模型迁移](#多P训练模型迁移.md)** +- **[多P训练模型迁移](#多P训练模型迁移md)** -- **[PyTorch接口替换](#PyTorch接口替换.md)** +- **[PyTorch接口替换](#PyTorch接口替换md)** -

单P训练模型迁移

+

单P训练模型迁移

当前在线对接方案优点在于保证在昇腾AI处理器上训练与GPU的使用方式和风格保持一致。用户在使用在线对接方案时，**只需在Python侧和Device相关操作中，指定device为昇腾AI处理器**，即可完成用昇腾AI处理器在PyTorch对网络的开发、训练以及调试。针对单P模型训练，主要迁移改动如下。 @@ -920,9 +786,9 @@ Ascend平台提供了脚本转换工具使用户能通过命令行方式将训 target = target.to(CALCULATE_DEVICE) ``` -更多迁移细节请参见[单P训练修改](#单P训练修改.md)。 +更多迁移细节请参见[单P训练修改](#单P训练修改md)。 -

多P训练模型迁移

+

多P训练模型迁移

多P训练模型迁移除了需在**Python侧和Device相关操作中，指定device为昇腾AI处理器**外，依然通过PyTorch的DistributedDataParallel方式来进行分布式训练，即在模型初始化阶段执行init\_process\_group，再将模型初始化为DistributedDataParallel模型。但须注意的是在初始化init\_process\_group时需要将**backend**配置为**hccl**并屏蔽掉初始化方式。 @@ -946,9 +812,9 @@ def main(): lr_scheduler) ``` -更多迁移细节请参见[分布式训练修改](#分布式训练修改.md)。 +更多迁移细节请参见[分布式训练修改](#分布式训练修改md)。 -

PyTorch接口替换

+

PyTorch接口替换

1. 为了使昇腾AI处理器使用PyTorch框架的能力，需要对原生的PyTorch框架进行一定Device层面的适配，对外呈现是需要将跟cpu和cuda相关的接口进行切换；在进行网络迁移时，需要将某些设备相关的接口转换成跟昇腾AI处理器相关的接口，当前适配的设备相关接口请参见[表1](#table1922064517344)： @@ -1147,9 +1013,9 @@ def main(): 更多接口请参见《PyTorch API支持清单》。 -

混合精度

+

混合精度

-## 概述 +#### 概述 基于NPU芯片的架构特性，会涉及到混合精度训练，即混合使用float16和float32数据类型的应用场景。使用float16代替float32有如下好处： @@ -1164,7 +1030,7 @@ def main(): - Apex在混合精度运算过程中，会对模型的grad进行运算。开启combine\_grad开关，可以加速这些运算。具体为将amp.initialize\(\)接口参数combine\_grad设置为True； - 适配后的Apex针对adadelta/adam/sgd/lamb做了昇腾AI处理器亲和性优化，得到的NPU融合优化器与原生算法保持一致，但运算速度更快。使用时只需将原有优化器替换为apex.optimizers.\*（“\*”为优化器名称，例如NpuFusedSGD）。 -## 特性支持 +#### 特性支持 混合精度模块功能和优化描述如[表1](#table10717173813332)所示。 @@ -1204,7 +1070,7 @@ def main(): >- 当前版本的实现方式主要为python实现，不支持AscendCL或者CUDA优化。 >- 当前昇腾AI设备暂不支持原始Apex的FusedLayerNorm接口模块，如果模型原始脚本文件使用了FusedLayerNorm接口模块，需要在模型迁移过程中将脚本头文件“from apex.normalization import FusedLayerNorm“替换为“from torch.nn import LayerNorm“。 -## 将混合精度模块集成到PyTorch模型中 +#### 将混合精度模块集成到PyTorch模型中 1. 使用apex混合精度模块需要首先从apex库中导入amp，代码如下： @@ -1238,29 +1104,29 @@ def main(): ``` -

性能优化

+

性能优化

-- **[概述](#概述-0.md)** +- **[概述](#概述-0md)** -- **[修改CPU性能模式（X86服务器）](#修改CPU性能模式（X86服务器）.md)** +- **[修改CPU性能模式（X86服务器）](#修改CPU性能模式X86服务器md)** -- **[修改CPU性能模式（ARM服务器）](#修改CPU性能模式（ARM服务器）.md)** +- **[修改CPU性能模式（ARM服务器）](#修改CPU性能模式ARM服务器md)** -- **[安装高性能pillow库（X86服务器）](#安装高性能pillow库（X86服务器）.md)** +- **[安装高性能pillow库（X86服务器）](#安装高性能pillow库X86服务器md)** -- **[（可选）安装指定版本OpenCV库](#（可选）安装指定版本OpenCV库.md)** +- **[（可选）安装指定版本OpenCV库](#可选安装指定版本OpenCV库md)** -

概述

+

概述

在进行PyTorch模型迁移训练时，部分网络模型会出现1秒内识别的图像数（fps）较低、性能不达标的情况。此时需要针对服务器进行以下优化。 - 修改CPU性能模式。 - 安装高性能pillow库。 -

修改CPU性能模式（X86服务器）

+

修改CPU性能模式（X86服务器）

-## 设置电源策略为高性能模式 +##### 设置电源策略为高性能模式 提升网络性能需要在X86服务器BIOS设置中将电源策略设为高性能模式，具体操作如下。 @@ -1287,7 +1153,7 @@ def main(): 6. 按下“F10”保存配置并重启服务器。 -## 将CPU设置为performance模式 +##### 将CPU设置为performance模式 请使用root用户执行如下操作。 @@ -1365,9 +1231,9 @@ def main(): 4. 再次执行[步骤1](#li158435131344)查看当前CPU模式是否已设置为performance模式。 -

修改CPU性能模式（ARM服务器）

+

修改CPU性能模式（ARM服务器）

-## 设置电源策略为高性能模式 +##### 设置电源策略为高性能模式 在某些对Host侧CPU要求较高的模型中，例如目标检测类模型，需要进行较为复杂的图像预处理，开启电源高性能模式能一定程度上提高性能和稳定性。ARM服务器提升网络性能需要在BIOS设置中将电源策略设为高性能模式，具体操作如下。 @@ -1394,7 +1260,7 @@ def main(): 6. 按下“F10”保存配置并重启服务器。 -

安装高性能pillow库（X86服务器）

+

安装高性能pillow库（X86服务器）

1. 安装高性能pillow库相关依赖，命令如下。 @@ -1432,9 +1298,9 @@ def main(): >``` -3. 修改torchvision代码解决pillow-simd缺少PILLOW\_VERSION问题。torchvision安装参见[样例获取](#样例获取.md)。 +3. 修改torchvision代码解决pillow-simd缺少PILLOW\_VERSION问题。torchvision安装参见[样例获取](#样例获取md)。 - 将/usr/local/python3.7.5/lib/python3.7/site-packages/torchvision/transforms/functional.py第5行代码修改如下： + 将/usr/local/python3.x.x/lib/python3.x/site-packages/torchvision/transforms/functional.py第5行代码修改如下： ``` try: @@ -1445,45 +1311,45 @@ def main(): ``` -

（可选）安装指定版本OpenCV库

+

（可选）安装指定版本OpenCV库

如模型依赖OpenCV，基于训练性能考虑，建议安装OpenCV-3.4.10版本。 1. 获取源码：[获取地址](https://opencv.org/releases/)。 2. 安装指导：[获取地址](https://docs.opencv.org/3.4.10/d7/d9f/tutorial_linux_install.html)。 -

模型训练

+

模型训练

-训练脚本迁移完成后，需要参见[配置环境变量](#配置环境变量.md)设置环境变量，然后执行**python3** _xxx_进行模型训练。具体样例请参考[脚本执行](#脚本执行.md)。 +训练脚本迁移完成后，需要参见[配置环境变量](#zh-cn_topic_0000001144082004)设置环境变量，然后执行**python3** _xxx_进行模型训练。具体样例请参考[脚本执行](#脚本执行md)。 >![](public_sys-resources/icon-note.gif) **说明：** >执行“python3 xxx“命令时，须将python3软链接到与当前pytorch适配版本的python安装路径。 -

性能调优和分析

+

性能调优和分析

-- **[前提条件](#前提条件.md)** +- **[前提条件](#前提条件md)** -- **[调测过程](#调测过程.md)** +- **[调测过程](#调测过程md)** -- **[亲和库](#亲和库.md)** +- **[亲和库](#亲和库md)** -

前提条件

+

前提条件

-1. 参见[样例说明](#样例说明.md)改造开源代码，使模型能够正常运行，包括数据预处理，前向计算，loss计算，混合精度，反向计算，参数更新等。 +1. 参见[样例说明](#样例说明md)改造开源代码，使模型能够正常运行，包括数据预处理，前向计算，loss计算，混合精度，反向计算，参数更新等。 2. 模型迁移阶段优先关注模型是否能跑通，现有算子是否能满足，如果遇到不满足的算子需参见《PyTorch算子开发指南》进行算子适配开发。 3. 优先打通单卡功能，再打通多卡功能。 -

调测过程

+

调测过程

-- **[总体思路](#总体思路.md)** +- **[总体思路](#总体思路md)** -- **[采集训练过程相关数据](#采集训练过程相关数据.md)** +- **[采集训练过程相关数据](#采集训练过程相关数据md)** -- **[性能优化](#性能优化-1.md)** +- **[性能优化](#性能优化-1md)** -

总体思路

+

总体思路

1. 通过训练执行结果，判断吞吐量指标是否达到预期要求。 2. 当吞吐量指标不达标时，需要找出制约性能瓶颈的原因，主要为以下几个方面： @@ -1494,9 +1360,9 @@ def main(): 3. 针对以上制约性能瓶颈的原因进行分析与优化。 -

采集训练过程相关数据

+

采集训练过程相关数据

-## Profiling数据采集 +##### Profiling数据采集 当模型训练过程中吞吐量指标不达标时，可以通过采集训练过程中的profiling数据，分析哪个环节、哪个算子导致的性能消耗。Profiling数据采集分为PyTorch层面和CANN层面的采集，PyTorch层面采集的是PyTorch API的数据，CANN层面采集的是TBE算子的数据。 @@ -1544,7 +1410,7 @@ def main(): -## 获取算子信息OP\_INFO +##### 获取算子信息OP\_INFO 网络模型最终是以OP执行的，通过OPInfo日志，我们可以获取实际执行时的算子及其属性。通过get\_ascend\_op\_info.py脚本获取。 @@ -1611,29 +1477,29 @@ def main(): 6. 分析TaskInfo中额外的task，尤其关注transdata。 -

性能优化

+

性能优化

-## 算子瓶颈优化 +##### 算子瓶颈优化 -1. 获取训练过程中的Profiling数据，参见[Profiling数据采集](#采集训练过程相关数据.md)。 +1. 获取训练过程中的Profiling数据，参见[Profiling数据采集](#采集训练过程相关数据md)。 2. 分析Profiling数据，得到耗时较大的算子。 -3. 参见[单算子样例编写说明](#单算子样例编写说明.md)构建耗时较大算子的单算子样例，通过与CPU或GPU运行单算子样例时间进行对比，若发现性能不足，则有以下两种方案解决。 +3. 参见[单算子样例编写说明](#单算子样例编写说明md)构建耗时较大算子的单算子样例，通过与CPU或GPU运行单算子样例时间进行对比，若发现性能不足，则有以下两种方案解决。 - 规避方案：使用同等语义其他高效算子替代。 - 解决方案：改进算子性能。 -## copy瓶颈优化 +##### copy瓶颈优化 -1. 获取训练过程中的Profiling数据，参见[Profiling数据采集](#采集训练过程相关数据.md)。 +1. 获取训练过程中的Profiling数据，参见[Profiling数据采集](#采集训练过程相关数据md)。 2. 分析Profiling数据分析整网中的D2DCopywithStreamSynchronize/PTCopy/format\_contiguous的耗时。 3. 若发现耗时较大，则需参照以下两种方案解决。 - 方案一：（规避方案）PyTorch中View类型框架类算子会导致非连续转连续操作。优化思路为尽量使用计算类算子代替View类框架算子，常见的View类框架算子如View、Permute、Transpose等。更多View类框架算子可参考[https://pytorch.org/docs/stable/tensor\_view.html](https://pytorch.org/docs/stable/tensor_view.html)。 - 方案二：（解决方案）加速转连续操作。 -## 框架瓶颈优化 +##### 框架瓶颈优化 -1. 获取训练过程中算子信息OP\_INFO，参见[获取算子信息OP\_INFO](#采集训练过程相关数据.md)。 +1. 获取训练过程中算子信息OP\_INFO，参见[获取算子信息OP\_INFO](#采集训练过程相关数据md)。 2. 分析OP\_INFO中算子的规格和调用关系，定位是否插入了多余的算子，重点关注transdata是否合理。 3. 优化方案：通过指定部分算子初始化格式，对多余的格式转换算子进行消除。 4. 在pytorch/torch/nn/modules/module.py中，在cast\_weight中指定算子初始化格式，如下图。 @@ -1646,27 +1512,28 @@ def main(): - Linear相关的参数，可设置为NZ格式，如第409行。 -## 编译瓶颈优化 +##### 编译瓶颈优化 -1. 获取训练过程中算子信息OP\_INFO，参见[获取算子信息OP\_INFO](#采集训练过程相关数据.md)。 -2. 查看INFO日志，观察第一个step以后的aclopCompile::aclOp关键字，如果后续接了Match op iunputs/type failed或To compile op则说明该算子存在动态编译，需要优化。 +1. 获取训练过程中算子信息OP\_INFO，参见[获取算子信息OP\_INFO](#采集训练过程相关数据md)。 +2. 查看INFO日志，观察第一个step以后的aclopCompile::aclOp关键字，如果后续接了Match op inputs/type failed或To compile op则说明该算子存在动态编译，需要优化。 3. 需参照以下两种方案解决。 - 规避方案：在理解模型语义和相关API基础上，使用固定Shape的方式代替动态Shape。 - 解决方案：减少编译或不需要编译该算子。 + - 优化算子编译配置请参见[编译选项设置](#编译选项设置md)。 -

亲和库

+

亲和库

-- **[来源介绍](#来源介绍.md)** +- **[来源介绍](#来源介绍md)** -- **[功能介绍](#功能介绍-2.md)** +- **[功能介绍](#功能介绍-2md)** -

来源介绍

+

来源介绍

针对公版模型中常见的网络结构和函数，我们针对性地对其进行了优化，使得运算性能大幅度提升，同时，将其集成到Pytorch框架中，便于模型性能调优中使用。 -

功能介绍

+

功能介绍

函数名

@@ -1711,30 +1578,30 @@ def main(): >![](public_sys-resources/icon-note.gif) **说明：** >该部分调优内容会随着版本不断增强和更新，请以实际PyTorch版本中对应路径下的内容为准。 -

精度调测

+

精度调测

-- **[前提条件](#前提条件-3.md)** +- **[前提条件](#前提条件-3md)** -- **[调测过程](#调测过程-4.md)** +- **[调测过程](#调测过程-4md)** -

前提条件

+

前提条件

优先在同等语义和超参下，跑一定的epoch（推荐完整epoch数的20%），使精度，loss等对齐GPU相应水平，完成后再对齐最终精度。 -

调测过程

+

调测过程

-- **[总体思路](#总体思路-5.md)** +- **[总体思路](#总体思路-5md)** -- **[精度调优方法](#精度调优方法.md)** +- **[精度调优方法](#精度调优方法md)** -

总体思路

+

总体思路

精度问题排查需要找出是哪一步出现的问题，主要以下几个方面： 1. 模型网络计算错误。 - - 定位思路：在网络中加入hook进行排查判断是哪个地方有较大嫌疑，然后构建[单算子用例](#单算子样例编写说明.md)逐渐缩小错误范围，证明该算子在当前网络场景下计算有误，可以对比CPU或GPU结果证明。 + - 定位思路：在网络中加入hook进行排查判断是哪个地方有较大嫌疑，然后构建[单算子用例](#单算子样例编写说明md)逐渐缩小错误范围，证明该算子在当前网络场景下计算有误，可以对比CPU或GPU结果证明。 - 规避方案：使用同等语义其他算子替代。 @@ -1763,22 +1630,22 @@ def main(): -

精度调优方法

+

精度调优方法

模型出现精度问题一般有：因算子溢出导致的训练loss不收敛或者精度不达标问题，整个网络训练引起的性能不达标问题。用户可通过单算子溢出检测和整网调测适度解决模型精度不达标问题。 -- **[单算子溢出检测](#单算子溢出检测.md)** +- **[单算子溢出检测](#单算子溢出检测md)** -- **[整网调测](#整网调测.md)** +- **[整网调测](#整网调测md)** -

单算子溢出检测

+
单算子溢出检测
用户通过采集训练过程中各算子的运算结果（即Dump数据），然后查看算子是否产生溢出，从而帮助开发人员快速定位并解决算子精度问题。 -## 约束说明 +###### 约束说明 -- 需要安装hdf5工具以支持算子dump功能，安装详情请参见[编译安装hdf5](#编译安装hdf5.md)； +- 需要安装hdf5工具以支持算子dump功能，安装详情请参见[编译安装hdf5](#编译安装hdf5md)； - 本功能只提供IR级别的算子溢出检测，且只支持AICORE的溢出检测，不支持Atomic溢出检测； - 须在PyTorch源代码“build.sh“文件中添加“USE\_DUMP=1”字段。 @@ -1791,7 +1658,7 @@ def main(): - 使用单算子溢出检测功能时，请不要同时开启apex的动态loss scale模式和使用tensor融合功能。 -## 采集算子Dump数据 +###### 采集算子Dump数据 ``` # check_overflow为溢出检测控制开关 @@ -1802,15 +1669,15 @@ with torch.utils.dumper(check_overflow=check_overflow, dump_path=dump_path, load 模型运行过程中，如果有算子溢出，会打印出相应IR的名字。 -## 查看Dump数据 +###### 查看Dump数据 如果训练过程中采集到了Dump数据，则会在\{dump\_path\}路径下生成dump数据的.h5文件，用户可进入路径自行查看。 -## 解决方法 +###### 解决方法 请将算子溢出的打印截图及采集到的.h5文件通过Issue附件形式反馈给华为开发人员。 -

整网调测

+
整网调测
用户也可通过分析整个网络的方式来进行网络模型的精度调测。 @@ -1872,16 +1739,16 @@ with torch.utils.dumper(check_overflow=check_overflow, dump_path=dump_path, load ``` -

模型保存与转换

+

模型保存与转换

-- **[简介](#简介.md)** +- **[简介](#简介md)** -- **[模型保存](#模型保存.md)** +- **[模型保存](#模型保存md)** -- **[导出ONNX模型](#导出ONNX模型.md)** +- **[导出ONNX模型](#导出ONNX模型md)** -

简介

+

简介

模型训练完成后，通过Pytorch提供的接口保存模型文件并导出ONNX模型，然后通过ATC工具将其转换为适配昇腾AI处理器的.om文件用于离线推理。 @@ -1893,7 +1760,7 @@ with torch.utils.dumper(check_overflow=check_overflow, dump_path=dump_path, load ![](figures/zh-cn_image_0000001144082132.png) -

模型保存

+

模型保存

Pytorch在训练过程中，通常使用torch.save\(\)来保存Checkpoint文件，根据模型文件的后续用途会保存为两种格式的模型文件： @@ -1966,13 +1833,13 @@ Pytorch在训练过程中，通常使用torch.save\(\)来保存Checkpoint文件 >![](public_sys-resources/icon-notice.gif) **须知：** >通常情况下，训练图和推理图中对同一个算子处理方式不同（例如BatchNorm和dropout等算子），在输入格式上也有差别，因此在运行推理或导出ONNX模型之前，必须调用model.eval\(\) 来将dropout和batch normalization层设置为推理模式。 -

导出ONNX模型

+

导出ONNX模型

-## 简介 +#### 简介 昇腾AI处理器Pytorch模型的部署策略是基于Pytorch官方支持的ONNX模块实现的。ONNX是业内目前比较主流的模型格式，广泛用于模型交流及部署。本节主要介绍如何将Checkpoint文件通过torch.onnx.export\(\)接口导出为ONNX模型。 -## .pth或.pt文件导出ONNX模型 +#### .pth或.pt文件导出ONNX模型 保存的.pth或.pt文件可以通过Pytorch构建模型再加载权重的方法恢复，然后导出ONNX模型，样例如下。 @@ -2014,7 +1881,7 @@ if __name__ == "__main__": >- 样例脚本中的model来自于torchvision模块中的定义，用户使用自己的模型时需自行指定。 >- 构造输入输出需要对应训练时的输入输出，否则无法正常推理。 -## .pth.tar文件导出ONNX模型 +#### .pth.tar文件导出ONNX模型 .pth.tar在导出ONNX模型时需要先确定保存时的信息，有时保存的节点名称和模型定义中的节点会有差异，例如会多出前缀和后缀。在进行转换的时候，可以对节点名称进行修改。转换代码样例如下。 @@ -2053,25 +1920,25 @@ if __name__ == "__main__": convert() ``` -

样例说明

+

样例说明

-- **[ResNet50模型迁移示例](#ResNet50模型迁移示例.md)** +- **[ResNet50模型迁移示例](#ResNet50模型迁移示例md)** -- **[ShuffleNet模型调优示例](#ShuffleNet模型调优示例.md)** +- **[ShuffleNet模型调优示例](#ShuffleNet模型调优示例md)** -

ResNet50模型迁移示例

+

ResNet50模型迁移示例

-- **[样例获取](#样例获取.md)** +- **[样例获取](#样例获取md)** -- **[训练脚本迁移](#训练脚本迁移.md)** +- **[训练脚本迁移](#训练脚本迁移md)** -- **[脚本执行](#脚本执行.md)** +- **[脚本执行](#脚本执行md)** -

样例获取

+

样例获取

-## 样例获取 +##### 样例获取 1. 本样例基于PyTorch官网提供的Imagenet数据集训练模型进行适配昇腾910 AI处理器的迁移改造，样例获取路径为[https://github.com/pytorch/examples/tree/master/imagenet](https://github.com/pytorch/examples/tree/master/imagenet)。 2. 本样例依赖torchvision，需要安装torchvision依赖，如果使用非root用户安装， 则需在命令末尾加上**--user**。 @@ -2099,7 +1966,7 @@ if __name__ == "__main__": >![](public_sys-resources/icon-note.gif) **说明：** >Resnet50为PyTorch内置模型，了解更多内置模型请前往[Pytorch官网](https://pytorch.org/)。 - 2. 在脚本执行中直接指定参数arch为resnet50，内容如下，本样例迁移采用该种方式，请参见[脚本执行](#脚本执行.md)。 + 2. 在脚本执行中直接指定参数arch为resnet50，内容如下，本样例迁移采用该种方式，请参见[脚本执行](#脚本执行md)。 ``` --arch resnet50 @@ -2107,7 +1974,7 @@ if __name__ == "__main__": -## 目录结构 +##### 目录结构 主要文件目录结构如下所示： @@ -2115,14 +1982,14 @@ if __name__ == "__main__": ├──main.py ``` -

训练脚本迁移

+

训练脚本迁移

-- **[单P训练修改](#单P训练修改.md)** +- **[单P训练修改](#单P训练修改md)** -- **[分布式训练修改](#分布式训练修改.md)** +- **[分布式训练修改](#分布式训练修改md)** -

单P训练修改

+
单P训练修改
1. main.py增加头文件以支持基于PyTorch框架的模型在昇腾910 AI处理器上训练： @@ -2265,7 +2132,7 @@ if __name__ == "__main__": ``` -

分布式训练修改

+
分布式训练修改
1. main.py增加头文件以支持基于PyTorch框架的模型在昇腾910 AI处理器上训练及进行混合精度训练。 @@ -2616,17 +2483,17 @@ if __name__ == "__main__": ``` -

脚本执行

+

脚本执行

-## 准备数据集 +##### 准备数据集 准备数据集并上传到运行环境的目录下，例如：/home/data/resnet50/imagenet -## 配置环境变量 +##### 配置环境变量 -请参考[配置环境变量](#配置环境变量.md)配置环境变量。 +请参考[配置环境变量](#zh-cn_topic_0000001144082004)配置环境变量。 -## 执行命令 +##### 执行命令 例如： @@ -2667,20 +2534,20 @@ python3 main.py /home/data/resnet50/imagenet --addr='1.1.1.1' \ # >![](public_sys-resources/icon-note.gif) **说明：** >dist-backend需配置成hccl以支持在昇腾AI设备上进行分布式训练。 -

ShuffleNet模型调优示例

+

ShuffleNet模型调优示例

-- **[样例获取](#样例获取-6.md)** +- **[样例获取](#样例获取-6md)** -- **[模型评估](#模型评估.md)** +- **[模型评估](#模型评估md)** -- **[网络迁移](#网络迁移.md)** +- **[网络迁移](#网络迁移md)** -- **[网络调测](#网络调测.md)** +- **[网络调测](#网络调测md)** -

样例获取

+

样例获取

-## 样例获取 +##### 样例获取 1. 本样例基于PyTorch官网提供的Imagenet数据集训练模型进行适配昇腾910 AI处理器的迁移改造，样例获取路径为[https://github.com/pytorch/examples/tree/master/imagenet](https://github.com/pytorch/examples/tree/master/imagenet)。 2. ShuffleNet模型参考PyTorch官网模型[ShuffleNet V2](https://pytorch.org/hub/pytorch_vision_shufflenet_v2/)，实际使用在脚本执行中直接指定参数arch为shufflenet\_v2\_x1\_0。 @@ -2693,7 +2560,7 @@ python3 main.py /home/data/resnet50/imagenet --addr='1.1.1.1' \ # >ShuffleNet为PyTorch内置模型，了解更多内置模型请前往[Pytorch官网](https://pytorch.org/)。 -## 目录结构 +##### 目录结构 主要文件目录结构如下所示： @@ -2701,19 +2568,19 @@ python3 main.py /home/data/resnet50/imagenet --addr='1.1.1.1' \ # ├──main.py ``` -

模型评估

+

模型评估

模型评估主要关注算子适配情况，使用dump op方法获取ShuffleNet网络算子信息，与《PyTorch适配算子清单》算子进行对比，若是发现某个算子当前暂不支持，对于简单场景我们可以考虑先暂时替换成类似的算子或者把该算子单独放到cpu上执行两种方式规避，复杂场景不支持算子需要参见《PyTorch算子开发指南》进行算子开发。 -

网络迁移

+

网络迁移

-训练脚本迁移请参见[单P训练修改](#单P训练修改.md)和[分布式训练修改](#分布式训练修改.md)。脚本执行时注意选择参数--arch shufflenet\_v2\_x1\_0。 +训练脚本迁移请参见[单P训练修改](#单P训练修改md)和[分布式训练修改](#分布式训练修改md)。脚本执行时注意选择参数--arch shufflenet\_v2\_x1\_0。 -

网络调测

+

网络调测

-网络调测具体方法请参见[调测过程](#调测过程.md)。经排查ShuffleNet运行时相关算子耗时过大，以下给出耗时数据及解决方法。 +网络调测具体方法请参见[调测过程](#调测过程md)。经排查ShuffleNet运行时相关算子耗时过大，以下给出耗时数据及解决方法。 -## 前向排查 +##### 前向排查 前向排查记录表如下： @@ -2780,13 +2647,13 @@ python3 main.py /home/data/resnet50/imagenet --addr='1.1.1.1' \ # 详细说明如下： -- 由于原生实现的torch.transpose\(x, 1, 2\).contiguous\(\)是使用了View类框架算子transpose，造成了非连续场景，如[copy瓶颈优化](#性能优化-1.md)所描述Copy瓶颈，使用channel\_shuffle\_index\_select，在语义相同的情况下使用计算类算子替换框架类算子，从而减少耗时。 -- 由于shufflenetv2中含有大量的chunk操作，而chunk操作在Pytorch中为框架类算子，其结果会将一个tensor分割为几个等长的非连续的tensor，而非连续转连续这个操作目前耗时较长，故使用计算类算子消除非连续，如[copy瓶颈优化](#性能优化-1.md)所描述Copy瓶颈。 +- 由于原生实现的torch.transpose\(x, 1, 2\).contiguous\(\)是使用了View类框架算子transpose，造成了非连续场景，如[copy瓶颈优化](#性能优化-1md)所描述Copy瓶颈，使用channel\_shuffle\_index\_select，在语义相同的情况下使用计算类算子替换框架类算子，从而减少耗时。 +- 由于shufflenetv2中含有大量的chunk操作，而chunk操作在Pytorch中为框架类算子，其结果会将一个tensor分割为几个等长的非连续的tensor，而非连续转连续这个操作目前耗时较长，故使用计算类算子消除非连续，如[copy瓶颈优化](#性能优化-1md)所描述Copy瓶颈。 - 适配层在适配算子时默认指定输出格式为输入格式，但是concat不支持C轴非16整数倍的5HD的格式，会转为4D进行处理，又由于concat后面接的是gatherv2算子，也是仅支持4D格式的算子，所以导致数据格式转换过程为5HD-\>4D-\>concat-\>5HD-\>4D-\>gatherv2-\>5HD，解决方法是修改concat输出格式，当非16整数倍时指定输出格式为4D，优化后数据格式转换过程为5HD-\>4D-\>concat-\>gatherv2-\>5HD，当前针对ShuffleNet的做法具体可参考pytorch/aten/src/ATen/native/npu/CatKernelNpu.cpp 第121行。 -- 设置weight初始化格式避免计算过程中反复的transdata，如[copy瓶颈优化](#性能优化-1.md)所描述框架瓶颈。 +- 设置weight初始化格式避免计算过程中反复的transdata，如[copy瓶颈优化](#性能优化-1md)所描述框架瓶颈。 - 修复了DWCONV weight输出格式指定，避免一些不必要5HD-\>4D。 -## 整网排查 +##### 整网排查 整网排查记录表如下： @@ -2973,7 +2840,7 @@ python3 main.py /home/data/resnet50/imagenet --addr='1.1.1.1' \ # 15. 使用针对ShufflenetV2场景再次优化后的Gatherv3算子后，整体性能还能继续提升。 -## Python侧优化细节 +##### Python侧优化细节 Python侧优化主要是通过一些同等语义的修改，使网络在NPU上边的更加亲和。当前非连续转连续容易成为性能瓶颈，而ShufflenetV2中的channel\_shuffle操作就涉及了permute后转连续的操作，导致整网性能在NPU上较差。通过对channel\_shuffle操作进行同等语义的修改，加上和concat操作的融合，使得整网性能得到飞升。采用的是torchvision版本参见[开源链接](https://github.com/pytorch/vision/blob/master/torchvision/models/shufflenetv2.py)。 @@ -3208,26 +3075,26 @@ for group in [2, 4, 8]: ``` -

参考信息

+

参考信息

-- **[单算子样例编写说明](#单算子样例编写说明.md)** +- **[单算子样例编写说明](#单算子样例编写说明md)** -- **[单算子dump方法](#单算子dump方法.md)** +- **[单算子dump方法](#单算子dump方法md)** -- **[常用环境变量说明](#常用环境变量说明.md)** +- **[常用环境变量说明](#常用环境变量说明md)** -- **[dump op方法](#dump-op方法.md)** +- **[dump op方法](#dump-op方法md)** -- **[编译选项设置](#编译选项设置.md)** +- **[编译选项设置](#编译选项设置md)** -- **[安装7.3.0版本gcc](#安装7-3-0版本gcc.md)** +- **[安装7.3.0版本gcc](#安装7-3-0版本gccmd)** -- **[编译安装hdf5](#编译安装hdf5.md)** +- **[编译安装hdf5](#编译安装hdf5md)** -

单算子样例编写说明

+

单算子样例编写说明

-在模型中遇到问题时，使用整网复现问题成本较大，可以构建测试用例来复现精度或性能问题，便于定位解决。构建测试用例一般有如下两种方式。单算子dump方法请参见[单算子dump方法](#单算子dump方法.md)。 +在模型中遇到问题时，使用整网复现问题成本较大，可以构建测试用例来复现精度或性能问题，便于定位解决。构建测试用例一般有如下两种方式。单算子dump方法请参见[单算子dump方法](#单算子dump方法md)。 1. 单算子测试用例构建，直接调用该算子即可复现错误场景。 @@ -3320,9 +3187,9 @@ for group in [2, 4, 8]: ``` -

单算子dump方法

+

单算子dump方法

-## 采集Dump数据 +#### 采集Dump数据 当前适配昇腾AI处理器的PyTorch通过torch.npu中的init\_dump\(\)、set\_dump\(\)和finalize\_dump接口来进行算子dump数据的采集。首先init\_dump\(\)会进行初始化dump配置，然后通过set\_dump\(\)接口通过传入配置文件来配置dump参数，最后通过finalize\_dump来结束dump。以下以add\_算子为例，介绍算子dump数据采集方法。 @@ -3386,7 +3253,7 @@ torch.npu.finalize_dump()
-## 查看溢出数据 +#### 查看溢出数据 采集的dump数据会在\{dump\_path\}/\{time\}/\{deviceid\}/\{model\_id\}/\{data\_index\}目录下生成例如：“/home/HwHiAiUser/output/20200808163566/0/0”目录。 @@ -3399,10 +3266,10 @@ torch.npu.finalize_dump() - model\_id：子图ID。 - dump文件：命名规则如\{op\_type\}.\{op\_name\}.\{taskid\}.\{stream\_id\}.\{timestamp\}，如果op\_type、op\_name出现了“.”、“/”、“\\”、空格时，会转换为下划线表示。 -## 解析溢出算子的dump文件 +#### 解析溢出算子的dump文件 -1. 请根据实际情况，将\{op\_type\}.\{op\_name\}.\{taskid\}.\{stream\_id\}.\{timestamp\}上传到安装有Toolkit软件包的环境。 -2. 进入解析脚本所在路径，假设Toolkit软件包安装目录为：/home/HwHiAiUser/Ascend/ascend-toolkit/latest。 +1. 请根据实际情况，将\{op\_type\}.\{op\_name\}.\{taskid\}.\{stream\_id\}.\{timestamp\}上传到安装有CANN软件包的环境。 +2. 进入解析脚本所在路径，假设CANN软件包安装目录为：/home/HwHiAiUser/Ascend。 **cd /home/HwHiAiUser/Ascend/ascend-toolkit/latest/toolkit/tools/operator\_cmp/compare** @@ -3428,7 +3295,7 @@ torch.npu.finalize_dump() 转换为.txt格式文件后，维度信息、Dtype均不存在。详细的使用方法请参考numpy官网介绍。 -

常用环境变量说明

+

常用环境变量说明

1. 开启TASK多线程下发，绝大多数情况下，打开该功能会进一步提升整网训练性能。 @@ -3446,7 +3313,7 @@ torch.npu.finalize_dump() **export DUMP\_GRAPH\_LEVEL=3** -

dump op方法

+

dump op方法

1. 使用profile接口对原始代码训练脚本的loss计算和优化过程进行改造，打印算子信息。代码样例如下： @@ -3461,48 +3328,46 @@ torch.npu.finalize_dump() 2. 将改造后的训练脚本在CPU上进行训练，屏幕会打印相关算子信息。 -

编译选项设置

+

编译选项设置

用于配置算子编译过程中的属性，可用于提升性能，通过ACL接口实现。用法及解释如下： ``` - import torch - option = {key: val} - torch.npu.set_option(option) # 以dict方式进行设置 - - 其中key可选值和对应的含义如下： - ACL_OP_SELECT_IMPL_MODE, //选择算子是高精度实现还是高性能实现 - ACL_OPTYPELIST_FOR_IMPLMODE, //列举算子类型的列表，该列表中的算子使用ACL_OP_SELECT_IMPL_MODE指定的模式 - ACL_OP_DEBUG_LEVEL, //TBE算子编译debug功能开关 - ACL_DEBUG_DIR, //保存模型转换、网络迁移过程中算子编译生成的调试相关过程文件的路径，包括算子.o/.json/.cce等文件。 - ACL_OP_COMPILER_CACHE_MODE, //算子编译磁盘缓存模式 - ACL_OP_COMPILER_CACHE_DIR, //算子编译磁盘缓存的目录 - - key对应的val值解释和可设置值如下： - ACL_OPTYPELIST_FOR_IMPLMODE： 用于选择算子是高精度实现还是高性能实现。如果不配置该编译选项，默认采用high_precision。 - high_precision：表示网络模型中所有算子选择高精度实现。 - high_performance：表示网络模型中所有算子选择高性能实现。 - - ACL_OP_DEBUG_LEVEL：用于配置TBE算子编译debug功能开关。 - 0：不开启算子debug功能。在执行atc命令当前路径算子编译生成的kernel_meta文件夹中不保留.o（算子二进制文件）和.json文件（算子描述文件）。 - 1：开启算子debug功能，在执行atc命令当前路径算子编译生成的kernel_meta文件夹中生成TBE指令映射文件（算子cce文件*.cce和python-cce映射文件*_loc.json），用于后续工具进行AICore Error问题定位。 - 2：开启算子debug功能，在执行atc命令当前路径算子编译生成的kernel_meta文件夹中生成TBE指令映射文件（算子cce文件*.cce和python-cce映射文件*_loc.json），并关闭编译优化开关并且开启ccec调试功能（ccec编译器选项设置为-O0-g），用于后续工具进行AICore Error问题定位。 - 3：不开启算子debug功能，在执行atc命令当前路径算子编译生成的kernel_meta文件夹中保留.o（算子二进制文件）和.json文件（算子描述文件）。 - 4：不开启算子debug功能，在执行atc命令当前路径算子编译生成的kernel_meta文件夹中保留.o（算子二进制文件）和.json文件（算子描述文件），生成TBE指令映射文件（算子cce文件*.cce）和UB融合计算描述文件（{$kernel_name}_compute.json）。 - - ACL_DEBUG_DIR：用于配置保存模型转换、网络迁移过程中算子编译生成的调试相关过程文件的路径，包括算子.o/.json/.cce等文件。 - - ACL_OP_COMPILER_CACHE_MODE：用于配置算子编译磁盘缓存模式。该编译选项需要与ACL_OP_COMPILER_CACHE_DIR配合使用。 - enable：表示启用算子编译缓存。 - disable：表示禁用算子编译缓存。 - force：表示强制刷新缓存，即先删除已有缓存，再重新编译并加入缓存。当用户的python或者依赖库等发生变化时，需要指定为force用于清理已有的缓存。 - - ACL_OP_COMPILER_CACHE_DIR：用于配置算子编译磁盘缓存的目录。该编译选项需要与ACL_OP_COMPILER_CACHE_MODE配合使用。 - +import torch +option = {key: val} +torch.npu.set_option(option) # 以dict方式进行设置 + +其中key可选值和对应的含义如下： +ACL_OP_SELECT_IMPL_MODE, //选择算子是高精度实现还是高性能实现 +ACL_OPTYPELIST_FOR_IMPLMODE, //列举算子类型的列表，该列表中的算子使用ACL_OP_SELECT_IMPL_MODE指定的模式 +ACL_OP_DEBUG_LEVEL, //TBE算子编译debug功能开关 +ACL_DEBUG_DIR, //保存模型转换、网络迁移过程中算子编译生成的调试相关过程文件的路径，包括算子.o/.json/.cce等文件。 +ACL_OP_COMPILER_CACHE_MODE, //算子编译磁盘缓存模式 +ACL_OP_COMPILER_CACHE_DIR, //算子编译磁盘缓存的目录 + +key对应的val值解释和可设置值如下： +ACL_OPTYPELIST_FOR_IMPLMODE： 用于选择算子是高精度实现还是高性能实现。如果不配置该编译选项，默认采用high_precision。 + high_precision：表示网络模型中所有算子选择高精度实现。 + high_performance：表示网络模型中所有算子选择高性能实现。 + +ACL_OP_DEBUG_LEVEL：用于配置TBE算子编译debug功能开关。 + 0：不开启算子debug功能。在执行atc命令当前路径算子编译生成的kernel_meta文件夹中不保留.o（算子二进制文件）和.json文件（算子描述文件）。 + 1：开启算子debug功能，在执行atc命令当前路径算子编译生成的kernel_meta文件夹中生成TBE指令映射文件（算子cce文件*.cce和python-cce映射文件*_loc.json），用于后续工具进行AICore Error问题定位。 + 2：开启算子debug功能，在执行atc命令当前路径算子编译生成的kernel_meta文件夹中生成TBE指令映射文件（算子cce文件*.cce和python-cce映射文件*_loc.json），并关闭编译优化开关并且开启ccec调试功能（ccec编译器选项设置为-O0-g），用于后续工具进行AICore Error问题定位。 + 3：不开启算子debug功能，在执行atc命令当前路径算子编译生成的kernel_meta文件夹中保留.o（算子二进制文件）和.json文件（算子描述文件）。 + 4：不开启算子debug功能，在执行atc命令当前路径算子编译生成的kernel_meta文件夹中保留.o（算子二进制文件）和.json文件（算子描述文件），生成TBE指令映射文件（算子cce文件*.cce）和UB融合计算描述文件（{$kernel_name}_compute.json）。 + +ACL_DEBUG_DIR：用于配置保存模型转换、网络迁移过程中算子编译生成的调试相关过程文件的路径，包括算子.o/.json/.cce等文件。 + +ACL_OP_COMPILER_CACHE_MODE：用于配置算子编译磁盘缓存模式。该编译选项需要与ACL_OP_COMPILER_CACHE_DIR配合使用。 + enable：表示启用算子编译缓存。 + disable：表示禁用算子编译缓存。 + force：表示强制刷新缓存，即先删除已有缓存，再重新编译并加入缓存。当用户的python或者依赖库等发生变化时，需要指定为force用于清理已有的缓存。 + +ACL_OP_COMPILER_CACHE_DIR：用于配置算子编译磁盘缓存的目录。该编译选项需要与ACL_OP_COMPILER_CACHE_MODE配合使用。 ``` - -

安装7.3.0版本gcc

+

安装7.3.0版本gcc

以下步骤请在root用户下执行。 @@ -3584,7 +3449,7 @@ torch.npu.finalize_dump() >本步骤为用户在需要用到gcc升级后的编译环境时才配置环境变量。 -

编译安装hdf5

+

编译安装hdf5

以下步骤请在root用户下执行。 @@ -3621,35 +3486,35 @@ torch.npu.finalize_dump() ``` -

FAQ

+

FAQ

-- **[软件安装常见问题](#软件安装常见问题.md)** +- **[软件安装常见问题](#软件安装常见问题md)** -- **[模型和算子运行常见问题](#模型和算子运行常见问题.md)** +- **[模型和算子运行常见问题](#模型和算子运行常见问题md)** -- **[模型调测常见问题](#模型调测常见问题.md)** +- **[模型调测常见问题](#模型调测常见问题md)** -- **[其他操作相关问题](#其他操作相关问题.md)** +- **[其他操作相关问题](#其他操作相关问题md)** -- **[模型分布式训练常见问题](#模型分布式训练常见问题.md)** +- **[模型分布式训练常见问题](#模型分布式训练常见问题md)** -

软件安装常见问题

+

软件安装常见问题

-- **[pip3.7 install Pillow==5.3.0安装失败](#pip3-7-install-Pillow-5-3-0安装失败.md)** +- **[pip3.7 install Pillow==5.3.0安装失败](#pip3-7-install-Pillow-5-3-0安装失败md)** -

pip3.7 install Pillow==5.3.0安装失败

+

pip3.7 install Pillow==5.3.0安装失败

-## 现象描述 +##### 现象描述 pip3.7 install pillow==5.3.0安装失败。 -## 可能原因 +##### 可能原因 缺少必要的依赖，如：libjpeg、python-devel、 zlib-devel 、libjpeg-turbo-devel等等。 -## 处理方法 +##### 处理方法 安装相关依赖，通过如下命令安装： @@ -3662,95 +3527,95 @@ pip3.7 install pillow==5.3.0安装失败。 **apt-get install libjpeg python-devel zlib-devel libjpeg-turbo-devel** -

模型和算子运行常见问题

+

模型和算子运行常见问题

-- **[在模型运行或者算子运行时遇到报错“RuntimeError: ExchangeDevice:”](#在模型运行或者算子运行时遇到报错-RuntimeError-ExchangeDevice.md)** +- **[在模型运行或者算子运行时遇到报错“RuntimeError: ExchangeDevice:”](#在模型运行或者算子运行时遇到报错-RuntimeError-ExchangeDevicemd)** -- **[在模型运行或者算子运行时遇到报错“Error in atexit.\_run\_exitfuncs:”](#在模型运行或者算子运行时遇到报错-Error-in-atexit-_run_exitfuncs.md)** +- **[在模型运行或者算子运行时遇到报错“Error in atexit.\_run\_exitfuncs:”](#在模型运行或者算子运行时遇到报错-Error-in-atexit-_run_exitfuncsmd)** -- **[在模型运行时遇到报错“terminate called after throwing an instance of 'c10::Error' what\(\): HelpACLExecute:”](#在模型运行时遇到报错-terminate-called-after-throwing-an-instance-of-c10-Error-what()-HelpACLExecute.md)** +- **[在模型运行时遇到报错“terminate called after throwing an instance of 'c10::Error' what\(\): HelpACLExecute:”](#在模型运行时遇到报错-terminate-called-after-throwing-an-instance-of-c10-Error-what()-HelpACLExecutemd)** -- **[在模型运行时遇到报错“ImportError: libhccl.so.”](#在模型运行时遇到报错-ImportError-libhccl-so.md)** +- **[在模型运行时遇到报错“ImportError: libhccl.so.”](#在模型运行时遇到报错-ImportError-libhccl-somd)** -- **[在模型运行时遇到报错“RuntimeError: Initialize.”](#在模型运行时遇到报错-RuntimeError-Initialize.md)** +- **[在模型运行时遇到报错“RuntimeError: Initialize.”](#在模型运行时遇到报错-RuntimeError-Initializemd)** -- **[在模型运行时遇到报错“TVM/te/cce error.”](#在模型运行时遇到报错-TVM-te-cce-error.md)** +- **[在模型运行时遇到报错“TVM/te/cce error.”](#在模型运行时遇到报错-TVM-te-cce-errormd)** -- **[在模型运行时遇到报错“MemCopySync:drvMemcpy failed.”](#在模型运行时遇到报错-MemCopySync-drvMemcpy-failed.md)** +- **[在模型运行时遇到报错“MemCopySync:drvMemcpy failed.”](#在模型运行时遇到报错-MemCopySync-drvMemcpy-failedmd)** -- **[在模型运行时遇到报错“MemCopySync:drvMemcpy failed.”](#在模型运行时遇到报错-MemCopySync-drvMemcpy-failed-7.md)** +- **[在模型运行时遇到报错“MemCopySync:drvMemcpy failed.”](#在模型运行时遇到报错-MemCopySync-drvMemcpy-failed-7md)** -- **[在模型运行时将多任务下发关闭\(export TASK\_QUEUE\_ENABLE=0\)后仍然遇到报错“HelpACLExecute.”](#在模型运行时将多任务下发关闭(export-TASK_QUEUE_ENABLE-0)后仍然遇到报错-HelpACLExecute.md)** +- **[在模型运行时将多任务下发关闭\(export TASK\_QUEUE\_ENABLE=0\)后仍然遇到报错“HelpACLExecute.”](#在模型运行时将多任务下发关闭(export-TASK_QUEUE_ENABLE-0)后仍然遇到报错-HelpACLExecutemd)** -- **[在模型运行时遇到报错“55056 GetInputConstDataOut: ErrorNo: -1\(failed\)”](#在模型运行时遇到报错-55056-GetInputConstDataOut-ErrorNo--1(failed).md)** +- **[在模型运行时遇到报错“55056 GetInputConstDataOut: ErrorNo: -1\(failed\)”](#在模型运行时遇到报错-55056-GetInputConstDataOut-ErrorNo--1(failed)md)** -

在模型运行或者算子运行时遇到报错“RuntimeError: ExchangeDevice:”

+

在模型运行或者算子运行时遇到报错“RuntimeError: ExchangeDevice:”

-## 现象描述 +##### 现象描述 ![](figures/FAQ1.png) -## 可能原因 +##### 可能原因 目前在一个线程内，只能调用一个NPU设备，当切换不同的npu device时，出现上述错误。 -## 处理方法 +##### 处理方法 检查代码中在调用torch.npu.set\_device\(device\)、tensor.to\(device\)或者model.to\(device\)时，同一个线程内前后调用时device名称不一致。对于多个线程情况（如多卡训练），每个线程同样只能调用固定的npu device。 -

在模型运行或者算子运行时遇到报错“Error in atexit.\_run\_exitfuncs:”

+

在模型运行或者算子运行时遇到报错“Error in atexit.\_run\_exitfuncs:”

-## 现象描述 +##### 现象描述 ![](figures/FAQ2.png) -## 可能原因 +##### 可能原因 在torch初始化时，若未通过torch.npu.device\(id\)指定npu设备，则默认使用device 0设备。若直接使用其他NPU设备，如指定在device 1上创建tensor，那么在运行时会出现上述错误。 -## 处理方法 +##### 处理方法 在调用NPU设备之前，通过torch.npu.set\_device\(device\)指定需要使用的NPU设备即可。 -

在模型运行时遇到报错“terminate called after throwing an instance of 'c10::Error' what\(\): HelpACLExecute:”

+

在模型运行时遇到报错“terminate called after throwing an instance of 'c10::Error' what\(\): HelpACLExecute:”

-## 现象描述 +##### 现象描述 ![](figures/FAQ3.png) -## 可能原因 +##### 可能原因 目前HelpACLExecute的报错信息无法直接找到报错位置，此处在task任务下发时报错，是由于开启了TASK多线程下发（export TASK\_QUEUE\_ENABLE=1），上层封装了报错信息，导致无法获取更加详细的报错日志。 -## 处理方法 +##### 处理方法 可通过如下两种方式处理： - 查看具体的host报错日志信息。日志默认路径为/var/log/npu/slog/host-0/，根据时间标识查找以host-0为前缀的日志文件，打开日志文件，搜索“ERROR”，查询具体的报错信息。 - 关闭多线程下发\(export TASK\_QUEUE\_ENABLE=0\)，再次运行代码，一般可根据终端报错信息定位错误原因。 -

在模型运行时遇到报错“ImportError: libhccl.so.”

+

在模型运行时遇到报错“ImportError: libhccl.so.”

-## 现象描述 +##### 现象描述 ![](figures/FAQ7.png) -## 可能原因 +##### 可能原因 目前对外发布的pytorch安装包，默认使用NPU和HCCL功能，因此在调用时需要将HCCL模块路径添加到环境变量中。根据报错信息“can not find libhccl.so”，出现上述错误原因为缺少hccl库文件。 -## 处理方法 +##### 处理方法 将hccl模块的路径添加到环境变量中，一般情况下hccl库文件路径为安装包下的.../fwkacllib/python/site-packages/hccl。 -

在模型运行时遇到报错“RuntimeError: Initialize.”

+

在模型运行时遇到报错“RuntimeError: Initialize.”

-## 现象描述 +##### 现象描述 ![](figures/FAQ9.png) -## 可能原因 +##### 可能原因 根据报错信息，初步判断为npu设备初始化错误。进一步查找host日志报错信息如下： @@ -3758,7 +3623,7 @@ pip3.7 install pillow==5.3.0安装失败。 根据日志信息定位报错原因为系统在拉起npu设备时报错。 -## 处理方法 +##### 处理方法 可通过以下步骤解决该问题。 @@ -3782,25 +3647,25 @@ pip3.7 install pillow==5.3.0安装失败。 4. 联系华为工程师。 -

在模型运行时遇到报错“TVM/te/cce error.”

+

在模型运行时遇到报错“TVM/te/cce error.”

-## 现象描述 +##### 现象描述 ![](figures/FAQ10.png) -## 可能原因 +##### 可能原因 -pytorch内调用npu类型算子时，强依赖于te、cce、tvm组件，pytorch、toolkit/nnae和te版本需要一致。在更新toolkit/nnae后，te等组件不会自动更新，当版本不匹配时，则会出现该报错。 +pytorch内调用npu类型算子时，强依赖于te、cce、tvm组件，pytorch、CANN/nnae和te版本需要一致。在更新CANN/nnae后，te等组件不会自动更新，当版本不匹配时，则会出现该报错。 -## 处理方法 +##### 处理方法 -更新te等组件版本，具体需要更新te-_\*.whl和topi-\*_.whl安装包。在安装的toolkit或者nnae的fwkacllib子目录下（以root安装用户为例：默认安装路径在/usr/local/Ascend/ascend-toolkit/latest/fwkacllib/lib64目录下，更新安装包即可。在该目录下有安装包topi-0.4.0-py3-none-any.whl和te-0.4.0-py3-none-any.whl，分别执行pip3 install --upgrade topi-0.4.0-py3-none-any.whl，pip install --upgrade te-0.4.0-py3-none-any.whl。 +更新te等组件版本，具体需要更新te-_\*.whl和topi-\*_.whl安装包。在安装的CANN或者nnae的lib64子目录下（以root安装用户为例：默认安装路径在/usr/local/Ascend/ascend-toolkit/latest/lib64目录下，更新安装包即可。在该目录下有安装包topi-0.4.0-py3-none-any.whl和te-0.4.0-py3-none-any.whl，分别执行pip3 install --upgrade topi-0.4.0-py3-none-any.whl，pip install --upgrade te-0.4.0-py3-none-any.whl。 ![](figures/FAQ10-1.png) -

在模型运行时遇到报错“MemCopySync:drvMemcpy failed.”

+

在模型运行时遇到报错“MemCopySync:drvMemcpy failed.”

-## 现象描述 +##### 现象描述 脚本： @@ -3849,7 +3714,7 @@ shell报错信息： [ERROR] RUNTIME(12731,python3.7):2021-02-02-22:23:56.475.717 [../../../../../../runtime/feature/src/api_c.cc:224]12828 rtKernelLaunch:ErrCode=207001, desc=[module new memory error], InnerCode=0x70a0002 ``` -## 可能原因 +##### 可能原因 根据shell和日志报错信息，两者报错信息不匹配。 @@ -3857,7 +3722,7 @@ shell报错是在同步操作中和AI CPU错误，而日志报错信息却是在 报错信息滞后可能是由于AI CPU算子的异步执行，导致报错信息滞后。 -## 处理方法 +##### 处理方法 对于该报错需要根据实际的错误来定位，可参考如下步骤进行处理： @@ -3867,9 +3732,9 @@ shell报错是在同步操作中和AI CPU错误，而日志报错信息却是在 4. 打印stack所有参数的shape、dtype、npu\_format，通过构造单算子用例复现问题。定位到问题原因为减法计算输入参数数据类型不同，导致a-b和b-a结果的数据类型不一致，最终在stack算子中报错。 5. 将stack入参数据类型转换为一致即可临时规避问题。 -

在模型运行时遇到报错“MemCopySync:drvMemcpy failed.”

+

在模型运行时遇到报错“MemCopySync:drvMemcpy failed.”

-## 现象描述 +##### 现象描述 脚本： @@ -3918,7 +3783,7 @@ shell报错信息： [ERROR] RUNTIME(12731,python3.7):2021-02-02-22:23:56.475.717 [../../../../../../runtime/feature/src/api_c.cc:224]12828 rtKernelLaunch:ErrCode=207001, desc=[module new memory error], InnerCode=0x70a0002 ``` -## 可能原因 +##### 可能原因 根据shell和日志报错信息，两者报错信息不匹配。 @@ -3926,7 +3791,7 @@ shell报错是在同步操作中和ai cpu错误，而日志报错信息却是在 报错信息滞后可能是由于AI cpu算子的异步执行，导致报错信息滞后。 -## 处理方法 +##### 处理方法 对于该报错需要根据实际的错误来定位，可参考如下步骤进行处理： @@ -3936,17 +3801,17 @@ shell报错是在同步操作中和ai cpu错误，而日志报错信息却是在 4. 打印stack所有参数的shape、dtype、npu\_format，通过构造单算子用例复现问题。定位到问题原因为减法计算输入参数数据类型不同，导致a-b和b-a结果的数据类型不一致，最终在stack算子中报错。 5. 将stack入参数据类型转换为一致即可临时规避问题。 -

在模型运行时将多任务下发关闭\(export TASK\_QUEUE\_ENABLE=0\)后仍然遇到报错“HelpACLExecute.”

+

在模型运行时将多任务下发关闭\(export TASK\_QUEUE\_ENABLE=0\)后仍然遇到报错“HelpACLExecute.”

-## 现象描述 +##### 现象描述 ![](figures/FAQ8.png) -## 可能原因 +##### 可能原因 pytorch算子在npu上运行，通过ACL接口调用底层经过优化的算子。由于在上层报错信息显示为HelpACLExecute. 时，内部也正在对报错信息与日志进行完善，导致部分算子发生错误时，报错信息获取异常。 -## 处理方法 +##### 处理方法 查看host日志，确定报错算子和位置，日志默认路径为/var/log/npu/slog/host-0。查找对应时间的log文件，搜索ERROR字段，查找错误信息。如对上述的错误，查询日志中的ERROR字段为： @@ -3956,74 +3821,74 @@ pytorch算子在npu上运行，通过ACL接口调用底层经过优化的算子 在模型代码中查找topk算子调用位置，确定该算子是否可由其他算子代替，若可由其他算子报错，暂时使用代替方案，并将算子报错信息报告华为工程师。若无替代算子，请将算子报错信息通知华为工程师解决。 -

在模型运行时遇到报错“55056 GetInputConstDataOut: ErrorNo: -1\(failed\)”

+

在模型运行时遇到报错“55056 GetInputConstDataOut: ErrorNo: -1\(failed\)”

-## 现象描述 +##### 现象描述 模型训练过程中，查看host训练日志（路径：“/root/ascend/log/plog/“），可能出现如下报错信息。 ![](figures/20210720-102720(WeLinkPC).png) -## 可能原因 +##### 可能原因 该报错信息是由于调用某一公共API接口导致。 -## 处理方法 +##### 处理方法 该报错信息不影响训练功能与性能，可忽略该报错信息。 -

模型调测常见问题

+

模型调测常见问题

-- **[在模型调测时遇到报错“RuntimeError: malloc:/..../pytorch/c10/npu/NPUCachingAllocator.cpp:293 NPU error, error code is 500000.”](#在模型调测时遇到报错-RuntimeError-malloc-pytorch-c10-npu-NPUCachingAllocator-cpp-293-NPU-error-error-code-is-5.md)** +- **[在模型调测时遇到报错“RuntimeError: malloc:/..../pytorch/c10/npu/NPUCachingAllocator.cpp:293 NPU error, error code is 500000.”](#在模型调测时遇到报错-RuntimeError-malloc-pytorch-c10-npu-NPUCachingAllocator-cpp-293-NPU-error-error-code-is-5md)** -- **[在模型调测时遇到报错“RuntimeError: Could not run 'aten::trunc.out' with arguments from the 'NPUTensorId' backend.”](#在模型调测时遇到报错-RuntimeError-Could-not-run-aten-trunc-out-with-arguments-from-the-NPUTensorId-backend.md)** +- **[在模型调测时遇到报错“RuntimeError: Could not run 'aten::trunc.out' with arguments from the 'NPUTensorId' backend.”](#在模型调测时遇到报错-RuntimeError-Could-not-run-aten-trunc-out-with-arguments-from-the-NPUTensorId-backendmd)** -- **[在模型调测时遇到如MaxPoolGradWithArgmaxV1算子和max算子报错](#在模型调测时遇到如MaxPoolGradWithArgmaxV1算子和max算子报错.md)** +- **[在模型调测时遇到如MaxPoolGradWithArgmaxV1算子和max算子报错](#在模型调测时遇到如MaxPoolGradWithArgmaxV1算子和max算子报错md)** -- **[在调用torch时遇到报错“ModuleNotFoundError: No module named 'torch.\_C'”](#在调用torch时遇到报错-ModuleNotFoundError-No-module-named-torch-_C.md)** +- **[在调用torch时遇到报错“ModuleNotFoundError: No module named 'torch.\_C'”](#在调用torch时遇到报错-ModuleNotFoundError-No-module-named-torch-_Cmd)** -

在模型调测时遇到报错“RuntimeError: malloc:/..../pytorch/c10/npu/NPUCachingAllocator.cpp:293 NPU error, error code is 500000.”

+

在模型调测时遇到报错“RuntimeError: malloc:/..../pytorch/c10/npu/NPUCachingAllocator.cpp:293 NPU error, error code is 500000.”

-## 现象描述 +##### 现象描述 ![](figures/FAQ4.png) -## 可能原因 +##### 可能原因 对于NPUCachingAllocator中malloc类型的错误原因一般为NPU显存不足，所需显存大于npu上可用显存。 -## 处理方法 +##### 处理方法 在模型调测中，可用通过减小batch size参数来减少NPU显存的分配，解决该问题。 -

在模型调测时遇到报错“RuntimeError: Could not run 'aten::trunc.out' with arguments from the 'NPUTensorId' backend.”

+

在模型调测时遇到报错“RuntimeError: Could not run 'aten::trunc.out' with arguments from the 'NPUTensorId' backend.”

-## 现象描述 +##### 现象描述 ![](figures/FAQ5.png) -## 可能原因 +##### 可能原因 目前npu设备仅支持pytorch部分算子，对于不支持的算子在使用时均会报上述错误，算子正在不断开发中。算子支持情况可参考[PyTorch原生算子](https://support.huaweicloud.com/opl-pytorch/atlasptol_09_0001.html)，持续更新。 -## 处理方法 +##### 处理方法 在模型调测中，可通过减小batch size参数，来减少NPU显存的占用，解决该问题。 -

在模型调测时遇到如MaxPoolGradWithArgmaxV1算子和max算子报错

+

在模型调测时遇到如MaxPoolGradWithArgmaxV1算子和max算子报错

-## 现象描述 +##### 现象描述 ![](figures/FAQ6.png) ![](figures/FAQ6-1.png) -## 可能原因 +##### 可能原因 在模型搭建中，算子输入参数是多样的。某些算子（如MaxPoolGradWithArgmaxV1算子和max算子）在特定参数下，计算报错或者不支持，根据报错信息可以定位到具体算子。 -## 处理方法 +##### 处理方法 根据报错信息定位到具体算子，解决步骤如下： @@ -4037,50 +3902,50 @@ pytorch算子在npu上运行，通过ACL接口调用底层经过优化的算子 前述图中，根据报错信息，定位到是MaxPoolGradWithArgmaxV1算子和max算子报错。MaxPoolGradWithArgmaxV1是在反向计算过程中报错，那么构建测试用例时需要构建对应的反向场景；而对于max算子，是正向计算时报错，构建正向场景即可。 -在模型中遇到算子报错，首选是仅构建单算子测试用例，确定报错场景和原因即可；若无法在单算子中构建单算子用例，则需要构建基于上下文的单算子场景, 可以参考[单算子样例编写说明](#单算子样例编写说明.md)编写用例。 +在模型中遇到算子报错，首选是仅构建单算子测试用例，确定报错场景和原因即可；若无法在单算子中构建单算子用例，则需要构建基于上下文的单算子场景, 可以参考[单算子样例编写说明](#单算子样例编写说明md)编写用例。 -

在调用torch时遇到报错“ModuleNotFoundError: No module named 'torch.\_C'”

+

在调用torch时遇到报错“ModuleNotFoundError: No module named 'torch.\_C'”

-## 现象描述 +##### 现象描述 ![](figures/FAQ11.png) -## 可能原因 +##### 可能原因 首先确定报错位置，上述报错路径为.../code/pytorch/torch/\_\_init\_\_.py，而当前运行路径在.../code/pytorch下，在执行import torch时，默认首先在当前目录下查找torch文件夹，因此报错。此处应是调用在系统目录下安装的torch包，而不是当前目录下的torch。 -## 处理方法 +##### 处理方法 切换到其他目录执行脚本。 -

其他操作相关问题

+

其他操作相关问题

-- **[cuda流同步操作报错](#cuda流同步操作报错.md)** +- **[cuda流同步操作报错](#cuda流同步操作报错md)** -- **[aicpu\_kernels/libpt\_kernels.so不存在](#aicpu_kernels-libpt_kernels-so不存在.md)** +- **[aicpu\_kernels/libpt\_kernels.so不存在](#aicpu_kernels-libpt_kernels-so不存在md)** -- **[使用npu-smi info查看显存时发现python进程残留](#使用npu-smi-info查看显存时发现python进程残留.md)** +- **[使用npu-smi info查看显存时发现python进程残留](#使用npu-smi-info查看显存时发现python进程残留md)** -- **[动态shape报错“match op inputs failed”](#动态shape报错-match-op-inputs-failed.md)** +- **[动态shape报错“match op inputs failed”](#动态shape报错-match-op-inputs-failedmd)** -- **[Op type SigmoidCrossEntropyWithLogitsV2 of ops kernel AIcoreEngine is unsupported](#Op-type-SigmoidCrossEntropyWithLogitsV2-of-ops-kernel-AIcoreEngine-is-unsupported.md)** +- **[Op type SigmoidCrossEntropyWithLogitsV2 of ops kernel AIcoreEngine is unsupported](#Op-type-SigmoidCrossEntropyWithLogitsV2-of-ops-kernel-AIcoreEngine-is-unsupportedmd)** -- **[Hook失败](#Hook失败.md)** +- **[Hook失败](#Hook失败md)** -- **[加载权重时遇到报错“load state\_dict error.”](#加载权重时遇到报错-load-state_dict-error.md)** +- **[加载权重时遇到报错“load state\_dict error.”](#加载权重时遇到报错-load-state_dict-errormd)** -

cuda流同步操作报错

+

cuda流同步操作报错

-## 现象描述 +##### 现象描述 ![](figures/model_faq11_20210728.jpg) -## 可能原因 +##### 可能原因 npu未使用npu的流同步方法。 -## 处理方法 +##### 处理方法 使用NPU的流同步方法： @@ -4089,35 +3954,35 @@ stream = torch.npu.current_stream() stream.synchronize() ``` -

aicpu\_kernels/libpt\_kernels.so不存在

+

aicpu\_kernels/libpt\_kernels.so不存在

-## 现象描述 +##### 现象描述 ![](figures/FAQ13.png) -## 可能原因 +##### 可能原因 未导入AICPU。 -## 处理方法 +##### 处理方法 -导入AICPU（以root用户安装Toolkit软件包，安装路径为默认路径为例）： +导入AICPU（以root用户安装CANN软件包，安装路径为默认路径为例）： ``` export ASCEND_AICPU_PATH=/usr/local/Ascend/ascend-toolkit/latest ``` -

使用npu-smi info查看显存时发现python进程残留

+

使用npu-smi info查看显存时发现python进程残留

-## 现象描述 +##### 现象描述 ![](figures/FAQ14.png) -## 可能原因 +##### 可能原因 python进程残留，需要kill。 -## 处理方法 +##### 处理方法 终止python进程： @@ -4125,40 +3990,40 @@ python进程残留，需要kill。 pkill -9 python ``` -

动态shape报错“match op inputs failed”

+

动态shape报错“match op inputs failed”

-## 现象描述 +##### 现象描述 ![](figures/FAQ15.png) -## 可能原因 +##### 可能原因 PTIndexPut编译的算子和输入的shape不一致， 并有acl\_dynamic\_shape\_op打头的日志字样，确定为动态shape报错。 -## 处理方法 +##### 处理方法 PTIndexPut对应tensor\[indices\] = value，需要在代码中找到对应的地方将动态shape修改为固定shape。 -

Op type SigmoidCrossEntropyWithLogitsV2 of ops kernel AIcoreEngine is unsupported

+

Op type SigmoidCrossEntropyWithLogitsV2 of ops kernel AIcoreEngine is unsupported

-## 现象描述 +##### 现象描述 ``` [ERROR] GE(24836,python3.7):2021-01-27-18:27:51.562.111 [../../../../../../graphengine/ge/engine_manager/dnnengine_manager.cc:266]25155 GetDNNEngineName: ErrorNo: 1343242282(assign engine failed) GetDNNEngineName:Op type SigmoidCrossEntropyWithLogitsV2 of ops kernel AIcoreEngine is unsupported, reason:Op SigmoidCrossEntropyWithLogitsV2 not supported reason: The type of this op is not found in op store, check whether the op store has this type of op. Op store name is tbe-custom. The dtype, format or shape of input in op desc is not supported in op store, check the dtype, format or shape of input between the op store and the graph. Op store name is tbe-builtin. ``` -## 可能原因 +##### 可能原因 SigmoidCrossEntropyWithLogitsV2算子输入了不支持的数据类型，可能是输入int64类型导致的错误。 -## 处理方法 +##### 处理方法 检查对应python代码中输入的数据类型，并修改。 -

Hook失败

+

Hook失败

-## 现象描述 +##### 现象描述 ``` Traceback (most recent call last): @@ -4183,11 +4048,11 @@ Traceback (most recent call last): StopIteration ``` -## 可能原因 +##### 可能原因 mmdet的loss部分结构触发了pytorch原生hook的bug，导致死循环。 -## 处理方法 +##### 处理方法 解决方案是在/usr/local/python3.7.5/lib/python3.7/site-packages/torch/nn/modules/module.py这个文件的658行加上try跳过： @@ -4212,19 +4077,19 @@ if len(self._backward_hooks) > 0: return result ``` -

加载权重时遇到报错“load state\_dict error.”

+

加载权重时遇到报错“load state\_dict error.”

-## 现象描述 +##### 现象描述 ![](figures/FAQ18.png) ![](figures/FAQ18-1.png) -## 可能原因 +##### 可能原因 模型训练后保存的state\_dict的key值与加载时state\_dict的key值不一致，保存时会在每个key的最前面多一个module前缀。 -## 处理方法 +##### 处理方法 加载权重时先遍历state\_dict字典，修改key值，并使用新建的字典，具体用例参考demo.py。 @@ -4241,38 +4106,38 @@ return result model.load_state_dict(state_dict) ``` -

模型分布式训练常见问题

+

模型分布式训练常见问题

-- **[在进行模型分布式训练时遇到报错“host not found.”](#在进行模型分布式训练时遇到报错-host-not-found.md)** +- **[在进行模型分布式训练时遇到报错“host not found.”](#在进行模型分布式训练时遇到报错-host-not-foundmd)** -- **[在进行模型分布式训练时遇到报错“RuntimeError：connect\(\) timed out.”](#在进行模型分布式训练时遇到报错-RuntimeError-connect()-timed-out.md)** +- **[在进行模型分布式训练时遇到报错“RuntimeError：connect\(\) timed out.”](#在进行模型分布式训练时遇到报错-RuntimeError-connect()-timed-outmd)** -

在进行模型分布式训练时遇到报错“host not found.”

+

在进行模型分布式训练时遇到报错“host not found.”

-## 现象描述 +##### 现象描述 ![](figures/FAQ19.png) -## 可能原因 +##### 可能原因 对模型进行分布式训练时，会调用集合通信模块HCCL，需要根据实际情况设置IP和端口信息。根据报错信息，确定是IP地址设置错误。 -## 处理方法 +##### 处理方法 在运行脚本中设置正确的IP地址，对于单机情况，设置为本机的IP地址即可；对于多机情况，每个服务器上脚本中的IP需要设置为master节点的IP。 -

在进行模型分布式训练时遇到报错“RuntimeError：connect\(\) timed out.”

+

在进行模型分布式训练时遇到报错“RuntimeError：connect\(\) timed out.”

-## 现象描述 +##### 现象描述 ![](figures/1234.png) -## 可能原因 +##### 可能原因 模型进行分布式训练时，系统防火墙可能会阻截HCCL的集合通信端口的通信。需要根据报错信息，排查通信端口的开放情况，并进行相应设置。 -## 处理方法 +##### 处理方法 查询出被系统防火墙阻截的集合通信端口，并开放相应端口。 diff --git "a/docs/zh/\346\224\257\346\214\201ONNX\347\256\227\345\255\220\346\270\205\345\215\225/\346\224\257\346\214\201ONNX\347\256\227\345\255\220\346\270\205\345\215\225.md" "b/docs/zh/\346\224\257\346\214\201ONNX\347\256\227\345\255\220\346\270\205\345\215\225/\346\224\257\346\214\201ONNX\347\256\227\345\255\220\346\270\205\345\215\225.md" index 2d1998453570498712489c87a1a6c9a4a7156a78..f3b021d809821ad0257010a9a6629ba296c28017 100644 --- "a/docs/zh/\346\224\257\346\214\201ONNX\347\256\227\345\255\220\346\270\205\345\215\225/\346\224\257\346\214\201ONNX\347\256\227\345\255\220\346\270\205\345\215\225.md" +++ "b/docs/zh/\346\224\257\346\214\201ONNX\347\256\227\345\255\220\346\270\205\345\215\225/\346\224\257\346\214\201ONNX\347\256\227\345\255\220\346\270\205\345\215\225.md" @@ -1,159 +1,160 @@ # 支持ONNX算子清单 -- [Abs](#Abs.md) -- [Acos](#Acos.md) -- [Acosh](#Acosh.md) -- [AdaptiveAvgPool2D](#AdaptiveAvgPool2D.md) -- [AdaptiveMaxPool2D](#AdaptiveMaxPool2D.md) -- [Add](#Add.md) -- [Addcmul](#Addcmul.md) -- [AffineGrid](#AffineGrid.md) -- [And](#And.md) -- [Argmax](#Argmax.md) -- [Argmin](#Argmin.md) -- [AscendRequantS16](#AscendRequantS16.md) -- [AscendRequant](#AscendRequant.md) -- [AscendQuant](#AscendQuant.md) -- [AscendDequantS16](#AscendDequantS16.md) -- [AscendDequant](#AscendDequant.md) -- [AscendAntiQuant](#AscendAntiQuant.md) -- [Asin](#Asin.md) -- [Asinh](#Asinh.md) -- [Atan](#Atan.md) -- [Atanh](#Atanh.md) -- [AveragePool](#AveragePool.md) -- [BatchNormalization](#BatchNormalization.md) -- [BatchMatMul](#BatchMatMul.md) -- [BatchMultiClassNMS](#BatchMultiClassNMS.md) -- [BitShift](#BitShift.md) -- [Cast](#Cast.md) -- [Ceil](#Ceil.md) -- [Celu](#Celu.md) -- [Concat](#Concat.md) -- [Clip](#Clip.md) -- [ConvTranspose](#ConvTranspose.md) -- [Cumsum](#Cumsum.md) -- [Conv](#Conv.md) -- [Compress](#Compress.md) -- [Constant](#Constant.md) -- [ConstantOfShape](#ConstantOfShape.md) -- [Cos](#Cos.md) -- [Cosh](#Cosh.md) -- [DeformableConv2D](#DeformableConv2D.md) -- [Det](#Det.md) -- [DepthToSpace](#DepthToSpace.md) -- [Div](#Div.md) -- [Dropout](#Dropout.md) -- [Elu](#Elu.md) -- [EmbeddingBag](#EmbeddingBag.md) -- [Equal](#Equal.md) -- [Erf](#Erf.md) -- [Exp](#Exp.md) -- [Expand](#Expand.md) -- [EyeLike](#EyeLike.md) -- [Flatten](#Flatten.md) -- [Floor](#Floor.md) -- [Gather](#Gather.md) -- [GatherND](#GatherND.md) -- [GatherElements](#GatherElements.md) -- [Gemm](#Gemm.md) -- [GlobalAveragePool](#GlobalAveragePool.md) -- [GlobalLpPool](#GlobalLpPool.md) -- [GlobalMaxPool](#GlobalMaxPool.md) -- [Greater](#Greater.md) -- [GreaterOrEqual](#GreaterOrEqual.md) -- [HardSigmoid](#HardSigmoid.md) -- [hardmax](#hardmax.md) -- [HardSwish](#HardSwish.md) -- [Identity](#Identity.md) -- [If](#If.md) -- [InstanceNormalization](#InstanceNormalization.md) -- [Less](#Less.md) -- [LeakyRelu](#LeakyRelu.md) -- [LessOrEqual](#LessOrEqual.md) -- [Log](#Log.md) -- [LogSoftMax](#LogSoftMax.md) -- [LpNormalization](#LpNormalization.md) -- [LpPool](#LpPool.md) -- [LRN](#LRN.md) -- [LSTM](#LSTM.md) -- [MatMul](#MatMul.md) -- [Max](#Max.md) -- [MaxPool](#MaxPool.md) -- [MaxRoiPool](#MaxRoiPool.md) -- [Mean](#Mean.md) -- [MeanVarianceNormalization](#MeanVarianceNormalization.md) -- [Min](#Min.md) -- [Mod](#Mod.md) -- [Mul](#Mul.md) -- [Multinomial](#Multinomial.md) -- [Neg](#Neg.md) -- [NonMaxSuppression](#NonMaxSuppression.md) -- [NonZero](#NonZero.md) -- [Not](#Not.md) -- [OneHot](#OneHot.md) -- [Or](#Or.md) -- [RandomNormalLike](#RandomNormalLike.md) -- [RandomUniformLike](#RandomUniformLike.md) -- [RandomUniform](#RandomUniform.md) -- [Range](#Range.md) -- [Reciprocal](#Reciprocal.md) -- [ReduceL1](#ReduceL1.md) -- [ReduceL2](#ReduceL2.md) -- [ReduceLogSum](#ReduceLogSum.md) -- [ReduceLogSumExp](#ReduceLogSumExp.md) -- [ReduceMin](#ReduceMin.md) -- [ReduceMean](#ReduceMean.md) -- [ReduceProd](#ReduceProd.md) -- [ReduceSumSquare](#ReduceSumSquare.md) -- [Resize](#Resize.md) -- [Relu](#Relu.md) -- [ReduceSum](#ReduceSum.md) -- [ReduceMax](#ReduceMax.md) -- [Reshape](#Reshape.md) -- [ReverseSequence](#ReverseSequence.md) -- [RoiExtractor](#RoiExtractor.md) -- [RoiAlign](#RoiAlign.md) -- [Round](#Round.md) -- [PRelu](#PRelu.md) -- [Scatter](#Scatter.md) -- [ScatterElements](#ScatterElements.md) -- [ScatterND](#ScatterND.md) -- [Shrink](#Shrink.md) -- [Selu](#Selu.md) -- [Shape](#Shape.md) -- [Sigmoid](#Sigmoid.md) -- [Slice](#Slice.md) -- [Softmax](#Softmax.md) -- [Softsign](#Softsign.md) -- [Softplus](#Softplus.md) -- [SpaceToDepth](#SpaceToDepth.md) -- [Split](#Split.md) -- [Sqrt](#Sqrt.md) -- [Squeeze](#Squeeze.md) -- [Sub](#Sub.md) -- [Sign](#Sign.md) -- [Sin](#Sin.md) -- [Sinh](#Sinh.md) -- [Size](#Size.md) -- [Sum](#Sum.md) -- [Tanh](#Tanh.md) -- [TfIdfVectorizer](#TfIdfVectorizer.md) -- [Tile](#Tile.md) -- [ThresholdedRelu](#ThresholdedRelu.md) -- [TopK](#TopK.md) -- [Transpose](#Transpose.md) -- [Pad](#Pad.md) -- [Pow](#Pow.md) -- [Unsqueeze](#Unsqueeze.md) -- [Xor](#Xor.md) -- [Where](#Where.md) -

Abs

- -## 功能 +- [Abs](#Absmd) +- [Acos](#Acosmd) +- [Acosh](#Acoshmd) +- [AdaptiveAvgPool2D](#AdaptiveAvgPool2Dmd) +- [AdaptiveMaxPool2D](#AdaptiveMaxPool2Dmd) +- [Add](#Addmd) +- [Addcmul](#Addcmulmd) +- [AffineGrid](#AffineGridmd) +- [And](#Andmd) +- [Argmax](#Argmaxmd) +- [Argmin](#Argminmd) +- [AscendRequantS16](#AscendRequantS16md) +- [AscendRequant](#AscendRequantmd) +- [AscendQuant](#AscendQuantmd) +- [AscendDequantS16](#AscendDequantS16md) +- [AscendDequant](#AscendDequantmd) +- [AscendAntiQuant](#AscendAntiQuantmd) +- [Asin](#Asinmd) +- [Asinh](#Asinhmd) +- [Atan](#Atanmd) +- [Atanh](#Atanhmd) +- [AveragePool](#AveragePoolmd) +- [BatchNormalization](#BatchNormalizationmd) +- [BatchMatMul](#BatchMatMulmd) +- [BatchMultiClassNMS](#BatchMultiClassNMSmd) +- [BitShift](#BitShiftmd) +- [Cast](#Castmd) +- [Ceil](#Ceilmd) +- [Celu](#Celumd) +- [Concat](#Concatmd) +- [Clip](#Clipmd) +- [ConvTranspose](#ConvTransposemd) +- [Cumsum](#Cumsummd) +- [Conv](#Convmd) +- [Compress](#Compressmd) +- [Constant](#Constantmd) +- [ConstantOfShape](#ConstantOfShapemd) +- [Cos](#Cosmd) +- [Cosh](#Coshmd) +- [DeformableConv2D](#DeformableConv2Dmd) +- [Det](#Detmd) +- [DepthToSpace](#DepthToSpacemd) +- [Div](#Divmd) +- [Dropout](#Dropoutmd) +- [Elu](#Elumd) +- [EmbeddingBag](#EmbeddingBagmd) +- [Equal](#Equalmd) +- [Erf](#Erfmd) +- [Exp](#Expmd) +- [Expand](#Expandmd) +- [EyeLike](#EyeLikemd) +- [Flatten](#Flattenmd) +- [Floor](#Floormd) +- [Gather](#Gathermd) +- [GatherND](#GatherNDmd) +- [GatherElements](#GatherElementsmd) +- [Gemm](#Gemmmd) +- [GlobalAveragePool](#GlobalAveragePoolmd) +- [GlobalLpPool](#GlobalLpPoolmd) +- [GlobalMaxPool](#GlobalMaxPoolmd) +- [Greater](#Greatermd) +- [GreaterOrEqual](#GreaterOrEqualmd) +- [HardSigmoid](#HardSigmoidmd) +- [hardmax](#hardmaxmd) +- [HardSwish](#HardSwishmd) +- [Identity](#Identitymd) +- [If](#Ifmd) +- [InstanceNormalization](#InstanceNormalizationmd) +- [Less](#Lessmd) +- [LeakyRelu](#LeakyRelumd) +- [LessOrEqual](#LessOrEqualmd) +- [Log](#Logmd) +- [LogSoftMax](#LogSoftMaxmd) +- [LpNormalization](#LpNormalizationmd) +- [LpPool](#LpPoolmd) +- [LRN](#LRNmd) +- [LSTM](#LSTMmd) +- [MatMul](#MatMulmd) +- [Max](#Maxmd) +- [MaxPool](#MaxPoolmd) +- [MaxRoiPool](#MaxRoiPoolmd) +- [MaxUnpool](#MaxUnpoolmd) +- [Mean](#Meanmd) +- [MeanVarianceNormalization](#MeanVarianceNormalizationmd) +- [Min](#Minmd) +- [Mod](#Modmd) +- [Mul](#Mulmd) +- [Multinomial](#Multinomialmd) +- [Neg](#Negmd) +- [NonMaxSuppression](#NonMaxSuppressionmd) +- [NonZero](#NonZeromd) +- [Not](#Notmd) +- [OneHot](#OneHotmd) +- [Or](#Ormd) +- [RandomNormalLike](#RandomNormalLikemd) +- [RandomUniformLike](#RandomUniformLikemd) +- [RandomUniform](#RandomUniformmd) +- [Range](#Rangemd) +- [Reciprocal](#Reciprocalmd) +- [ReduceL1](#ReduceL1md) +- [ReduceL2](#ReduceL2md) +- [ReduceLogSum](#ReduceLogSummd) +- [ReduceLogSumExp](#ReduceLogSumExpmd) +- [ReduceMin](#ReduceMinmd) +- [ReduceMean](#ReduceMeanmd) +- [ReduceProd](#ReduceProdmd) +- [ReduceSumSquare](#ReduceSumSquaremd) +- [Resize](#Resizemd) +- [Relu](#Relumd) +- [ReduceSum](#ReduceSummd) +- [ReduceMax](#ReduceMaxmd) +- [Reshape](#Reshapemd) +- [ReverseSequence](#ReverseSequencemd) +- [RoiExtractor](#RoiExtractormd) +- [RoiAlign](#RoiAlignmd) +- [Round](#Roundmd) +- [PRelu](#PRelumd) +- [Scatter](#Scattermd) +- [ScatterElements](#ScatterElementsmd) +- [ScatterND](#ScatterNDmd) +- [Shrink](#Shrinkmd) +- [Selu](#Selumd) +- [Shape](#Shapemd) +- [Sigmoid](#Sigmoidmd) +- [Slice](#Slicemd) +- [Softmax](#Softmaxmd) +- [Softsign](#Softsignmd) +- [Softplus](#Softplusmd) +- [SpaceToDepth](#SpaceToDepthmd) +- [Split](#Splitmd) +- [Sqrt](#Sqrtmd) +- [Squeeze](#Squeezemd) +- [Sub](#Submd) +- [Sign](#Signmd) +- [Sin](#Sinmd) +- [Sinh](#Sinhmd) +- [Size](#Sizemd) +- [Sum](#Summd) +- [Tanh](#Tanhmd) +- [TfIdfVectorizer](#TfIdfVectorizermd) +- [Tile](#Tilemd) +- [ThresholdedRelu](#ThresholdedRelumd) +- [TopK](#TopKmd) +- [Transpose](#Transposemd) +- [Pad](#Padmd) +- [Pow](#Powmd) +- [Unsqueeze](#Unsqueezemd) +- [Xor](#Xormd) +- [Where](#Wheremd) +

Abs

+ +### 功能 对输入张量取绝对值 -## 边界 +### 边界 【输入】 @@ -167,17 +168,17 @@ x：一个tensor，数据类型：float16、float32、double、int32、int64 y：一个tensor，数据类型和shape与输入一致 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Acos

+

Acos

-## 功能 +### 功能 计算输入张量的反余弦值 -## 边界 +### 边界 【输入】 @@ -191,17 +192,17 @@ x：一个tensor，数据类型：float16、float32、double y：一个tensor，数据类型和shape与输入一致 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Acosh

+

Acosh

-## 功能 +### 功能 计算输入张量的反双曲余弦值 -## 边界 +### 边界 【输入】 @@ -215,17 +216,17 @@ x：一个tensor，数据类型：float16、float32、double y：一个tensor，数据类型和shape与输入一致 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v9/v10/v11/v12/v13 -

AdaptiveAvgPool2D

+

AdaptiveAvgPool2D

-## 功能 +### 功能 对输入进行2d自适应平均池化计算 -## 边界 +### 边界 【输入】 @@ -245,17 +246,17 @@ output\_size：int型数组，指定输出的hw的shape大小 y：一个tensor，数据类型：与x类型一致 -## 支持的ONNX版本 +### 支持的ONNX版本 自定义算子，无对应onnx版本 -

AdaptiveMaxPool2D

+

AdaptiveMaxPool2D

-## 功能 +### 功能 对输入进行2d自适应最大池化计算 -## 边界 +### 边界 【输入】 @@ -277,17 +278,17 @@ y：一个tensor，数据类型：与x类型一致 argmax：一个tensor，数据类型：int32，int64 -## 支持的ONNX版本 +### 支持的ONNX版本 自定义算子，无对应onnx版本 -

Add

+

Add

-## 功能 +### 功能 按元素求和 -## 边界 +### 边界 【输入】 @@ -301,17 +302,17 @@ B：一个张量，数据类型与A相同 C：一个张量，数据类型与A相同 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Addcmul

+

Addcmul

-## 功能 +### 功能 元素级计算\(x1 \* x2\) \* value + input\_data -## 边界 +### 边界 【输入】 @@ -331,17 +332,17 @@ value： 一个tensor，类型与input\_data相同 y：一个tensor，数据类型：y与输入相同 -## 支持的ONNX版本 +### 支持的ONNX版本 自定义算子，无对应onnx版本 -

AffineGrid

+

AffineGrid

-## 功能 +### 功能 给定一批矩阵，生成采样网格 -## 边界 +### 边界 【输入】 @@ -363,17 +364,17 @@ align\_corners：bool型 y：一个tensor，数据类型：int -## 支持的ONNX版本 +### 支持的ONNX版本 自定义算子，无对应onnx版本 -

And

+

And

-## 功能 +### 功能 逻辑与 -## 边界 +### 边界 【输入】 @@ -389,17 +390,17 @@ x2：一个tensor，数据类型：bool y：一个张量，和输入x同样的type和shape -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Argmax

+

Argmax

-## 功能 +### 功能 返回指定轴上最大值所对应的索引 -## 边界 +### 边界 【输入】 @@ -423,17 +424,17 @@ keep\_dim：可选，keep\_dim默认为1，支持1或0。 算子不支持atc工具参数--precision\_mode=must\_keep\_origin\_dtype时fp32类型输入 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Argmin

+

Argmin

-## 功能 +### 功能 返回输入张量指定轴上最小值对应的索引 -## 边界 +### 边界 【输入】 @@ -455,17 +456,17 @@ axis：数据类型为int，含义：指定计算轴；取值范围：\[-r, r-1\ 算子不支持atc工具参数--precision\_mode=must\_keep\_origin\_dtype时fp32类型输入 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

AscendRequantS16

+

AscendRequantS16

-## 功能 +### 功能 重新量化算子 -## 边界 +### 边界 【输入】 @@ -493,17 +494,17 @@ y0：一个tensor，数据类型：int8 y1：一个tensor，数据类型：int16 -## 支持的ONNX版本 +### 支持的ONNX版本 自定义算子，无对应onnx版本 -

AscendRequant

+

AscendRequant

-## 功能 +### 功能 重新量化算子 -## 边界 +### 边界 【输入】 @@ -525,17 +526,17 @@ relu\_flag，数据类型：bool y：一个tensor，数据类型：int8 -## 支持的ONNX版本 +### 支持的ONNX版本 自定义算子，无对应onnx版本 -

AscendQuant

+

AscendQuant

-## 功能 +### 功能 量化算子 -## 边界 +### 边界 【输入】 @@ -561,17 +562,17 @@ round\_mode，数据类型：string y：一个tensor，数据类型：int8 -## 支持的ONNX版本 +### 支持的ONNX版本 自定义算子，无对应onnx版本 -

AscendDequantS16

+

AscendDequantS16

-## 功能 +### 功能 反量化算子 -## 边界 +### 边界 【输入】 @@ -595,17 +596,17 @@ relu\_flag，数据类型：bool y：一个tensor，数据类型：int16 -## 支持的ONNX版本 +### 支持的ONNX版本 自定义算子，无对应onnx版本 -

AscendDequant

+

AscendDequant

-## 功能 +### 功能 反量化算子 -## 边界 +### 边界 【输入】 @@ -629,17 +630,17 @@ dtype，数据类型：float y：一个tensor，数据类型：float16，float -## 支持的ONNX版本 +### 支持的ONNX版本 自定义算子，无对应onnx版本 -

AscendAntiQuant

+

AscendAntiQuant

-## 功能 +### 功能 反量化算子 -## 边界 +### 边界 【输入】 @@ -663,17 +664,17 @@ round\_mode，string y：一个tensor，数据类型：float16，float -## 支持的ONNX版本 +### 支持的ONNX版本 自定义算子，无对应onnx版本 -

Asin

+

Asin

-## 功能 +### 功能 计算输入张量的反正弦 -## 边界 +### 边界 【输入】 @@ -687,17 +688,17 @@ x1：一个tensor，数据类型：float16、float32、double y：一个tensor，数据类型和shape与输入一致 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Asinh

+

Asinh

-## 功能 +### 功能 计算输入张量双曲反正弦 -## 边界 +### 边界 【输入】 @@ -709,17 +710,17 @@ x：一个tensor，数据类型：float16、float32、double y：一个tensor，数据类型和shape与输入一致 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v9/v10/v11/v12/v13 -

Atan

+

Atan

-## 功能 +### 功能 计算输入张量的反正切值 -## 边界 +### 边界 【输入】 @@ -733,17 +734,17 @@ x：一个tensor，数据类型：float16、float32、double y：一个tensor，数据类型和shape与输入一致 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Atanh

+

Atanh

-## 功能 +### 功能 计算输入张量的双曲反正切 -## 边界 +### 边界 【输入】 @@ -757,17 +758,17 @@ x：一个tensor，数据类型：float16、float32、double y：一个tensor，数据类型和shape与输入一致 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v9/v10/v11/v12/v13 -

AveragePool

+

AveragePool

-## 功能 +### 功能 平均池化层 -## 边界 +### 边界 【输入】 @@ -823,17 +824,17 @@ ceil\_mode参数仅在auto\_pad='NOTSET'时生效； auto\_pad属性值SAME\_UPPER, SAME\_LOWER统一使用的TBE的SAME属性，即TBE算子没有根据这个属性区分pad的填充位置，可能会带来精度问题 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

BatchNormalization

+

BatchNormalization

-## 功能 +### 功能 标准化张量 -## 边界 +### 边界 【输入】 @@ -869,17 +870,17 @@ epsilon：可选，数据类型：float32，指定一个小值与var相加，以 momentum：float32，该参数暂不支持 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

BatchMatMul

+

BatchMatMul

-## 功能 +### 功能 将两个输入执行矩阵乘 -## 边界 +### 边界 【输入】 @@ -903,17 +904,17 @@ adj\_x2：bool型 y：一个tensor，数据类型：float16，float，int32 -## 支持的ONNX版本 +### 支持的ONNX版本 自定义算子，无对应onnx版本 -

BatchMultiClassNMS

+

BatchMultiClassNMS

-## 功能 +### 功能 为输入boxes和输入score计算nms -## 边界 +### 边界 【输入】 @@ -955,17 +956,17 @@ nmsed\_classes：一个tensor，数据类型：float16 nmsed\_num：一个tensor，数据类型：float16 -## 支持的ONNX版本 +### 支持的ONNX版本 自定义算子，无对应onnx版本 -

BitShift

+

BitShift

-## 功能 +### 功能 元素级位移算子 -## 边界 +### 边界 【输入】 @@ -987,17 +988,17 @@ direction：数据类型：string，必选，指定位移方向，取值范围 当direction="LEFT"时不支持UINT16，UIN32，UINT64 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v11/v12/v13 -

Cast

+

Cast

-## 功能 +### 功能 将输入数据的type转换为指定的type -## 边界 +### 边界 【输入】 @@ -1013,17 +1014,17 @@ y：一个tensor，输出的数据类型为属性指定的类型，数据类型 to：数据类型：int，必选，指定目标数据类型，取值范围：在指定的数据类型范围内 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Ceil

+

Ceil

-## 功能 +### 功能 对输入张量向上取整 -## 边界 +### 边界 【输入】 @@ -1037,19 +1038,19 @@ x：一个tensor，数据类型：float16、float32、double y：一个tensor，数据类型和shape与输入一致 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Celu

+

Celu

-## 功能 +### 功能 连续可微的指数线性单位：对输入张量X按元素执行线性单位，使用公式： max\(0,x\) + min\(0,alpha\*\(exp\(x/alpha\)-1\)\) -## 边界 +### 边界 【输入】 @@ -1063,17 +1064,17 @@ Y：tensor\(float\) alpha：float，默认值：1.0 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v12/v13 -

Concat

+

Concat

-## 功能 +### 功能 对多个张量Concat -## 边界 +### 边界 【输入】 @@ -1087,17 +1088,17 @@ concat\_result：张量，与输入张量类型一致 axis：指定哪一个轴进行concat操作，负数表示从后往前对维度计数，取值范围为\[-r, r - 1\]，r=rank\(inputs\) -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Clip

+

Clip

-## 功能 +### 功能 将张量值剪辑到指定的最小值和最大值之间 -## 边界 +### 边界 【输入】 @@ -1115,17 +1116,17 @@ max：一个scalar Y：一个张量，剪辑后的输出，数据类型和shape与输入一致 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

ConvTranspose

+

ConvTranspose

-## 功能 +### 功能 转置卷积 -## 边界 +### 边界 【输入】 @@ -1173,17 +1174,17 @@ output\_shape支持限制：实现部分功能。现在支持output shape的大 属性auto\_pad不支持 "SAME\_UPPER"，"SAME\_LOWER" -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Cumsum

+

Cumsum

-## 功能 +### 功能 计算输入张量在给定axis上面的累加和 -## 边界 +### 边界 【输入】 @@ -1205,17 +1206,17 @@ exclusive：int，默认为0，含义：是否返回不包括顶层元素的和 reverse：int，默认为0，含义：是否反方向求和 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Conv

+

Conv

-## 功能 +### 功能 卷积 -## 边界 +### 边界 【输入】 @@ -1253,17 +1254,17 @@ strides：4个整数的列表，指定沿高度H和宽度W的卷积步长。H和 不支持atc工具--precision\_mode=must\_keep\_origin\_dtype参数时输入类型为fp32和fp64 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v9/v10/v11/v12/v13 -

Compress

+

Compress

-## 功能 +### 功能 按指定轴进行切片。 -## 边界 +### 边界 【输入】 @@ -1283,17 +1284,17 @@ output：tensor，类型：与输入一致 axis：可选，int类型，进行切片的轴，如果没有指定轴，在切片之前将输入tensor展平。取值范围是\[-r,r-1\]，r为输入tensor的维数。 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v9//v11/v12/v13 -

Constant

+

Constant

-## 功能 +### 功能 构建constant节点张量 -## 边界 +### 边界 【输入】 @@ -1313,17 +1314,17 @@ value：输出张量的值 sparse\_value：不支持 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

ConstantOfShape

+

ConstantOfShape

-## 功能 +### 功能 用给定的值和shape生成张量 -## 边界 +### 边界 【输入】 @@ -1341,17 +1342,17 @@ value：指定输出tensor的数据和类型 x：1<=len\(shape\)<=8 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v9/v10/v11/v12/v13 -

Cos

+

Cos

-## 功能 +### 功能 计算输入张量的余弦值 -## 边界 +### 边界 【输入】 @@ -1365,17 +1366,17 @@ x：一个tensor，数据类型：float16、float32、double y：一个tensor，数据类型和shape与输入一致 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Cosh

+

Cosh

-## 功能 +### 功能 计算输入张量的双曲余弦 -## 边界 +### 边界 【输入】 @@ -1389,17 +1390,17 @@ X1：一个tensor，数据类型：float16、float、double y：一个张量，数据类型和shape与输入一致 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

DeformableConv2D

+

DeformableConv2D

-## 功能 +### 功能 形变卷积 -## 边界 +### 边界 【输入】 @@ -1441,17 +1442,17 @@ modulated：bool，指定DeformableConv2D版本，true表示v2版本，false表 不支持atc工具--precision\_mode=must\_keep\_origin\_dtype参数时输入类型为fp32和fp64 -## 支持的ONNX版本 +### 支持的ONNX版本 自定义算子，无对应onnx版本 -

Det

+

Det

-## 功能 +### 功能 计算方形矩阵行列式 -## 边界 +### 边界 【输入】 @@ -1465,17 +1466,17 @@ x：tensor，数据类型：float16、float32 y：一个张量，和输入x同样的type和shape -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

DepthToSpace

+

DepthToSpace

-## 功能 +### 功能 将数据由深度重排到空间数据块 -## 边界 +### 边界 【输入】 @@ -1495,17 +1496,17 @@ blocksize：int，必选 指定被移动的块的大小 mode： string 指定是depth-column-row还是column-row-depth排列，默认DCR -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Div

+

Div

-## 功能 +### 功能 按元素进行除法运算 -## 边界 +### 边界 【输入】 @@ -1525,17 +1526,17 @@ y：一个tensor，数据类型和输入一致 输入、输出的type相同 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Dropout

+

Dropout

-## 功能 +### 功能 拷贝或者屏蔽输入数据 -## 边界 +### 边界 【输入】 @@ -1555,17 +1556,17 @@ output：一个张量 mask： 一个张量 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Elu

+

Elu

-## 功能 +### 功能 Elu激活函数 -## 边界 +### 边界 【输入】 @@ -1583,17 +1584,17 @@ y：一个张量，和输入x同样的type和shape alpha：float，默认为1.0，含义：系数 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

EmbeddingBag

+

EmbeddingBag

-## 功能 +### 功能 计算embedding函数的反向输出 -## 边界 +### 边界 【输入】 @@ -1625,17 +1626,17 @@ include\_last\_offset：bool型 y：一个tensor，数据类型：float32 -## 支持的ONNX版本 +### 支持的ONNX版本 自定义算子，无对应onnx版本 -

Equal

+

Equal

-## 功能 +### 功能 判断两个输入张量对应位置是否相等 -## 边界 +### 边界 【输入】 @@ -1655,17 +1656,17 @@ y：一个tensor ，数据类型：bool 输入X1、X2的数据类型和格式相同，支持如下数据类型：bool、uint8、int8、int16、int32、int64、float16、float32、double -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Erf

+

Erf

-## 功能 +### 功能 高斯误差函数 -## 边界 +### 边界 【输入】 @@ -1679,17 +1680,17 @@ x：一个tensor，数据类型：float16、float32 y：一个tensor，数据类型和格式与输入一致 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v9/v10/v11/v12/v13 -

Exp

+

Exp

-## 功能 +### 功能 计算输入张量的指数 -## 边界 +### 边界 【输入】 @@ -1703,17 +1704,17 @@ x：一个tensor，数据类型：float16、float32 y：一个tensor，数据类型和shape与输入一致 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Expand

+

Expand

-## 功能 +### 功能 将输入tensor广播到指定shape -## 边界 +### 边界 【输入】 @@ -1733,17 +1734,17 @@ y：一个张量，和输入x同样的type和shape 需要修改模型将输入shape由placeholder改为const类型，可以使用onnxsimplifier简化模型 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

EyeLike

+

EyeLike

-## 功能 +### 功能 生成一个2D矩阵，主对角线是1，其他为0 -## 边界 +### 边界 【输入】 @@ -1767,17 +1768,17 @@ k：int，默认是0，表示主对角线被广播成1的索引。如y是输出 仅支持k=0 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Flatten

+

Flatten

-## 功能 +### 功能 将张量展平 -## 边界 +### 边界 【输入】 @@ -1791,17 +1792,17 @@ input：多维张量，数据类型：int8、uint8、int16、uint16、int32、ui axis：int，该参数暂不支持负值索引 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Floor

+

Floor

-## 功能 +### 功能 对输入张量向下取整 -## 边界 +### 边界 【输入】 @@ -1815,17 +1816,17 @@ x：一个tensor，数据类型：float16、float32、double y：一个tensor，数据类型和shape与输入一致 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Gather

+

Gather

-## 功能 +### 功能 根据相应的轴从“x”中收集切片 -## 边界 +### 边界 【输入】 @@ -1849,17 +1850,17 @@ axis：数据类型：int，指定gather的轴，取值范围为\[-r, r-1\]（r 不支持indices为负值的索引 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

GatherND

+

GatherND

-## 功能 +### 功能 将输入数据切片输出 -## 边界 +### 边界 【输入】 @@ -1883,17 +1884,17 @@ batch\_dims：int，默认为0 批处理轴的数量 不支持atc工具参数--precision\_mode=must\_keep\_origin\_dtype时double的输入 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v11/v12/v13 -

GatherElements

+

GatherElements

-## 功能 +### 功能 获取索引位置的元素产生输出 -## 边界 +### 边界 【输入】 @@ -1913,17 +1914,17 @@ output：一个张量,与indices的shape相同 axis：int，默认为0 指定聚集的轴 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Gemm

+

Gemm

-## 功能 +### 功能 通用矩阵乘 -## 边界 +### 边界 【输入】 @@ -1951,17 +1952,17 @@ beta：float，该参数暂不支持 v8/v9/v10版本不支持atc工具参数--precision\_mode=must\_keep\_origin\_dtype时fp32类型输入 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

GlobalAveragePool

+

GlobalAveragePool

-## 功能 +### 功能 全局平均池化 -## 边界 +### 边界 【输入】 @@ -1971,17 +1972,17 @@ X：一个张量，数据类型：float16、float32，格式为NCHW Y：池化输出张量，数据类型与X相同，格式为NCHW -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

GlobalLpPool

+

GlobalLpPool

-## 功能 +### 功能 全局范数池化算子 -## 边界 +### 边界 【输入】 @@ -1997,17 +1998,17 @@ p：可选属性， int32，默认2 y：更新后的张量数据，数据类型和输入一致 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

GlobalMaxPool

+

GlobalMaxPool

-## 功能 +### 功能 全局最大池化算子 -## 边界 +### 边界 【输入】 @@ -2021,17 +2022,17 @@ x：前一个节点的输出tensor，类型：float16, float32, double output：池化后的张量 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Greater

+

Greater

-## 功能 +### 功能 按元素比较输入x1和x2的大小，若x1\>x2，对应位置返回true -## 边界 +### 边界 【输入】 @@ -2047,17 +2048,17 @@ x2：一个tensor，数据类型：float16、float32、int32、int8、uint8 y：一个tensor，数据类型：bool -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

GreaterOrEqual

+

GreaterOrEqual

-## 功能 +### 功能 按元素比较输入x1和x2的大小，若x1\>=x2，对应位置返回true -## 边界 +### 边界 【输入】 @@ -2073,17 +2074,17 @@ x2：一个tensor，数据类型：float16、float32、int32、int8、uint8等 y：一个tensor，数据类型：bool -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v12 -

HardSigmoid

+

HardSigmoid

-## 功能 +### 功能 HardSigmoid接受一个输入数据\(张量\)并生成一个输出数据\(张量\)，HardSigmoid函数y = max\(0, min\(1, alpha \* x + beta\)\)应用于张量元素方面。 -## 边界 +### 边界 【输入】 @@ -2103,17 +2104,17 @@ alpha：float，默认值：0.2 beta：float，默认值：0.2 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v1/v6/v8/v9/v10/v11/v12/v13 -

hardmax

+

hardmax

-## 功能 +### 功能 计算hardmax结果，如果元素是指定axis的最大元素则设为1，否则为0 -## 边界 +### 边界 【输入】 @@ -2135,17 +2136,17 @@ axis：int，默认为-1，含义：指定计算轴 使用atc工具--precision\_mode参数必须为allow\_fp32\_to\_fp16 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

HardSwish

+

HardSwish

-## 功能 +### 功能 HardSwish激活函数。y=x \* max\(0, min\(1, alpha \* x + beta \)\)，其中alpha=1/6，beat=0.5 -## 边界 +### 边界 【输入】 @@ -2159,17 +2160,17 @@ x：tensor，数据类型：float16、float32 y：tensor，数据类型：float16、float32 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v14 -

Identity

+

Identity

-## 功能 +### 功能 恒等操作 -## 边界 +### 边界 【输入】 @@ -2183,17 +2184,17 @@ x：tensor，数据类型：float16、float32 y：一个张量，和输入x同样的type和shape -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

If

+

If

-## 功能 +### 功能 逻辑控制判断算子 -## 边界 +### 边界 【输入】 @@ -2213,17 +2214,17 @@ then\_branch：条件为真的分支 y：tensor或者tensor序列 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

InstanceNormalization

+

InstanceNormalization

-## 功能 +### 功能 计算y = scale \* \(x - mean\) / sqrt\(variance + epsilon\) + B，其中mean 和 variance 是每个实例每个通道的均值和方法 -## 边界 +### 边界 【输入】 @@ -2245,17 +2246,17 @@ y：一个张量，和输入x同样的shape和dtype epsilon：float，默认是1e-05，避免除0 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Less

+

Less

-## 功能 +### 功能 按元素比较输入x1和x2的大小，若x1 +### 边界 【输入】 @@ -2271,17 +2272,17 @@ x2：一个tensor，数据类型：float16、float32、int32、int8、uint8 y：一个tensor，数据类型：bool -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

LeakyRelu

+

LeakyRelu

-## 功能 +### 功能 对输入张量用leakrelu函数激活 -## 边界 +### 边界 【输入】 @@ -2299,17 +2300,17 @@ y： 一个tensor，数据类型和shape与输入一致 alpha：数据类型为float，默认0.01，表示leakage系数 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

LessOrEqual

+

LessOrEqual

-## 功能 +### 功能 小于等于计算 -## 边界 +### 边界 【输入】 @@ -2325,17 +2326,17 @@ y：tensor，数据类型：float16、float32 y：一个张量，和输入x同样的shape,数据类型：bool -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v12/v13 -

Log

+

Log

-## 功能 +### 功能 计算输入的自然对数 -## 边界 +### 边界 【输入】 @@ -2349,17 +2350,17 @@ x：一个tensor，数据类型：float16、float32 y：一个tensor，数据类型与输入一致 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

LogSoftMax

+

LogSoftMax

-## 功能 +### 功能 对输入张量计算logsoftmax值 -## 边界 +### 边界 【输入】 @@ -2377,17 +2378,17 @@ y：一个tensor，数据类型和shape与输入一致 axis：数据类型为int；指定计算的轴，取值范围：\[-r, r-1\]，r为输入的秩 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

LpNormalization

+

LpNormalization

-## 功能 +### 功能 给定一个矩阵，沿给定的轴应用LpNormalization。 -## 边界 +### 边界 【输入】 @@ -2411,17 +2412,17 @@ p：int，默认值：2 auto\_pad属性值SAME\_UPPER, SAME\_LOWER统一使用的TBE的SAME属性，即TBE算子没有根据这个属性区分pad的填充位置，可能会带来精度问题 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v1/v8/v9/v10/v11/v12/v13 -

LpPool

+

LpPool

-## 功能 +### 功能 Lp范数池化。 -## 边界 +### 边界 【输入】 @@ -2451,17 +2452,17 @@ strides：int列表 auto\_pad属性值SAME\_UPPER, SAME\_LOWER统一使用的TBE的SAME属性，即TBE算子没有根据这个属性区分pad的填充位置，可能会带来精度问题 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v11/v12/v13 -

LRN

+

LRN

-## 功能 +### 功能 对输入张量做局部响应归一化 -## 边界 +### 边界 【输入】 @@ -2485,17 +2486,17 @@ bias：float size：int，求和的通道数，只支持奇数 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

LSTM

+

LSTM

-## 功能 +### 功能 计算单层LSTM。这个操作符通常通过一些自定义实现\(如CuDNN\)来支持。 -## 边界 +### 边界 【输入3-8】 @@ -2541,17 +2542,17 @@ input\_forget： int，默认值：0 layout： int，默认值：0 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

MatMul

+

MatMul

-## 功能 +### 功能 矩阵乘 -## 边界 +### 边界 【输入】 @@ -2571,17 +2572,17 @@ y：一个2D的tensor，数据类型：float16 仅支持1-6维输入 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Max

+

Max

-## 功能 +### 功能 元素级比较输入tensor的大小 -## 边界 +### 边界 【输入】 @@ -2595,17 +2596,17 @@ data\_0：tensor的列表，类型：float16、float32,int8,int16,int32等 max：一个张量，和输入x同样的type和shape（广播后的shape） -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

MaxPool

+

MaxPool

-## 功能 +### 功能 最大池化 -## 边界 +### 边界 【输入】 @@ -2658,17 +2659,17 @@ auto\_pad属性是VALID时，ceil\_mode属性值必须为0 pads属性和auto\_pad属性不可同时使用 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

MaxRoiPool

+

MaxRoiPool

-## 功能 +### 功能 ROI最大池消耗一个输入张量X和感兴趣区域\(ROI\)，以便在每个ROI上应用最大池，从而产生输出的4-D形状张量\(num\_roi, channels, pooled\_shape\[0\]， pooled\_shape\[1\]\)。 -## 边界 +### 边界 【输入】 @@ -2690,17 +2691,49 @@ spatial\_scale： float，默认值：1.0 不支持atc工具参数--precision\_mode=must\_keep\_origin\_dtype时fp32类型输入 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/13 -

Mean

+

MaxUnpool

-## 功能 +### 功能 + +MaxPool操作的逆。 + +### 边界 + +【输入】 + +X：一个张量，数据类型：float16、float32 + +I：一个张量，数据类型：int64 + +output\_shape: \(可选\)，设置输出的shape，数据类型：int64 + +【输出】 + +Y：一个张量，数据类型：和输入一致 + +【属性】 + +kernel\_shape：（必选），一个列表，数据类型：int类型，沿每个轴的内核大小 + +pads：一个列表，数据类型：int类型，沿每个轴pad + +strides：一个列表，数据类型：int类型，沿每个轴步长 + +### 支持的ONNX版本 + +Opset v9/v11/v12/v13 + +

Mean

+ +### 功能 每个输入张量的元素均值\(支持numpy风格的广播\)。所有输入和输出必须具有相同的数据类型。该操作符支持多向\(即numpy风格\)广播。 -## 边界 +### 边界 【输入1-∞】 @@ -2710,17 +2743,17 @@ data\_0：，类型：tensor\(float16\), tensor\(float\), tensor\(double\), tens mean：，类型：tensor\(float16\), tensor\(float\), tensor\(double\), tensor\(bfloat16\) -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

MeanVarianceNormalization

+

MeanVarianceNormalization

-## 功能 +### 功能 使用公式对输入张量X进行均值方差标准化：\(X-EX\)/sqrt\(E\(X-EX\)^2\) -## 边界 +### 边界 【输入】 @@ -2734,17 +2767,17 @@ Y：，类型：tensor\(float16\), tensor\(float\), tensor\(bfloat16\) axes： list of ints，默认值：\['0', '2', '3'\] -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v9/v10/v11/v12/v13 -

Min

+

Min

-## 功能 +### 功能 计算输入tensors的最小值 -## 边界 +### 边界 【输入】 @@ -2758,17 +2791,17 @@ x：tensor列表，数据类型：float16、float32 y：计算出最小值的tensor -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Mod

+

Mod

-## 功能 +### 功能 执行元素二进制模数\(支持numpy风格的广播\)。余数的符号与除数的符号相同。 -## 边界 +### 边界 【输入】 @@ -2788,17 +2821,17 @@ fmod：int，默认值：0 当输入类型为浮点时，fmod不支持为0 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v10/v11/v12/v13 -

Mul

+

Mul

-## 功能 +### 功能 矩阵点乘 -## 边界 +### 边界 【输入】 @@ -2810,17 +2843,17 @@ B：一个张量，数据类型：float16、float32、uint8、int8、int16、int C：一个张量，数据类型与输入张量一致 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Multinomial

+

Multinomial

-## 功能 +### 功能 返回Multinomial采样结果矩阵 -## 边界 +### 边界 【输入】 @@ -2842,17 +2875,17 @@ sample\_size：int，默认为1，含义：采样次数 seed：float，随机数种子 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Neg

+

Neg

-## 功能 +### 功能 求输入的负数 -## 边界 +### 边界 【输入】 @@ -2866,17 +2899,17 @@ x：一个tensor，数据类型：float16、float32、int32 y：一个tensor，数据类型与输入一致 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

NonMaxSuppression

+

NonMaxSuppression

-## 功能 +### 功能 过滤掉与先前选定的框有较高重叠的“交集-并集”\(IOU\)框。移除得分小于score\_threshold的边界框。边界框格式由属性center\_point\_box表示。注意，该算法不知道原点在坐标系中的位置，更普遍地说，它对坐标系的正交变换和平移是不变的;因此，平移或反射坐标系统的结果在相同的方框被算法选择。selected\_indices输出是一组整数，索引到表示所选框的边界框的输入集合中。然后，可以使用Gather或gathernd操作获得与所选索引对应的边框坐标。 -## 边界 +### 边界 【输入2-5】 @@ -2898,17 +2931,17 @@ selected\_indices： tensor\(int64\) center\_point\_box： int 默认值：0 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v10/v11/v12/v13 -

NonZero

+

NonZero

-## 功能 +### 功能 返回非零元素的索引（行主序） -## 边界 +### 边界 【输入】 @@ -2922,17 +2955,17 @@ x：一个tensor，数据类型：float16、float32、int32、int8、uint8等 y：一个tensor，数据类型：int64 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v9/v10/v11/v12/v13 -

Not

+

Not

-## 功能 +### 功能 逻辑非 -## 边界 +### 边界 【输入】 @@ -2946,17 +2979,17 @@ x：一个tensor，数据类型：bool y：一个tensor，数据类型：bool -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

OneHot

+

OneHot

-## 功能 +### 功能 根据输入生成独热编码张量 -## 边界 +### 边界 【输入】 @@ -2984,17 +3017,17 @@ y：一个tensor，数据类型与values输入的类型一致 算子属性不支持axis<-1 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v9/v10/v11/v12/v13 -

Or

+

Or

-## 功能 +### 功能 逻辑或 -## 边界 +### 边界 【输入】 @@ -3010,17 +3043,17 @@ X2：一个tensor，数据类型：bool y：一个tensor，数据类型：bool -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

RandomNormalLike

+

RandomNormalLike

-## 功能 +### 功能 根据正态分布生成随机数矩阵，输出tensor的shape与输入相同 -## 边界 +### 边界 【输入】 @@ -3044,17 +3077,17 @@ scale：float，默认是1.0，正态分布的标准差 seed：float，随机数种子 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

RandomUniformLike

+

RandomUniformLike

-## 功能 +### 功能 根据均匀分布生成随机数矩阵，输出tensor的shape与输入相同 -## 边界 +### 边界 【输入】 @@ -3078,17 +3111,17 @@ low：float，默认是0.0，均匀分布的下界 seed：float，随机数种子 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

RandomUniform

+

RandomUniform

-## 功能 +### 功能 生成具有从均匀分布绘制的随机值的张量 -## 边界 +### 边界 【属性】 @@ -3110,17 +3143,17 @@ shape：输出的形状 y：一个tensor，数据类型与dtype属性指定类型一致 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Range

+

Range

-## 功能 +### 功能 产生一个连续序列的tensor -## 边界 +### 边界 【输入】 @@ -3138,17 +3171,17 @@ delta：scalar，数据类型：float16、float32 y：一个张量，和输入x同样的type -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Reciprocal

+

Reciprocal

-## 功能 +### 功能 将输入张量取倒数 -## 边界 +### 边界 【输入】 @@ -3162,17 +3195,17 @@ x：一个tensor，数据类型：float16、float32、double y：一个tensor，数据类型和shape与输入一致 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

ReduceL1

+

ReduceL1

-## 功能 +### 功能 沿所提供的轴计算输入张量元素的L1范数。如果keepdim等于1，得到的张量的秩与输入的相同。如果keepdim等于0，那么得到的张量就会被精简维数。上述行为与numpy类似，只是numpy默认keepdim为False而不是True。 -## 边界 +### 边界 【输入】 @@ -3188,17 +3221,17 @@ axes： list of ints keepdims： int，默认值：1 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

ReduceL2

+

ReduceL2

-## 功能 +### 功能 沿所提供的轴计算输入张量元素的L2范数。如果keepdim等于1，得到的张量的秩与输入的相同。如果keepdim等于0，那么得到的张量就会被精简维数。上述行为与numpy类似，只是numpy默认keepdim为False而不是True。 -## 边界 +### 边界 【输入】 @@ -3214,17 +3247,17 @@ axes： list of ints keepdims： int，默认值：1 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

ReduceLogSum

+

ReduceLogSum

-## 功能 +### 功能 计算输入张量指定方向的对数和 -## 边界 +### 边界 【输入】 @@ -3244,17 +3277,17 @@ axes：数据类型为listInt；含义：指定计算轴；取值范围：\[-r, keepdims：数据类型为int；含义：是否保留缩减后的维度；默认为1 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v11/v13 -

ReduceLogSumExp

+

ReduceLogSumExp

-## 功能 +### 功能 计算输入张量指定方向的对数和的指数 -## 边界 +### 边界 【输入】 @@ -3274,17 +3307,17 @@ axes：一维tensor，数据类型int32、int64，含义：指定计算轴；取 keepdims：数据类型为int；含义：是否缩减维度；默认为1表示缩减维度 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

ReduceMin

+

ReduceMin

-## 功能 +### 功能 计算输入张量指定方向的最小值 -## 边界 +### 边界 【输入】 @@ -3304,17 +3337,17 @@ axes：数据类型为listInt；含义：指定计算轴；取值范围：\[-r, keepdims：数据类型为int；含义：是否保留缩减后的维度；默认为1 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

ReduceMean

+

ReduceMean

-## 功能 +### 功能 计算输入张量的指定维度的元素的均值 -## 边界 +### 边界 【输入】 @@ -3334,17 +3367,17 @@ axes：一个1D的整数列表，含义：指定精减的维度，取值范围 keepdims：数据类型为int，默认为1，含义：是否保留缩减后的维度 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

ReduceProd

+

ReduceProd

-## 功能 +### 功能 计算输入张量的元素沿所提供的轴的乘积。如果keepdim等于1，得到的张量的秩与输入的相同。如果keepdim等于0，那么得到的张量就会被精简维数。 -## 边界 +### 边界 【输入】 @@ -3360,17 +3393,17 @@ axes： list of ints keepdims： int，默认值：1 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

ReduceSumSquare

+

ReduceSumSquare

-## 功能 +### 功能 沿所提供的轴计算输入张量元素的平方和。如果keepdim等于1，得到的张量的秩与输入的相同。如果keepdim等于0，那么得到的张量就会被精简维数。上述行为与numpy类似，只是numpy默认keepdim为False而不是True。 -## 边界 +### 边界 【输入】 @@ -3386,17 +3419,17 @@ axes： list of ints keepdims： int，默认值：1 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v1/v8/v9/v10/v11/v12/v13 -

Resize

+

Resize

-## 功能 +### 功能 调整输入tensor大小 -## 边界 +### 边界 【输入】 @@ -3432,17 +3465,17 @@ nearest\_mode：str，默认为round\_prefer\_floor，含义：最近邻算子 目前仅支持nearest和linear插值方式来处理图片，并且需要修改模型将输入scales或sizes由placeholder改为const类型，可以使用onnxsimplifier简化模型 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v10/v11/v12 -

Relu

+

Relu

-## 功能 +### 功能 整流线性单位函数 -## 边界 +### 边界 【输入】 @@ -3452,17 +3485,17 @@ X：输入张量，数据类型：float32、int32、uint8、int16、int8、uint1 Y：输出张量，数据类型与X一致 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

ReduceSum

+

ReduceSum

-## 功能 +### 功能 计算输入张量指定维度的元素的和 -## 边界 +### 边界 【输入】 @@ -3482,17 +3515,17 @@ axes：一个1D的整数列表，含义：指定精减的维度，取值范围 keepdims：数据类型为int，默认为1，含义：是否保留缩减后的维度 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

ReduceMax

+

ReduceMax

-## 功能 +### 功能 计算输入张量指定方向的最大值 -## 边界 +### 边界 【输入】 @@ -3512,17 +3545,17 @@ axes：数据类型为listInt；含义：指定计算轴；取值范围：\[-r, keepdims：数据类型为int；含义：是否保留缩减后的维度；默认为1 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Reshape

+

Reshape

-## 功能 +### 功能 改变输入维度 -## 边界 +### 边界 【输入】 @@ -3536,17 +3569,17 @@ shape：一个张量，定义了输出张量的形状，int64 reshaped：一个张量 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

ReverseSequence

+

ReverseSequence

-## 功能 +### 功能 根据指定长度对batch序列进行排序 -## 边界 +### 边界 【输入】 @@ -3568,17 +3601,17 @@ batch\_axis：int，默认为1，含义：指定batch轴 time\_axis：int，默认为1，含义：指定time轴 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v10/v11/v12/v13 -

RoiExtractor

+

RoiExtractor

-## 功能 +### 功能 从特征映射列表中获取ROI特征矩阵 -## 边界 +### 边界 【输入】 @@ -3614,17 +3647,17 @@ aligned：bool型 y：一个tensor，数据类型：float32,float16 -## 支持的ONNX版本 +### 支持的ONNX版本 自定义算子，无对应onnx版本 -

RoiAlign

+

RoiAlign

-## 功能 +### 功能 在每个roi区域进行池化处理 -## 边界 +### 边界 【输入】 @@ -3660,17 +3693,17 @@ batch\_indices数据类型只能写int32不能写int64 不支持atc工具参数--precision\_mode=must\_keep\_origin\_dtype时fp32，fp64的输入 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v10/v11/v12/v13 -

Round

+

Round

-## 功能 +### 功能 对输入张量做四舍五入的运算 -## 边界 +### 边界 【输入】 @@ -3684,17 +3717,17 @@ x：一个tensor，数据类型：float16、float32、double y：一个tensor，数据类型和shape与输入一致 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

PRelu

+

PRelu

-## 功能 +### 功能 PRelu激活函数 -## 边界 +### 边界 【输入】 @@ -3714,17 +3747,17 @@ y：一个张量，和输入x同样的type和shape slope必须是1维，当输入x的shape是1维时，slope的维度值必须为1；输入x的shape是其他维度时，slope的维度值可以为1或者为输入x的shape\[1\] -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Scatter

+

Scatter

-## 功能 +### 功能 根据updates和indices来更新data的值，并把结果返回。 -## 边界 +### 边界 【输入】 @@ -3746,17 +3779,17 @@ y：一个张量，和输入x同样的shape和dtype axis：int，默认是0，表示沿axis取数据 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v9/v10 -

ScatterElements

+

ScatterElements

-## 功能 +### 功能 根据updates和indices来更新data的值，并把结果返回。 -## 边界 +### 边界 【输入】 @@ -3778,17 +3811,17 @@ y：一个张量，和输入x同样的shape和dtype axis：int，默认是0，表示沿axis取数据 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v11/v12/v13 -

ScatterND

+

ScatterND

-## 功能 +### 功能 创建data的拷贝，同时在指定indices处根据updates更新 -## 边界 +### 边界 【输入】 @@ -3806,17 +3839,17 @@ updates：tensor，rank = q + r - indices\_shape\[-1\] - 1，数据类型：floa y：一个张量，和输入x同样的type和shape -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v11 -

Shrink

+

Shrink

-## 功能 +### 功能 单输入单输出计算，If x < -lambd, y = x + bias; If x \> lambd, y = x - bias; Otherwise, y = 0. -## 边界 +### 边界 【输入】 @@ -3836,17 +3869,17 @@ bias：float，默认是0.0 lambda：float，默认是0.5 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v9/v10/v11/ v12/v13 -

Selu

+

Selu

-## 功能 +### 功能 在元素级别使用指数线性单位函数y = gamma \* \(alpha \* e^x - alpha\) for x <= 0, y = gamma \* x for x \> 0 生成张量 -## 边界 +### 边界 【输入】 @@ -3866,17 +3899,17 @@ gamma：乘数因子 y：与输入类型相同的tensor -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Shape

+

Shape

-## 功能 +### 功能 获取输入tensor的shape -## 边界 +### 边界 【输入】 @@ -3888,17 +3921,17 @@ x：一个tensor y：输入tensor的shape，数据类型为int64的tensor -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Sigmoid

+

Sigmoid

-## 功能 +### 功能 对输入做sigmoid -## 边界 +### 边界 【输入】 @@ -3912,17 +3945,17 @@ x：数据类型支持float16、float32 y：数据类型和输入x一致 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Slice

+

Slice

-## 功能 +### 功能 获取输入tensor的切片 -## 边界 +### 边界 【输入】 @@ -3946,17 +3979,17 @@ y：切片后的张量数据，数据类型和输入一致 x：输入tensor维度不能为1 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Softmax

+

Softmax

-## 功能 +### 功能 对输入进行softmax -## 边界 +### 边界 【输入】 @@ -3974,17 +4007,17 @@ y：一个tensor，类型和shape与输入x一致 axis：Int，可选，表示进行softmax的方向，默认值为-1，范围为\[ -len\(x.shape\), len\(x.shape\)-1\] -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Softsign

+

Softsign

-## 功能 +### 功能 计算输入张量的softsign\(x/\(1+|x|\)\) -## 边界 +### 边界 【输入】 @@ -3998,17 +4031,17 @@ x：一个tensor，数据类型：float16、float32、double y：一个tensor，数据类型和shape与输入一致 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Softplus

+

Softplus

-## 功能 +### 功能 计算softplus -## 边界 +### 边界 【输入】 @@ -4028,17 +4061,17 @@ Y：1D的张量 输入、输出的数据类型一致 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

SpaceToDepth

+

SpaceToDepth

-## 功能 +### 功能 SpaceToDepth将空间数据块重新排列成深度。更具体地说，这个op输出一个输入张量的副本，其中高度和宽度维度的值移动到深度维度。 -## 边界 +### 边界 【输入】 @@ -4052,17 +4085,17 @@ output：tensor\(uint8\), tensor\(uint16\), tensor\(uint32\), tensor\(uint64\), blocksize： int -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Split

+

Split

-## 功能 +### 功能 将输入切分成多个输出 -## 边界 +### 边界 【输入】 @@ -4090,17 +4123,17 @@ split的所有元素之和必须等于axis指定的切分方向的size axis在\[ -len\(x.shape\), len\(x.shape\)-1\] 之间 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Sqrt

+

Sqrt

-## 功能 +### 功能 计算元素的平方根 -## 边界 +### 边界 【输入】 @@ -4120,17 +4153,17 @@ y：一个tensor 如果x小于0，返回Nan -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Squeeze

+

Squeeze

-## 功能 +### 功能 从输入中去除尺寸为1的维度 -## 边界 +### 边界 【输入】 @@ -4146,17 +4179,17 @@ y：一个tensor，数据类型和输入一致 axes：一个数据类型为int32或者int64的整形列表，维度为1；取值范围为\[-r, r-1\]（r表示输入张量的秩，负数表示从后面计算维度）；含义：指定要去除的维度 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Sub

+

Sub

-## 功能 +### 功能 进行张量的减法运算 -## 边界 +### 边界 【输入】 @@ -4176,17 +4209,17 @@ y：一个张量，数据类型和输入一致 输入、输出的shape和dtype相同，支持的数据类型：int32、float16、float32 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Sign

+

Sign

-## 功能 +### 功能 逐元素计算输入tensor的符号 -## 边界 +### 边界 【输入】 @@ -4200,17 +4233,17 @@ x：tensor，数据类型：float16、float32 y：一个张量，和输入x同样的type和shape -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Sin

+

Sin

-## 功能 +### 功能 计算输入张量的正弦值 -## 边界 +### 边界 【输入】 @@ -4224,17 +4257,17 @@ x：一个tensor，数据类型：float16、float32、double y：一个tensor，数据类型和shape与输入一致 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Sinh

+

Sinh

-## 功能 +### 功能 计算输入张量双曲正弦值 -## 边界 +### 边界 【输入】 @@ -4248,17 +4281,17 @@ x：一个tensor，数据类型：float16、float32、double y：一个tensor，数据类型和shape与输入一致 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Size

+

Size

-## 功能 +### 功能 计算输入tensor的元素个数 -## 边界 +### 边界 【输入】 @@ -4272,17 +4305,17 @@ x：tensor，数据类型：float16、float32 y：一个int64的scalar -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Sum

+

Sum

-## 功能 +### 功能 求和 -## 边界 +### 边界 【输入】 @@ -4296,17 +4329,17 @@ x：tensor序列，数据类型：float16、float32 y：一个张量，和输入x同样的type和shape -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Tanh

+

Tanh

-## 功能 +### 功能 计算输入的双曲正切值 -## 边界 +### 边界 【输入】 @@ -4320,17 +4353,17 @@ x：一个tensor，数据类型：float16、float32 y：一个tensor，数据类型与输入一致 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

TfIdfVectorizer

+

TfIdfVectorizer

-## 功能 +### 功能 将输入文本序列向量化 -## 边界 +### 边界 【输入】 @@ -4364,17 +4397,17 @@ pool\_strings：string列表，与pool\_int64s含义一样。 weights：float列表，存储每个n-gram的池化权重数值 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v9/v10/v11/ v12/v13 -

Tile

+

Tile

-## 功能 +### 功能 将输入张量沿指定维度重复 -## 边界 +### 边界 【输入】 @@ -4390,17 +4423,17 @@ repeats：一个1D的int64的tensor，size和输入的维度数一样 y：输出的tensor，type和维度与输入一致，output\_dim\[i\] = input\_dim\[i\] \* repeats\[i\] -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

ThresholdedRelu

+

ThresholdedRelu

-## 功能 +### 功能 当x \> alpha时y = x，否则y=0 -## 边界 +### 边界 【输入】 @@ -4418,17 +4451,17 @@ y：一个张量，和输入x同样的type和shape alpha：float，默认为1.0，含义：阈值 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v10/v11/v12/v13 -

TopK

+

TopK

-## 功能 +### 功能 返回指定轴的k个最大或最小值 -## 边界 +### 边界 【输入】 @@ -4454,17 +4487,17 @@ largest：int，默认为1，含义：返回k个最大/最小值 sorted：int，默认为1，含义：是否升序 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Transpose

+

Transpose

-## 功能 +### 功能 转置 -## 边界 +### 边界 【输入】 @@ -4478,17 +4511,17 @@ transposed：转置之后的张量 perm：必选，整数列表， 张量data的维度排列 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Pad

+

Pad

-## 功能 +### 功能 对输入tensor做填充 -## 边界 +### 边界 【输入】 @@ -4508,17 +4541,17 @@ y：数据类型和输入x一致 当mode值为constant时，目前仅支持constant\_value=0 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Pow

+

Pow

-## 功能 +### 功能 计算输入x1的x2次幂 -## 边界 +### 边界 【输入】 @@ -4534,17 +4567,17 @@ x2：一个tensor，数据类型和输入x1一致 y：数据类型和输入x1一致 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Unsqueeze

+

Unsqueeze

-## 功能 +### 功能 在输入张量（数据）的形状中插入一维项 -## 边界 +### 边界 【输入】 @@ -4562,17 +4595,17 @@ y：一个tensor，数据类型和输入x一致 axes：ListInt，表示在指定的维度进行插1维项，取值范围为\[-input\_rank, input\_rank\]，input\_rank为输入张量的秩，axes的内容不可以重复 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/10/v11/v12 -

Xor

+

Xor

-## 功能 +### 功能 输入张量元素的xor逻辑运算 -## 边界 +### 边界 【输入】 @@ -4586,17 +4619,17 @@ b：一个tensor，数据类型bool c：一个tensor，数据类型bool -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13 -

Where

+

Where

-## 功能 +### 功能 根据条件从两个输入中选择元素 -## 边界 +### 边界 【输入】 @@ -4612,7 +4645,7 @@ y：一个tensor，条件为false时从y中选取元素，和x的数据类型一 一个tensor，数据类型和输入x一致 -## 支持的ONNX版本 +### 支持的ONNX版本 Opset v8/v9/v10/v11/v12/v13