From 8eb3424def686783a8a7d38e07a9d9bd595c8388 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BD=AD=E4=B8=9A=E5=BA=86?= Date: Thu, 29 Jul 2021 03:42:18 +0000 Subject: [PATCH 1/5] =?UTF-8?q?update=20Ascend-PyTorch=E7=A6=BB=E7=BA=BF?= =?UTF-8?q?=E6=8E=A8=E7=90=86=E6=8C=87=E5=AF=BC/PyTorch=E7=A6=BB=E7=BA=BF?= =?UTF-8?q?=E6=8E=A8=E7=90=86-=E7=A6=BB=E7=BA=BF=E6=8E=A8=E7=90=86?= =?UTF-8?q?=E6=8C=87=E5=AF=BC.md.?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...16\250\347\220\206\346\214\207\345\257\274.md" | 15 +-------------- 1 file changed, 1 insertion(+), 14 deletions(-) diff --git "a/Ascend-PyTorch\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274/PyTorch\347\246\273\347\272\277\346\216\250\347\220\206-\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274.md" "b/Ascend-PyTorch\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274/PyTorch\347\246\273\347\272\277\346\216\250\347\220\206-\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274.md" index 6a9e296..c4bcbd4 100644 --- "a/Ascend-PyTorch\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274/PyTorch\347\246\273\347\272\277\346\216\250\347\220\206-\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274.md" +++ "b/Ascend-PyTorch\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274/PyTorch\347\246\273\347\272\277\346\216\250\347\220\206-\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274.md" @@ -16,10 +16,6 @@ - [2.4 性能优化指导](#24-性能优化指导) - [3 推理案例](#3-推理案例) - [3.1 推理案例](#31-推理案例) - - [3.2 Inception-V4端到端推理要点](#32-Inception-V4端到端推理要点) - - [3.3 UNet端到端推理要点](#33-UNet端到端推理要点) - - [3.4 SSD端到端推理要点](#34-SSD端到端推理要点) - - [3.5 maskrcnn端到端推理指导](#35-maskrcnn端到端推理指导) - [4 附录](#4-附录) - [4.1 机器申请与使用指南](#41-机器申请与使用指南) - [4.2 交付标准与交付件](#42-交付标准与交付件) @@ -723,16 +719,7 @@ profiling也会统计每个算子耗时，结合使用netron查看onnx模型结 ### 3.1 推理案例 -当前已完成端到端推理模型放在[ModelZoo](https://ascend.huawei.com/zh/#/software/modelzoo)，包含模型端到端推理说明，代码与操作完整流程，下面的实例仅给出用于说明问题的代码片段，该页面过滤条件框中搜索atc可以看到这些模型 - -一些典型模型的链接如下 -1. [ResNeXt-50](https://ascend.huawei.com/zh/#/software/modelzoo/detail/1/2ca8ac26aeac461c85e7b04f17aa201a) -2. [Inception-V3](https://ascend.huawei.com/zh/#/software/modelzoo/detail/1/132f32e409b44aac8951f58ca073b780) -3. [Inception-V4](https://ascend.huawei.com/zh/#/software/modelzoo/detail/1/75eb32c2a2d94c4db743983504f83a06) -4. [EfficientNet-b0](https://ascend.huawei.com/zh/#/software/modelzoo/detail/1/75026a6edf604ec0bc5d16d220328646) -5. [YoloV3](https://ascend.huawei.com/zh/#/software/modelzoo/detail/1/36ea401e0d844f549da2693c6289ad89) -... -[案例](https://gitee.com/wangjiangben_hw/ascend-pytorch-crowdintelligence-doc/blob/master/Ascend-PyTorch%E7%A6%BB%E7%BA%BF%E6%8E%A8%E7%90%86%E6%8C%87%E5%AF%BC/PyTorch%E7%A6%BB%E7%BA%BF%E6%8E%A8%E7%90%86-%E6%A1%88%E4%BE%8B.md) +[模型案例](https://gitee.com/wangjiangben_hw/ascend-pytorch-crowdintelligence-doc/blob/master/Ascend-PyTorch%E7%A6%BB%E7%BA%BF%E6%8E%A8%E7%90%86%E6%8C%87%E5%AF%BC/PyTorch%E7%A6%BB%E7%BA%BF%E6%8E%A8%E7%90%86-%E6%A8%A1%E5%9E%8B%E6%A1%88%E4%BE%8B.md) ## 4 附录 -- Gitee From b541c5e6d161b94a584bc234c5e25f7727e1a66f Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BD=AD=E4=B8=9A=E5=BA=86?= Date: Thu, 29 Jul 2021 05:57:24 +0000 Subject: [PATCH 2/5] =?UTF-8?q?update=20Ascend-PyTorch=E7=A6=BB=E7=BA=BF?= =?UTF-8?q?=E6=8E=A8=E7=90=86=E6=8C=87=E5=AF=BC/PyTorch=E7=A6=BB=E7=BA=BF?= =?UTF-8?q?=E6=8E=A8=E7=90=86-=E7=A6=BB=E7=BA=BF=E6=8E=A8=E7=90=86?= =?UTF-8?q?=E6=8C=87=E5=AF=BC.md.?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...50\347\220\206\346\214\207\345\257\274.md" | 33 +++++-------------- 1 file changed, 8 insertions(+), 25 deletions(-) diff --git "a/Ascend-PyTorch\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274/PyTorch\347\246\273\347\272\277\346\216\250\347\220\206-\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274.md" "b/Ascend-PyTorch\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274/PyTorch\347\246\273\347\272\277\346\216\250\347\220\206-\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274.md" index c4bcbd4..da454bb 100644 --- "a/Ascend-PyTorch\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274/PyTorch\347\246\273\347\272\277\346\216\250\347\220\206-\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274.md" +++ "b/Ascend-PyTorch\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274/PyTorch\347\246\273\347\272\277\346\216\250\347\220\206-\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274.md" @@ -1,8 +1,7 @@ # Ascend PyTorch 模型众智文档-离线推理 - [1 概述](#1-概述) - - [1.1 目标读者](#11-目标读者) - - [1.2 原理与方案](#12-原理与方案) - - [1.3 环境搭建](#13-环境搭建) + - [1.1 原理与方案](#11-原理与方案) + - [1.2 环境搭建](#12-环境搭建) - [2 推理指导](#2-推理指导) - [2.1 推理流程](#21-推理流程) - [2.1.1 导出onnx文件](#211-导出onnx文件) @@ -14,10 +13,8 @@ - [2.2 模型转换指导](#22-模型转换指导) - [2.3 精度调试指导](#23-精度调试指导) - [2.4 性能优化指导](#24-性能优化指导) -- [3 推理案例](#3-推理案例) - - [3.1 推理案例](#31-推理案例) -- [4 附录](#4-附录) - - [4.1 机器申请与使用指南](#41-机器申请与使用指南) +- [3 附录](#4-附录) + - [4.1 推理案例](#41-推理案例) - [4.2 交付标准与交付件](#42-交付标准与交付件) - [4.3 深度学习指导](#43-深度学习指导) @@ -26,26 +23,12 @@ ## 1 概述 -- **[目标读者](#11-目标读者)** +- **[原理与方案](#11-原理与方案)** -- **[原理与方案](#12-原理与方案)** +- **[环境搭建](#12-环境搭建)** -- **[环境搭建](#13-环境搭建)** -### 1.1 目标读者 - -本文目标读者为Ascend模型端到端推理开发者，用于指导开发者在onnx框架下，实现模型端到端推理精度性能达标。 - ->![](https://gitee.com/wangjiangben_hw/ascend-pytorch-crowdintelligence-doc/raw/master/public_sys-resources/icon-note.gif) ->**说明：** -> ->开发者除编程语言知识外，应对如下基础知识有一定的了解和熟悉： ->1. 深度学习方法（cv, nlp等）； ->2. PyTorch写法及其运行原理； ->3. onnx模型细节； ->2. CANN运作流程； - -### 1.2 原理与方案 +### 1.1 原理与方案 - 精度性能要求 Ascend PyTorch模型离线推理目标是pytorch模型在npu Ascend 310卡上离线推理的精度与gpu T4卡上推理精度一致，推理性能超过T4。 @@ -58,7 +41,7 @@ ![](https://gitee.com/wangjiangben_hw/ascend-pytorch-crowdintelligence-doc/raw/master/figures/pyotrch_offline_infer.png) -### 1.3 环境搭建 +### 1.2 环境搭建 **Ascend相关文档与软件发布在华为云[support地址](https://support.huawei.com/enterprise/zh/category/ascend-computing-pid-1557196528909)CANN和A300-3010** -- Gitee From c9d21c8d726a3c2bb823428ea9c240249b9abe69 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BD=AD=E4=B8=9A=E5=BA=86?= Date: Thu, 29 Jul 2021 05:58:11 +0000 Subject: [PATCH 3/5] =?UTF-8?q?update=20Ascend-PyTorch=E7=A6=BB=E7=BA=BF?= =?UTF-8?q?=E6=8E=A8=E7=90=86=E6=8C=87=E5=AF=BC/PyTorch=E7=A6=BB=E7=BA=BF?= =?UTF-8?q?=E6=8E=A8=E7=90=86-=E7=A6=BB=E7=BA=BF=E6=8E=A8=E7=90=86?= =?UTF-8?q?=E6=8C=87=E5=AF=BC.md.?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...\272\277\346\216\250\347\220\206\346\214\207\345\257\274.md" | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git "a/Ascend-PyTorch\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274/PyTorch\347\246\273\347\272\277\346\216\250\347\220\206-\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274.md" "b/Ascend-PyTorch\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274/PyTorch\347\246\273\347\272\277\346\216\250\347\220\206-\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274.md" index da454bb..3969598 100644 --- "a/Ascend-PyTorch\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274/PyTorch\347\246\273\347\272\277\346\216\250\347\220\206-\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274.md" +++ "b/Ascend-PyTorch\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274/PyTorch\347\246\273\347\272\277\346\216\250\347\220\206-\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274.md" @@ -1,4 +1,4 @@ -# Ascend PyTorch 模型众智文档-离线推理 +# Ascend PyTorch模型离线推理指导 - [1 概述](#1-概述) - [1.1 原理与方案](#11-原理与方案) - [1.2 环境搭建](#12-环境搭建) -- Gitee From 0ca6d823558a06d261486c9f2b00a7c38c15fcfa Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BD=AD=E4=B8=9A=E5=BA=86?= Date: Thu, 29 Jul 2021 06:04:03 +0000 Subject: [PATCH 4/5] =?UTF-8?q?update=20Ascend-PyTorch=E7=A6=BB=E7=BA=BF?= =?UTF-8?q?=E6=8E=A8=E7=90=86=E6=8C=87=E5=AF=BC/PyTorch=E7=A6=BB=E7=BA=BF?= =?UTF-8?q?=E6=8E=A8=E7=90=86-=E7=A6=BB=E7=BA=BF=E6=8E=A8=E7=90=86?= =?UTF-8?q?=E6=8C=87=E5=AF=BC.md.?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...50\347\220\206\346\214\207\345\257\274.md" | 29 ++++++++----------- 1 file changed, 12 insertions(+), 17 deletions(-) diff --git "a/Ascend-PyTorch\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274/PyTorch\347\246\273\347\272\277\346\216\250\347\220\206-\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274.md" "b/Ascend-PyTorch\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274/PyTorch\347\246\273\347\272\277\346\216\250\347\220\206-\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274.md" index 3969598..f1cddaa 100644 --- "a/Ascend-PyTorch\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274/PyTorch\347\246\273\347\272\277\346\216\250\347\220\206-\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274.md" +++ "b/Ascend-PyTorch\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274/PyTorch\347\246\273\347\272\277\346\216\250\347\220\206-\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274.md" @@ -14,9 +14,9 @@ - [2.3 精度调试指导](#23-精度调试指导) - [2.4 性能优化指导](#24-性能优化指导) - [3 附录](#4-附录) - - [4.1 推理案例](#41-推理案例) - - [4.2 交付标准与交付件](#42-交付标准与交付件) - - [4.3 深度学习指导](#43-深度学习指导) + - [3.1 推理案例](#31-推理案例) + - [3.2 交付标准与交付件](#32-交付标准与交付件) + - [3.3 深度学习指导](#33-深度学习指导) @@ -93,6 +93,8 @@ opencv-python == 4.2.0.34 > > 以上为多数网络需要安装的软件与推荐的版本，根据实际情况安装。如果python脚本运行过程中import 模块失败，安装相应模块即可，如果报错是缺少动态库，网上搜索报错信息找到相应安装包，执行yum install 包名安装即可 +[机器申请与使用指南](https://gitee.com/wangjiangben_hw/ascend-pytorch-crowdintelligence-doc/blob/master/Ascend-PyTorch%E7%A6%BB%E7%BA%BF%E6%8E%A8%E7%90%86%E6%8C%87%E5%AF%BC/PyTorch%E7%A6%BB%E7%BA%BF%E6%8E%A8%E7%90%86-%E6%9C%BA%E5%99%A8%E7%94%B3%E8%AF%B7%E4%B8%8E%E4%BD%BF%E7%94%A8%E6%8C%87%E5%8D%97.md) + ## 2 推理指导 - **[推理流程](#21-推理流程)** @@ -698,26 +700,19 @@ inception_v3_bs16 Flatten AI Core 1 20.415 20.415 20 profiling也会统计每个算子耗时，结合使用netron查看onnx模型结构图，可以看出pad和pad前后的transdata耗时很长，经过分析pad的功能可以由其后的averagepool中的pad属性完成，可以节约大量时间，于是进行padV3D和pooling算子的graph融合。从op_summary_0_1.csv中看出单个TransData算子aicore的耗时已经很短了，本模型TransData算子没有优化空间。 -## 3 实例总结 +## 3 附录 -### 3.1 推理案例 +- **[模型案例](#31-模型案例)** +- **[交付标准与交付件](#32-交付标准与交付件)** +- **[深度学习指导](#33-深度学习指导)** +### 3.1 模型案例 [模型案例](https://gitee.com/wangjiangben_hw/ascend-pytorch-crowdintelligence-doc/blob/master/Ascend-PyTorch%E7%A6%BB%E7%BA%BF%E6%8E%A8%E7%90%86%E6%8C%87%E5%AF%BC/PyTorch%E7%A6%BB%E7%BA%BF%E6%8E%A8%E7%90%86-%E6%A8%A1%E5%9E%8B%E6%A1%88%E4%BE%8B.md) - -## 4 附录 - -- **[机器申请与使用指南](#41-机器申请与使用指南)** -- **[交付标准与交付件](#42-交付标准与交付件)** -- **[深度学习指导](#43-深度学习指导)** - - -### 4.1 机器申请与使用指南 -[机器申请与使用指南](https://gitee.com/wangjiangben_hw/ascend-pytorch-crowdintelligence-doc/blob/master/Ascend-PyTorch%E7%A6%BB%E7%BA%BF%E6%8E%A8%E7%90%86%E6%8C%87%E5%AF%BC/PyTorch%E7%A6%BB%E7%BA%BF%E6%8E%A8%E7%90%86-%E6%9C%BA%E5%99%A8%E7%94%B3%E8%AF%B7%E4%B8%8E%E4%BD%BF%E7%94%A8%E6%8C%87%E5%8D%97.md) -### 4.2 交付标准与交付件 +### 3.2 交付标准与交付件 [交付标准与交付件](https://gitee.com/wangjiangben_hw/ascend-pytorch-crowdintelligence-doc/blob/master/Ascend-PyTorch%E7%A6%BB%E7%BA%BF%E6%8E%A8%E7%90%86%E6%8C%87%E5%AF%BC/PyTorch%E7%A6%BB%E7%BA%BF%E6%8E%A8%E7%90%86-%E4%BA%A4%E4%BB%98%E6%A0%87%E5%87%86%E4%B8%8E%E4%BA%A4%E4%BB%98%E4%BB%B6.md) -### 4.3 深度学习指导 +### 3.3 深度学习指导 - 书籍推荐 ``` 1.现代设计理论与方法-约束条件下的最优化问题与梯度下降 -- Gitee From 44bb1587ac96163ca9e8ff8d37a7e910cc9321c9 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BD=AD=E4=B8=9A=E5=BA=86?= Date: Thu, 29 Jul 2021 06:05:58 +0000 Subject: [PATCH 5/5] =?UTF-8?q?update=20Ascend-PyTorch=E7=A6=BB=E7=BA=BF?= =?UTF-8?q?=E6=8E=A8=E7=90=86=E6=8C=87=E5=AF=BC/PyTorch=E7=A6=BB=E7=BA=BF?= =?UTF-8?q?=E6=8E=A8=E7=90=86-=E7=A6=BB=E7=BA=BF=E6=8E=A8=E7=90=86?= =?UTF-8?q?=E6=8C=87=E5=AF=BC.md.?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...346\216\250\347\220\206\346\214\207\345\257\274.md" | 10 +++++----- 1 file changed, 5 insertions(+), 5 deletions(-) diff --git "a/Ascend-PyTorch\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274/PyTorch\347\246\273\347\272\277\346\216\250\347\220\206-\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274.md" "b/Ascend-PyTorch\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274/PyTorch\347\246\273\347\272\277\346\216\250\347\220\206-\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274.md" index f1cddaa..1ab0325 100644 --- "a/Ascend-PyTorch\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274/PyTorch\347\246\273\347\272\277\346\216\250\347\220\206-\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274.md" +++ "b/Ascend-PyTorch\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274/PyTorch\347\246\273\347\272\277\346\216\250\347\220\206-\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274.md" @@ -14,8 +14,8 @@ - [2.3 精度调试指导](#23-精度调试指导) - [2.4 性能优化指导](#24-性能优化指导) - [3 附录](#4-附录) - - [3.1 推理案例](#31-推理案例) - - [3.2 交付标准与交付件](#32-交付标准与交付件) + - [3.1 模型案例](#31-模型案例) + - [3.2 交付标准与交付件规范](#32-交付标准与交付件规范) - [3.3 深度学习指导](#33-深度学习指导) @@ -703,14 +703,14 @@ profiling也会统计每个算子耗时，结合使用netron查看onnx模型结 ## 3 附录 - **[模型案例](#31-模型案例)** -- **[交付标准与交付件](#32-交付标准与交付件)** +- **[交付标准与交付件规范](#32-交付标准与交付件规范)** - **[深度学习指导](#33-深度学习指导)** ### 3.1 模型案例 [模型案例](https://gitee.com/wangjiangben_hw/ascend-pytorch-crowdintelligence-doc/blob/master/Ascend-PyTorch%E7%A6%BB%E7%BA%BF%E6%8E%A8%E7%90%86%E6%8C%87%E5%AF%BC/PyTorch%E7%A6%BB%E7%BA%BF%E6%8E%A8%E7%90%86-%E6%A8%A1%E5%9E%8B%E6%A1%88%E4%BE%8B.md) -### 3.2 交付标准与交付件 -[交付标准与交付件](https://gitee.com/wangjiangben_hw/ascend-pytorch-crowdintelligence-doc/blob/master/Ascend-PyTorch%E7%A6%BB%E7%BA%BF%E6%8E%A8%E7%90%86%E6%8C%87%E5%AF%BC/PyTorch%E7%A6%BB%E7%BA%BF%E6%8E%A8%E7%90%86-%E4%BA%A4%E4%BB%98%E6%A0%87%E5%87%86%E4%B8%8E%E4%BA%A4%E4%BB%98%E4%BB%B6.md) +### 3.2 交付标准与交付件规范 +[交付标准与交付件规范](https://gitee.com/wangjiangben_hw/ascend-pytorch-crowdintelligence-doc/blob/master/Ascend-PyTorch%E7%A6%BB%E7%BA%BF%E6%8E%A8%E7%90%86%E6%8C%87%E5%AF%BC/PyTorch%E7%A6%BB%E7%BA%BF%E6%8E%A8%E7%90%86-%E4%BA%A4%E4%BB%98%E6%A0%87%E5%87%86%E4%B8%8E%E4%BA%A4%E4%BB%98%E4%BB%B6.md) ### 3.3 深度学习指导 - 书籍推荐 -- Gitee