From 786492939fdfbda2435785c5693cc0d8278c747e Mon Sep 17 00:00:00 2001 From: pengzirong Date: Tue, 18 Jan 2022 17:33:47 +0800 Subject: [PATCH 1/2] update --- .../PyTorch Installation Guide.md | 2 +- .../PyTorch Online Inference Guide.md | 2 +- docs/en/RELEASENOTE/RELEASENOTE.md | 4 +- ...55\347\273\203\346\214\207\345\215\227.md" | 6 +- docs/zh/RELEASENOTE/RELEASENOTE.md | 134 +++++++++++++++++- 5 files changed, 140 insertions(+), 8 deletions(-) diff --git a/docs/en/PyTorch Installation Guide/PyTorch Installation Guide.md b/docs/en/PyTorch Installation Guide/PyTorch Installation Guide.md index 76ad3aa312..333f7c8924 100644 --- a/docs/en/PyTorch Installation Guide/PyTorch Installation Guide.md +++ b/docs/en/PyTorch Installation Guide/PyTorch Installation Guide.md @@ -94,7 +94,7 @@ When setting up the environment for PyTorch model development and running, you c │ ├── access_control_test.py │ ├── src # Source code directory │ └── test # Directory for storing test cases - └── scripts # Build and creation directory + └── scripts # Build and create a directory. ``` 2. Obtain the native PyTorch source code from the root directory **/pytorch** of the current repository. diff --git a/docs/en/PyTorch Online Inference Guide/PyTorch Online Inference Guide.md b/docs/en/PyTorch Online Inference Guide/PyTorch Online Inference Guide.md index c9ac2cbb05..a3d28aff59 100644 --- a/docs/en/PyTorch Online Inference Guide/PyTorch Online Inference Guide.md +++ b/docs/en/PyTorch Online Inference Guide/PyTorch Online Inference Guide.md @@ -594,6 +594,6 @@ Perform the following steps as the **root** user. **$\{install\_path\}** indicates the GCC 7.3.0 installation path configured in [3.](#en-us_topic_0000001146754749_en-us_topic_0000001072593337_l75d31a2874534a2092e80a5f865b46f0). In this example, the GCC 7.3.0 installation path is **/usr/local/linux\_gcc7.3.0/**. >![](public_sys-resources/icon-note.gif) **NOTE:** - >Skip this step if you do not need the compilation environment with GCC upgraded. + >Skip this step if you do not the compilation environment with GCC upgraded. diff --git a/docs/en/RELEASENOTE/RELEASENOTE.md b/docs/en/RELEASENOTE/RELEASENOTE.md index c0b201181e..2b00b4a773 100644 --- a/docs/en/RELEASENOTE/RELEASENOTE.md +++ b/docs/en/RELEASENOTE/RELEASENOTE.md @@ -283,7 +283,7 @@ This framework is modified based on the open-source PyTorch 1.5.0 primarily deve

New Features

-**Table 1** Features supported by PyTorch +**Table 1** Features supported by PyTorch - diff --git "a/docs/zh/PyTorch\347\275\221\347\273\234\346\250\241\345\236\213\347\247\273\346\244\215&\350\256\255\347\273\203\346\214\207\345\215\227/PyTorch\347\275\221\347\273\234\346\250\241\345\236\213\347\247\273\346\244\215&\350\256\255\347\273\203\346\214\207\345\215\227.md" "b/docs/zh/PyTorch\347\275\221\347\273\234\346\250\241\345\236\213\347\247\273\346\244\215&\350\256\255\347\273\203\346\214\207\345\215\227/PyTorch\347\275\221\347\273\234\346\250\241\345\236\213\347\247\273\346\244\215&\350\256\255\347\273\203\346\214\207\345\215\227.md" index 176c1f806a..2dc38f8093 100644 --- "a/docs/zh/PyTorch\347\275\221\347\273\234\346\250\241\345\236\213\347\247\273\346\244\215&\350\256\255\347\273\203\346\214\207\345\215\227/PyTorch\347\275\221\347\273\234\346\250\241\345\236\213\347\247\273\346\244\215&\350\256\255\347\273\203\346\214\207\345\215\227.md" +++ "b/docs/zh/PyTorch\347\275\221\347\273\234\346\250\241\345\236\213\347\247\273\346\244\215&\350\256\255\347\273\203\346\214\207\345\215\227/PyTorch\347\275\221\347\273\234\346\250\241\345\236\213\347\247\273\346\244\215&\350\256\255\347\273\203\346\214\207\345\215\227.md" @@ -2106,7 +2106,7 @@ with torch.npu.profile(profiler_result_path="./result",use_e2e_profiler=Ture): E2E prof工具默认配置获取上述所有层面数据。获取数据过程亦会影响性能，若获取数据过多，会导致性能数据不具备参考价值。因此，E2E prof工具提供了可配置选项，用于精细化控制获取部分层面数据。 ``` -with torch.npu.profile(profiler_result_path="./results", use_e2e_profiler=True，config=torch.npu. profileConfig(ACL_PROF_ACL_API=True, ACL_PROF_TASK_TIME=True, ACL_PROF_AICORE_METRICS=True,ACL_PROF_AICPU=True, ACL_PROF_L2CACHE=True, ACL_PROF_HCCL_TRACE=True, ACL_PROF_TRAINING_TRACE=True, aiCoreMetricsType=0)): +with torch.npu.profile(profiler_result_path="./results", use_e2e_profiler=True，config=torch.npu. profileConfig(ACL_PROF_ACL_API=True, ACL_PROF_TASK_TIME=True, ACL_PROF_AICORE_METRICS=True,ACL_PROF_AICPU=True, ACL_PROF_L2CACHE=False, ACL_PROF_HCCL_TRACE=True, ACL_PROF_TRAINING_TRACE=True, aiCoreMetricsType=0)): ``` - ACL_PROF_ACL_API：表示采集AscendCL接口的性能数据，默认True @@ -2120,7 +2120,7 @@ with torch.npu.profile(profiler_result_path="./results", use_e2e_profiler=True - ACL_PROF_AICPU：0x0008，集AI CPU任务的开始、结束轨迹数据，默认为True -- · ACL_PROF_L2CACHE：表示采集L2 Cache数据，默认True +- · ACL_PROF_L2CACHE：表示采集L2 Cache数据，该数据会导致prof结果膨胀，默认False - ACL_PROF_HCCL_TRACE：表示采集HCCL数据，默认为True @@ -2364,7 +2364,7 @@ with torch.npu.profile(profiler_result_path="./results", use_e2e_profiler=True 约束说明： - 本功能只提供IR级别的算子溢出检测，且只支持AICORE，不支持Atomic。 -- 使用单算子溢出检测功能时，请不要同时开启apex的动态loss scale模式和使用tensor融合功能。 +- 使用单算子溢出检测功能时，请不要同时开启apex的动态loss scale模式和使用tensor融合功能，使用单P对模型进行训练，不使用分布式。 采集溢出算子数据： diff --git a/docs/zh/RELEASENOTE/RELEASENOTE.md b/docs/zh/RELEASENOTE/RELEASENOTE.md index 70e83fcf45..7538040903 100644 --- a/docs/zh/RELEASENOTE/RELEASENOTE.md +++ b/docs/zh/RELEASENOTE/RELEASENOTE.md @@ -1,4 +1,11 @@ -# FrameworkPTAdapter 2.0.3 版本说明书 +# FrameworkPTAdapter 2.0.4 版本说明书 +- [FrameworkPTAdapter 2.0.4](#FrameworkPTAdapter-2-0-3md) + - [用户须知](#用户须知md) + - [新增特性](#新增特性md) + - [特性修改](#特性修改md) + - [已修复问题](#已修复问题md) + - [已知问题](#已知问题md) + - [兼容性](#兼容性md) - [FrameworkPTAdapter 2.0.3](#FrameworkPTAdapter-2-0-3md) - [用户须知](#用户须知md) - [新增特性](#新增特性md) @@ -13,6 +20,131 @@ - [已修复问题](#已修复问题-3md) - [已知问题](#已知问题-4md) - [兼容性](#兼容性-5md) +- - ](#兼容性-5md) + +

FrameworkPTAdapter 2.0.4

+ + +

用户须知

+ +本框架基于Facebook主导的开源PyTorch1.5.0和1.8.1版本进行修改，延续原生的PyTorch特性，使用NPU进行动态图训练；以算子粒度进行模型适配，代码重用性好，支持现有的网络只修改设备类型或数据类型，即可迁移到NPU上使用。 + +PyTorch1.8.1版本延续PyTorch1.5.0特性，功能基本保持一致，对后端算子适配提供较好开发体验。当期1.8.1版本仅支持Resent50网络模型。 + +

新增特性

+ +**表 1** PyTorch支持的版本特性列表 + + + +

Level-1 Feature

@@ -348,7 +348,7 @@ This framework is modified based on the open-source PyTorch 1.5.0 primarily deve

Supported the online inference on Ascend 710 AI Processors.

OS Compatibility

+

OS compatibility

Supported Ubuntu 18.04.5 and openEuler 20.03 LTS.

+ + + + + + + + + + + + + + + + + + + + + + + + + + + + +

一级特性

+

二级特性

+

说明

+

适配NPU的PyTorch1.5.0特性

+

精度对比工具完善

+

支持IR与对应TBE算子映射，支持在GPU侧加载NPU侧dump数据对比。

+

支持E2E prof工具

+

将PyTorch原生profiling工具和cann prof工具获取到的性能数据统一集成，实现端到端的模型和算子性能分析。

+

框架基础功能

+

新增适配算子开发（详见算子清单）。

+

适配NPU的PyTorch1.8.1特性

+

支持AMP

+

支持PyTorch原生自动混合精度。

+

支持Profiling

+

支持PyTorch原生Profiling功能。

+

OS兼容性

+

OS兼容性

+

新增支持Ubuntu20.04 x86+arm，Euler 2.10 arm系统。

+

Python版本兼容性

+

支持python3.9环境编译及使用（仅PyTorch1.8.1）。

+
+ + + +

特性修改

+ +不涉及 + +

已修复问题

+ +不涉及 + +

已知问题

+ + + + + + + + + + + + + + + + + + + + + + + + +

已知问题

+

问题描述

+

数据类型支持

+

NPU不支持float16类型的inf/nan数据输入输出。

+

数据Format

+

出现4D以上的format时不能降维。

+

集合通信约束

+

+

要求一次训练任务中不同device上执行的图相同。

+

当前只支持1/2/4/8P粒度的分配。

+

只支持int8，int32，float16和float32数据类型。

+

Apex功能支持

+

Apex当前版本的实现方式主要为python实现，不支持APEX中的自定义优化CUDA Kernel。

+
+ + +

兼容性

+ +A800-9010：CentOS 7.6/Ubuntu 18.04, 2.04/BC-Linux 7.6/Debian 9.9/Debian 10/OpenEuler 20.03 LTS + +A800-9000：CentOS 7.6/Ubuntu 18.04, 2.04/Euler 2.8, 2.10/Kylin v10/BC-Linux 7.6/OpenEuler 20.03 LTS/UOS 20 1020e +

FrameworkPTAdapter 2.0.3

-- Gitee From 58467c11f4fa93379602ecbbd2fd7ed5a07b97fa Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BD=AD=E5=AD=90=E8=8D=A3?= Date: Wed, 19 Jan 2022 02:13:14 +0000 Subject: [PATCH 2/2] update docs/zh/RELEASENOTE/RELEASENOTE.md. --- docs/zh/RELEASENOTE/RELEASENOTE.md | 1 - 1 file changed, 1 deletion(-) diff --git a/docs/zh/RELEASENOTE/RELEASENOTE.md b/docs/zh/RELEASENOTE/RELEASENOTE.md index 7538040903..b0a4360996 100644 --- a/docs/zh/RELEASENOTE/RELEASENOTE.md +++ b/docs/zh/RELEASENOTE/RELEASENOTE.md @@ -20,7 +20,6 @@ - [已修复问题](#已修复问题-3md) - [已知问题](#已知问题-4md) - [兼容性](#兼容性-5md) -- - ](#兼容性-5md)

FrameworkPTAdapter 2.0.4

-- Gitee