From 721ee6a47e26499b00cbc467815ec5b9680ec3d7 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BD=AD=E4=B8=9A=E5=BA=86?= Date: Thu, 28 Oct 2021 03:28:40 +0000 Subject: [PATCH 1/2] =?UTF-8?q?update=20Ascend-PyTorch=E7=A6=BB=E7=BA=BF?= =?UTF-8?q?=E6=8E=A8=E7=90=86=E6=8C=87=E5=AF=BC/PyTorch=E7=A6=BB=E7=BA=BF?= =?UTF-8?q?=E6=8E=A8=E7=90=86-=E7=A6=BB=E7=BA=BF=E6=8E=A8=E7=90=86?= =?UTF-8?q?=E6=8C=87=E5=AF=BC.md.?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...\272\277\346\216\250\347\220\206\346\214\207\345\257\274.md" | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git "a/Ascend-PyTorch\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274/PyTorch\347\246\273\347\272\277\346\216\250\347\220\206-\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274.md" "b/Ascend-PyTorch\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274/PyTorch\347\246\273\347\272\277\346\216\250\347\220\206-\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274.md" index 68341b7..e6bcd81 100644 --- "a/Ascend-PyTorch\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274/PyTorch\347\246\273\347\272\277\346\216\250\347\220\206-\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274.md" +++ "b/Ascend-PyTorch\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274/PyTorch\347\246\273\347\272\277\346\216\250\347\220\206-\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274.md" @@ -36,7 +36,7 @@ - Ascend PyTorch模型离线推理流程 -首先在github上找到开源PyTorch框架实现的引用多包含预训练的模型代码仓，参考开源模型加载预训练模型的代码加载开源pth权重文件在cpu上导出onnx模型文件，优先使用910训练好的pth权重文件，如果使用910权重需要把训练适配的影响精度的代码移植到开源模型代码。 + - 首先在github上找到开源PyTorch框架实现的引用多包含预训练的模型代码仓，参考开源模型加载预训练模型的代码加载开源pth权重文件在cpu上导出onnx模型文件，优先使用910训练好的pth权重文件，如果使用910权重需要把训练适配的影响精度的代码移植到开源模型代码。 然后在装有310卡与CANN软件的服务器环境使用Ascend atc模型转换工具将onnx模型转换为om模型文件。 参考开源模型代码数据测试集预处理方法进行预处理。 在310服务器上使用Ascend benchmark工具执行om模型的离线推理。 -- Gitee From 7f68d550857266be7365ec004ee444b0ece9ba64 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BD=AD=E4=B8=9A=E5=BA=86?= Date: Thu, 28 Oct 2021 03:30:00 +0000 Subject: [PATCH 2/2] =?UTF-8?q?update=20Ascend-PyTorch=E7=A6=BB=E7=BA=BF?= =?UTF-8?q?=E6=8E=A8=E7=90=86=E6=8C=87=E5=AF=BC/PyTorch=E7=A6=BB=E7=BA=BF?= =?UTF-8?q?=E6=8E=A8=E7=90=86-=E7=A6=BB=E7=BA=BF=E6=8E=A8=E7=90=86?= =?UTF-8?q?=E6=8C=87=E5=AF=BC.md.?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...6\216\250\347\220\206\346\214\207\345\257\274.md" | 12 ++++++------ 1 file changed, 6 insertions(+), 6 deletions(-) diff --git "a/Ascend-PyTorch\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274/PyTorch\347\246\273\347\272\277\346\216\250\347\220\206-\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274.md" "b/Ascend-PyTorch\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274/PyTorch\347\246\273\347\272\277\346\216\250\347\220\206-\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274.md" index e6bcd81..47b209b 100644 --- "a/Ascend-PyTorch\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274/PyTorch\347\246\273\347\272\277\346\216\250\347\220\206-\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274.md" +++ "b/Ascend-PyTorch\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274/PyTorch\347\246\273\347\272\277\346\216\250\347\220\206-\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274.md" @@ -31,17 +31,17 @@ - Ascend PyTorch模型离线推理迁移 -基于开源PyTorch框架的开源模型代码加载npu 910训练的pth权重，在npu 310上进行离线推理，要求精度与pth权重精度一致，性能超越gpu t4 + 基于开源PyTorch框架的开源模型代码加载npu 910训练的pth权重，在npu 310上进行离线推理，要求精度与pth权重精度一致，性能超越gpu t4 ![](https://gitee.com/wangjiangben_hw/ascend-pytorch-crowdintelligence-doc/raw/master/Ascend-PyTorch%E7%A6%BB%E7%BA%BF%E6%8E%A8%E7%90%86%E6%8C%87%E5%AF%BC/images/Ascend_PyTorch_offlineinfer_migrate.png) - Ascend PyTorch模型离线推理流程 - 首先在github上找到开源PyTorch框架实现的引用多包含预训练的模型代码仓，参考开源模型加载预训练模型的代码加载开源pth权重文件在cpu上导出onnx模型文件，优先使用910训练好的pth权重文件，如果使用910权重需要把训练适配的影响精度的代码移植到开源模型代码。 -然后在装有310卡与CANN软件的服务器环境使用Ascend atc模型转换工具将onnx模型转换为om模型文件。 -参考开源模型代码数据测试集预处理方法进行预处理。 -在310服务器上使用Ascend benchmark工具执行om模型的离线推理。 -参考开源模型代码数据后处理部分对om模型输出进行后处理，统计出精度。 -最后Ascend benchmark工具也会测试出om模型推理性能，对性能不达标的om模型，使用Ascend profiling工具分析并进行调优。 + - 然后在装有310卡与CANN软件的服务器环境使用Ascend atc模型转换工具将onnx模型转换为om模型文件。 + - 参考开源模型代码数据测试集预处理方法进行预处理。 + - 在310服务器上使用Ascend benchmark工具执行om模型的离线推理。 + - 参考开源模型代码数据后处理部分对om模型输出进行后处理，统计出精度。 + - 最后Ascend benchmark工具也会测试出om模型推理性能，对性能不达标的om模型，使用Ascend profiling工具分析并进行调优。 ![](https://gitee.com/wangjiangben_hw/ascend-pytorch-crowdintelligence-doc/raw/master/Ascend-PyTorch%E7%A6%BB%E7%BA%BF%E6%8E%A8%E7%90%86%E6%8C%87%E5%AF%BC/images/Ascend_PyTorch_offlineinfer_process.png) -- Gitee