From 008b4954d34c66a3b6ff9f4aa26327d2b682e4d1 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BD=AD=E4=B8=9A=E5=BA=86?= Date: Wed, 28 Jul 2021 15:22:37 +0000 Subject: [PATCH 1/3] =?UTF-8?q?update=20Ascend-PyTorch=E7=A6=BB=E7=BA=BF?= =?UTF-8?q?=E6=8E=A8=E7=90=86=E6=8C=87=E5=AF=BC/PyTorch=E7=A6=BB=E7=BA=BF?= =?UTF-8?q?=E6=8E=A8=E7=90=86-=E9=AA=8C=E6=94=B6=E6=8C=87=E5=8D=97.md.?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...214\346\224\266\346\214\207\345\215\227.md" | 18 +++++++++--------- 1 file changed, 9 insertions(+), 9 deletions(-) diff --git "a/Ascend-PyTorch\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274/PyTorch\347\246\273\347\272\277\346\216\250\347\220\206-\351\252\214\346\224\266\346\214\207\345\215\227.md" "b/Ascend-PyTorch\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274/PyTorch\347\246\273\347\272\277\346\216\250\347\220\206-\351\252\214\346\224\266\346\214\207\345\215\227.md" index e2b2f00..f60ef92 100644 --- "a/Ascend-PyTorch\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274/PyTorch\347\246\273\347\272\277\346\216\250\347\220\206-\351\252\214\346\224\266\346\214\207\345\215\227.md" +++ "b/Ascend-PyTorch\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274/PyTorch\347\246\273\347\272\277\346\216\250\347\220\206-\351\252\214\346\224\266\346\214\207\345\215\227.md" @@ -41,14 +41,14 @@ ```shell # 第X次验收测试 # 验收结果 OK / Failed - # 验收环境: A + K / CANN 5.0.1 + # 验收环境: A + K / CANN 5.0.2 # 关联issue: - + # pth是否能正确转换为om bash test/pth2om.sh # 验收结果： OK / Failed # 备注： 成功生成om，无运行报错，报错日志xx 等 - + # 精度数据是否达标（需要显示官网pth精度与om模型的精度） # npu性能数据(确保device空闲时测试，如果模型支持多batch，测试bs1与bs16，否则只测试bs1，性能数据以单卡吞吐率为标准) bash test/eval_acc_perf.sh --datasets_path=/root/datasets @@ -56,14 +56,14 @@ # 备注： 目标pth精度top1:77.62% top5:93.70%；bs1,bs16验收om精度top1:77.62% top5:93.69%；精度下降不超过1%；无运行报错，报错日志xx 等 # 备注： 验收310测试性能bs1:1497.252FPS bs16:2096.376FPS；无运行报错，报错日志xx 等 - # 在t4环境测试性能数据(确保gpu空闲时测试，如果模型支持多batch，测试bs1与bs16，否则只测试bs1，如果导出的onnx模型因含自定义算子等不能离线推理，则在t4上测试pytorch模型的在线推理性能，性能数据以单卡吞吐率为标准)，该步是验证eval_acc_perf.sh显示的t4性能数据是否正确，该脚本中填写的性能数据与t4实测性能数据要接近 - bash test/perf_t4.sh + # 在基准环境测试性能数据(确保卡空闲时测试，如果模型支持多batch，测试bs1与bs16，否则只测试bs1，如果导出的onnx模型因含自定义算子等不能离线推理，则在基准环境测试pytorch模型的在线推理性能，性能数据以单卡吞吐率为标准) + bash perf_g.sh # 验收结果： OK / Failed - # 备注： 验收t4测试性能bs1:763.044FPS bs16:1234.940FPS，与eval_acc_perf.sh脚本显示的t4性能数据一致；无运行报错，报错日志xx 等 + # 备注： 验收基准测试性能bs1:763.044FPS bs16:1234.940FPS；无运行报错，报错日志xx 等 - # 310性能是否超过t4： 是 / 否 - bs1:310=(1497.252/763.044)1.96倍t4 - bs16:310=(2096.376/1234.940)1.70倍t4 + # 310性能是否超过基准： 是 / 否 + bs1:310=(1497.252/763.044)1.96倍基准 + bs16:310=(2096.376/1234.940)1.70倍基准 ``` - 示例链接 https://gitee.com/ascend/modelzoo/pulls/2934 5. 验收完成后，需要进行以下几步 -- Gitee From 3993c6c3776f2a16c98234d9d14e6a3ff65b0b51 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BD=AD=E4=B8=9A=E5=BA=86?= Date: Wed, 28 Jul 2021 15:24:18 +0000 Subject: [PATCH 2/3] =?UTF-8?q?update=20Ascend-PyTorch=E7=A6=BB=E7=BA=BF?= =?UTF-8?q?=E6=8E=A8=E7=90=86=E6=8C=87=E5=AF=BC/PyTorch=E7=A6=BB=E7=BA=BF?= =?UTF-8?q?=E6=8E=A8=E7=90=86-=E9=AA=8C=E6=94=B6=E6=8C=87=E5=8D=97.md.?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...6-\351\252\214\346\224\266\346\214\207\345\215\227.md" | 8 ++++---- 1 file changed, 4 insertions(+), 4 deletions(-) diff --git "a/Ascend-PyTorch\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274/PyTorch\347\246\273\347\272\277\346\216\250\347\220\206-\351\252\214\346\224\266\346\214\207\345\215\227.md" "b/Ascend-PyTorch\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274/PyTorch\347\246\273\347\272\277\346\216\250\347\220\206-\351\252\214\346\224\266\346\214\207\345\215\227.md" index f60ef92..aba9053 100644 --- "a/Ascend-PyTorch\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274/PyTorch\347\246\273\347\272\277\346\216\250\347\220\206-\351\252\214\346\224\266\346\214\207\345\215\227.md" +++ "b/Ascend-PyTorch\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274/PyTorch\347\246\273\347\272\277\346\216\250\347\220\206-\351\252\214\346\224\266\346\214\207\345\215\227.md" @@ -43,24 +43,24 @@ # 验收结果 OK / Failed # 验收环境: A + K / CANN 5.0.2 # 关联issue: - + # pth是否能正确转换为om bash test/pth2om.sh # 验收结果： OK / Failed # 备注： 成功生成om，无运行报错，报错日志xx 等 - + # 精度数据是否达标（需要显示官网pth精度与om模型的精度） # npu性能数据(确保device空闲时测试，如果模型支持多batch，测试bs1与bs16，否则只测试bs1，性能数据以单卡吞吐率为标准) bash test/eval_acc_perf.sh --datasets_path=/root/datasets # 验收结果： 是 / 否 # 备注： 目标pth精度top1:77.62% top5:93.70%；bs1,bs16验收om精度top1:77.62% top5:93.69%；精度下降不超过1%；无运行报错，报错日志xx 等 # 备注： 验收310测试性能bs1:1497.252FPS bs16:2096.376FPS；无运行报错，报错日志xx 等 - + # 在基准环境测试性能数据(确保卡空闲时测试，如果模型支持多batch，测试bs1与bs16，否则只测试bs1，如果导出的onnx模型因含自定义算子等不能离线推理，则在基准环境测试pytorch模型的在线推理性能，性能数据以单卡吞吐率为标准) bash perf_g.sh # 验收结果： OK / Failed # 备注： 验收基准测试性能bs1:763.044FPS bs16:1234.940FPS；无运行报错，报错日志xx 等 - + # 310性能是否超过基准： 是 / 否 bs1:310=(1497.252/763.044)1.96倍基准 bs16:310=(2096.376/1234.940)1.70倍基准 -- Gitee From 4b852831edf8141a529361b8b0a7ed3e6e78cf78 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BD=AD=E4=B8=9A=E5=BA=86?= Date: Wed, 28 Jul 2021 15:26:18 +0000 Subject: [PATCH 3/3] =?UTF-8?q?update=20Ascend-PyTorch=E7=A6=BB=E7=BA=BF?= =?UTF-8?q?=E6=8E=A8=E7=90=86=E6=8C=87=E5=AF=BC/PyTorch=E7=A6=BB=E7=BA=BF?= =?UTF-8?q?=E6=8E=A8=E7=90=86-=E9=AA=8C=E6=94=B6=E6=8C=87=E5=8D=97.md.?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...0\206-\351\252\214\346\224\266\346\214\207\345\215\227.md" | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git "a/Ascend-PyTorch\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274/PyTorch\347\246\273\347\272\277\346\216\250\347\220\206-\351\252\214\346\224\266\346\214\207\345\215\227.md" "b/Ascend-PyTorch\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274/PyTorch\347\246\273\347\272\277\346\216\250\347\220\206-\351\252\214\346\224\266\346\214\207\345\215\227.md" index aba9053..e6603b1 100644 --- "a/Ascend-PyTorch\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274/PyTorch\347\246\273\347\272\277\346\216\250\347\220\206-\351\252\214\346\224\266\346\214\207\345\215\227.md" +++ "b/Ascend-PyTorch\347\246\273\347\272\277\346\216\250\347\220\206\346\214\207\345\257\274/PyTorch\347\246\273\347\272\277\346\216\250\347\220\206-\351\252\214\346\224\266\346\214\207\345\215\227.md" @@ -29,9 +29,9 @@ # 精度数据是否达标（需要显示官网pth精度与om模型的精度） # npu性能数据(确保device空闲时测试，如果模型支持多batch，测试bs1与bs16，否则只测试bs1，性能数据以单卡吞吐率为标准)，不指定数据集目录时默认/root/datasets bash test/eval_acc_perf.sh --datasets_path=/root/datasets - + # 在t4环境测试性能数据(确保gpu空闲时测试，如果模型支持多batch，测试bs1与bs16，否则只测试bs1，如果导出的onnx模型因含自定义算子等不能离线推理，则在t4上测试pytorch模型的在线推理性能，性能数据以单卡吞吐率为标准) - bash test/perf_t4.sh + bash perf_g.sh ``` - 验收过程中遇到问题，如是一些路径或者打字错误的问题，先修复继续执行 -- Gitee