From 01edc4a5d12f09b8e90b600196306fe596c786ef Mon Sep 17 00:00:00 2001 From: user_10012209 <734267852@qq.com> Date: Wed, 13 Sep 2023 09:16:03 +0800 Subject: [PATCH 1/3] =?UTF-8?q?[att\debug\accuracy=5Ftools\api=5Faccuracy?= =?UTF-8?q?=5Fchecker]=E9=A2=84=E6=A3=80=E5=B7=A5=E5=85=B7=E6=96=B0?= =?UTF-8?q?=E5=A2=9E=E8=BF=AD=E4=BB=A3=E8=AF=86=E5=88=AB=E5=8A=9F=E8=83=BD?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../accuracy_tools/api_accuracy_checker/README.md | 14 +++++++++----- 1 file changed, 9 insertions(+), 5 deletions(-) diff --git a/debug/accuracy_tools/api_accuracy_checker/README.md b/debug/accuracy_tools/api_accuracy_checker/README.md index c6c6d41703..e6f8fa79b8 100644 --- a/debug/accuracy_tools/api_accuracy_checker/README.md +++ b/debug/accuracy_tools/api_accuracy_checker/README.md @@ -47,18 +47,22 @@ Ascend模型精度预检工具能在昇腾NPU上扫描用户训练模型中所 forward_info与stack_info中的key值一一对应，用户可根据forward_info中API的key在stack_info中查询到其调用栈及代码行位置。 - 有需要的话，用户可以通过msCheckerConfig.update_config来配置dump路径以及启用真实数据模式，在训练脚本中加入如下示例代码： + 若有需要，用户可以通过msCheckerConfig.update_config来配置dump路径以及开启真实数据模式，在训练脚本中加入如下示例代码： ```Python from api_accuracy_checker.dump import msCheckerConfig - msCheckerConfig.update_config(dump_path="my/dump/path", real_data=True) + msCheckerConfig.update_config(dump_path="my/dump/path", real_data=True, enable_dataloader=True, target_iter=1) ``` - 开启真实数据模式后，dump信息增加forward_real_data和backward_real_data目录，目录下保存每个API输入的具体数值。 + - dump_path：设置dump路径，须为已存在目录。 - "my/dump/path" 须为已存在目录。 + - real_data：真实数据模式，可取值True或False，配置为True后开启真实数据模式，dump信息增加forward_real_data和backward_real_data目录，目录下保存每个API输入的具体数值。 - 注意：启用真实数据模式目前仅支持单卡，且会存盘较多数据，可能对磁盘空间有较大冲击。 + 注意：开启真实数据模式目前仅支持单卡，且会存盘较多数据，可能对磁盘空间有较大冲击。 + + - enable_dataloader：自动控制开关，可取值True或False，配置为True后自动识别dump target_iter参数指定的迭代数据，并在该迭代执行完成后退出训练。 + + - target_iter：指定dump某个step的数据，仅支持dump1个step，须指定为训练脚本中存在的step。 3. 将API信息输入给run_ut模块运行精度检测并比对，运行如下命令： -- Gitee From 0c07d9f3c0d478ae02082bb77adfb8caabd6de2d Mon Sep 17 00:00:00 2001 From: user_10012209 <734267852@qq.com> Date: Wed, 13 Sep 2023 09:18:02 +0800 Subject: [PATCH 2/3] =?UTF-8?q?[att\debug\accuracy=5Ftools\api=5Faccuracy?= =?UTF-8?q?=5Fchecker]=E9=A2=84=E6=A3=80=E5=B7=A5=E5=85=B7=E6=96=B0?= =?UTF-8?q?=E5=A2=9E=E8=BF=AD=E4=BB=A3=E8=AF=86=E5=88=AB=E5=8A=9F=E8=83=BD?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- debug/accuracy_tools/api_accuracy_checker/README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/debug/accuracy_tools/api_accuracy_checker/README.md b/debug/accuracy_tools/api_accuracy_checker/README.md index e6f8fa79b8..43c9b559b0 100644 --- a/debug/accuracy_tools/api_accuracy_checker/README.md +++ b/debug/accuracy_tools/api_accuracy_checker/README.md @@ -82,7 +82,7 @@ Ascend模型精度预检工具能在昇腾NPU上扫描用户训练模型中所 4. 如果需要保存比对不达标的输入和输出数据，可以在run_ut执行命令结尾添加-save_error_data，例如： - ``` + ```bash python run_ut.py -forward ./forward_info_0.json -backward ./backward_info_0.json -save_error_data ``` 数据默认会存盘到'./ut_error_data'路径下（相对于启动run_ut的路径），有需要的话，用户可以通过msCheckerConfig.update_config来配置保存路径，参数为error_data_path -- Gitee From 713ad3d37ecb14a0039af9643a6337aa6fcb35c0 Mon Sep 17 00:00:00 2001 From: user_10012209 <734267852@qq.com> Date: Wed, 13 Sep 2023 10:35:46 +0800 Subject: [PATCH 3/3] =?UTF-8?q?[att\debug\accuracy=5Ftools\api=5Faccuracy?= =?UTF-8?q?=5Fchecker]=E9=A2=84=E6=A3=80=E5=B7=A5=E5=85=B7=E6=96=B0?= =?UTF-8?q?=E5=A2=9E=E8=BF=AD=E4=BB=A3=E8=AF=86=E5=88=AB=E5=8A=9F=E8=83=BD?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- debug/accuracy_tools/api_accuracy_checker/README.md | 6 +++--- 1 file changed, 3 insertions(+), 3 deletions(-) diff --git a/debug/accuracy_tools/api_accuracy_checker/README.md b/debug/accuracy_tools/api_accuracy_checker/README.md index 43c9b559b0..41ae3ff9f5 100644 --- a/debug/accuracy_tools/api_accuracy_checker/README.md +++ b/debug/accuracy_tools/api_accuracy_checker/README.md @@ -21,7 +21,7 @@ Ascend模型精度预检工具能在昇腾NPU上扫描用户训练模型中所 export PYTHONPATH=$PYTHONPATH:$ATT_HOME/debug/accuracy_tools/ ``` - 安装依赖tqdm、prettytable、yaml + 安装依赖tqdm、prettytable、pyyaml ```bash pip3 install tqdm prettytable pyyaml @@ -117,10 +117,10 @@ DP.dump.set_dump_switch("ON") export PYTHONPATH=$PYTHONPATH:$ATT_HOME/debug/accuracy_tools/ ``` - 安装依赖tqdm、prettytable、yaml + 安装依赖tqdm、prettytable、pyyaml ```bash - pip3 install tqdm prettytable yaml + pip3 install tqdm prettytable pyyaml ``` 2. 执行溢出API解析操作 -- Gitee