From 861f4570fb84797c35237cdd7a1b43d131e606b5 Mon Sep 17 00:00:00 2001
From: RanZheng <364167184@qq.com>
Date: Tue, 22 Jul 2025 18:54:57 +0800
Subject: [PATCH] =?UTF-8?q?=E3=80=90feature=E3=80=91monitor=20print=5Fstru?=
=?UTF-8?q?ct=E6=94=AF=E6=8C=81=E9=9D=9Erank0=E6=A8=A1=E5=9E=8B=E4=BF=A1?=
=?UTF-8?q?=E6=81=AF=E4=BF=9D=E5=AD=98?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit
(cherry picked from commit 06e0024a8b180f3da812b64a9f29dc100d51fb43)
---
debug/accuracy_tools/msprobe/docs/19.monitor.md | 10 +++++-----
.../msprobe/mindspore/monitor/module_hook.py | 3 ++-
.../msprobe/pytorch/monitor/module_hook.py | 13 +++++--------
.../msprobe/pytorch/monitor/module_metric.py | 3 ++-
4 files changed, 14 insertions(+), 15 deletions(-)
diff --git a/debug/accuracy_tools/msprobe/docs/19.monitor.md b/debug/accuracy_tools/msprobe/docs/19.monitor.md
index 681a1423f7..2374ef7680 100644
--- a/debug/accuracy_tools/msprobe/docs/19.monitor.md
+++ b/debug/accuracy_tools/msprobe/docs/19.monitor.md
@@ -227,7 +227,7 @@ monitor.monitor_gnorm_with_ad(
module_name可以通过nn.Module的接口named_modules()获取。
#### 打印模型结构
-工具提供可选项`print_struct`打印模型结构，帮助配置targets。工具会在在第一个step后打印结构并停止训练进程，模型结构默认打印在`$MONITOR_OUTPUT_DIR/module_struct.json`。
+工具提供可选项`print_struct`打印模型结构，帮助配置targets。工具会在在第一个step后打印结构并停止训练进程，每张卡上的模型结构默认保存在`$MONITOR_OUTPUT_DIR/module_struct/rank{rank}/module_struct.json`, 其中{rank}为对应的卡号。
```json
{
"print_struct": true
@@ -642,7 +642,7 @@ TrainerMon.monitor_gnorm_with_ad(model, grad_acc_steps, optimizer, dp_group, tp_
| "collect_times" | 可选 | 设置采集次数，达到该次数后停止监控，默认值为100000000，目的是一直采集。 |
| "start_step" | 可选 | 设置开始采集step，模型训练达到start_step后开始监控采集，默认值为0，表示从step0开始监控采集。注：在动态启停模式下该设置不生效，只会从下一步开始监控采集。 |
| "step_interval" | 可选 | 设置采集step间隔，默认值为1，表示每个step均采集监控数据。 |
-| "print_struct" | 可选 | 设置为true后监控工具会打印模型中torch module的名字和详细结构，并在第1个step后退出。不填默认为false。**仅PyTorch场景支持此参数**。 |
+| "print_struct" | 可选 | 设置为true后监控工具会打印每张卡模型中module的名字和详细结构，并在第1个step后退出。不填默认为false。 |
| "module_ranks" | 可选 | 用于在分布式训练场景中希望控制在哪些rank开启module监控。如果不填，则默认在所有rank开启。 列表内rank要求为int类型。 |
| "ur_distribution" | 可选 | 若为true则会统计adam优化器指定模块（targets中指定）参数的update和ratio向量的数值分布，并展示在heatmap里，默认为false，同时format字段必须设置为tensorboard。
依赖histc算子， 需要CANN8.0.rc2以上版本， 否则会有严重的性能问题。**仅PyTorch场景支持此参数**。 |
| "xy_distribution" | 可选 | 若为true则会监控指定module（targets中指定）的输入输出张量。 默认为false。 |
@@ -651,7 +651,7 @@ TrainerMon.monitor_gnorm_with_ad(model, grad_acc_steps, optimizer, dp_group, tp_
| "backward_only" | 可选 | 开启xy_distribution后生效，若为true，仅监控指定module的反向，targets中的input、output不生效。默认为false。 |
| "mv_distribution" | 可选 | 若为true则会监控指定模块中的参数的优化器状态， 默认为false。版本 save module struct to {module_struct_file}")
+ output_dir = os.path.join(get_output_base_dir(), 'module_struct', f'rank{self.rank}')
+ os.makedirs(output_dir, exist_ok=True)
+ module_struct_file = os.path.realpath(os.path.join(output_dir, 'module_struct.json'))
+ save_json(module_struct_file, self.module_struct, indent=2)
+ logger.info(f"> save module struct to {module_struct_file}")
self.struct_printed = True
def _is_target_param(self, param_name, param, prefix):
diff --git a/debug/accuracy_tools/msprobe/pytorch/monitor/module_metric.py b/debug/accuracy_tools/msprobe/pytorch/monitor/module_metric.py
index 9dd4d0b71f..c5730d7846 100644
--- a/debug/accuracy_tools/msprobe/pytorch/monitor/module_metric.py
+++ b/debug/accuracy_tools/msprobe/pytorch/monitor/module_metric.py
@@ -31,7 +31,8 @@ def squash_param_name(param_name, enable=True):
if not enable:
return param_name
name = ''
- for pattern in ['layers?\.(.*)', 'embeddings?\.(.*)', 'final.*', 'output.*', 'norm.*']:
+ for pattern in ['^.*\.(layers?\..*)', '^.*\.(embeddings?\..*)', '^.*\.(final.*)', '^.*\.(output.*)',
+ '^.*\.(norm.*)']:
match = re.findall(pattern, param_name)
if match:
name += match[0]
--
Gitee