【monitor】patch zero12 average tensor to accelerate · Pull Request !4757 · Ascend/mstt

---
# PR 合入模板

**注：经过自检不涉及的可标注“不涉及”或直接打勾，特殊情况请文字备注。不符合规范的 PR 不允许合入，请（后备）commit 注意。**

---

## 1. 修改描述
- **修改原因：** deepspeed zero 1、2优化器监控梯度显存、性能优化；修复zero_wgrad_out可能导致的梯度错误
- **修改内容：**

---

## 2. 功能验证
- [ ] **功能自验**
bert-base-cased

Memory
new
| 0 0 | 2187967 | python | 2570 |
| 1 0 | 2187970 | python | 2590

old
| 0 0 | 2797552 | python | 3078 |
| 1 0 | 2797560 | python | 3140 |

no monitor
| 0 0 | 2806290 | python | 2562 |
| 1 0 | 2806295 | python | 2582 |

time
![输入图片说明](https://foruda.gitee.com/images/1751436884906263163/98ab4d33_14187345.png "屏幕截图")
- [ ] **本地自验用例截图**
- [ ] **冒烟是否通过** （填入群链接的自验证报告中，如未通过，请说明原因：____________________ ，功能代码请主动申报添加冒烟）

---

## 3. 分支合并要求
- [ ] **代码合并**（请确保将 master 分支的最新代码同步合并至 poc 分支及 pre-research 分支，同时保证 poc 分支的代码也已正确合并到 pre-research 分支。）

---

## 3. 代码检视
- **要求：**
  - 合入代码超过 200 行，需三人以上会议检视。
  - 检视密度≥1个/100行。
  - 检视缺陷密度未达要求需提供说明。
  - 大于 1000 行代码原则上不允许合入，需进行备案。
- [ ] **是否经过代码检视**
- [ ] **是否具备 UT 测试用例看护** （如不符合，请说明原因：____________________）

- **检视意见数：____ 条** （请填写本次检视的意见总数，用于commit合入前审视）

---

## 4. 安全自检

### Python、C++：
- [ ] **对外接口新增/删除/变更，需要更新外部输入表格**
- [ ] **不允许私有的文件操作，需要使用公共函数**
- [ ] **数组使用需要校验越界场景**
- [ ] **对正则表达式做 ReDos 校验**
- [ ] **对除法做除零校验**
- [ ] **充分进行接口返回值异常情况的校验**
- [ ] **充分进行接口输入值异常情况的校验**
- [ ] **日志不要暴露代码细节和敏感信息**

### C++：
- [ ] **指针使用前需要判空**
- [ ] **数值计算校验溢出和反转**
- [ ] **不可存在内存泄漏（异常场景需要释放内存）**
- [ ] **类型转换不能出现数据截断**
- [ ] **拷贝字符串时，目的缓冲区至少比源缓冲区大 1**
- [ ] **拷贝内存时，目的缓冲区不小于源缓冲区**
- [ ] **内存释放后指针赋值为 nullptr**

---

## 5. 变更知会
- [ ] **资料修改**
- [ ] **变更通知（消息知会 + 邮件知会）**

---

Ascend/mstt .gitee-modal { width: 500px !important; }

搜索帮助

Ascend/mstt