[FEAT]add qwen3 moe · Pull Request !740 · MindSpore/vllm-mindspore

1. add qwen3 moe
---
<!--  Thanks for sending a pull request!  Here are some tips for you:

1) If this is your first time, please read our contributor guidelines: https://gitee.com/mindspore/mindspore/blob/master/CONTRIBUTING.md

2) If you want to contribute your code but don't know who will review and merge, please add label `mindspore-assistant` to the pull request, we will find and do it as soon as possible.
-->

**What type of PR is this?**

/kind feature

**What does this PR do / why do we need it**:

支持原生qwen3-moe 模型， 支持tp， 小ep并行， 主要有以下改动：
1. 新增layers层组件： FusedMoe 和 ReplicatedLinear， 接口与原生vllm对齐。
2. FusedMoe 相对原生vllm， 新增支持了小ep并行。
3. 修改小ep下， NativeModel set_inputs 和 prepare_inputs逻辑， 新增padding入参。
4. 新增qwen3 moe 模型
5. 一些vllm流程上的适配。
6. 大ep的代码本地已验证， 由后续其他人补充。

qwen3-235B bf16
tp4 dp4 , moe ep4 + tp4
1 batch 256 256: 7 tps @ TTFT 301ms  TPOT 126.5ms
192 batch 256 256 : 1423tps @　TTFT 129ms TPOT 129.7ms

tp16 , moe tp16
1 batch 256 256:   14tps TTFT 129ms , TPOT 67.ms
192 batch 256 256 : 1741tps @　TTFT 2182ms, TPOT 93.4ms

qwen3-30B-A3B v1 架构
精度：
attn: tp 4, moe: tp4       -- gsm8k 93.71%, ceval 83.95%       
attn: tp 4, moe: tp 2 ep 2 -- gsm8k 92.8%, ceval 84.32%        
attn: tp 1 + dp 4, moe: tp 4 -- gsm8k 92.87%, ceval 84.03% 
性能：
attn: tp 4, moe: tp4 
3518 tps @ 50.5ms  (192bs 256ISL 256 OSL)
3799 tps @ 61.0ms  (256bs 256ISL 256 OSL)
3705 tps @ 49.8ms   (428bs 256ISL 256 OSL)

attn: tp 4, moe: tp 2 ep 2
3536 tps @ 50.3ms  (192bs 256ISL 256 OSL)
4046 tps @ 56.9ms  (256bs 256ISL 256 OSL)
3765 tps @ 50.9ms  (428bs 256ISL 256 OSL)

attn: tp 1 + dp 4, moe: tp 4
3924 tps @ 45.9ms  (192bs 256ISL 256 OSL)
4842 tps @ 48.7ms  (256bs 256ISL 256 OSL)
6285 tps @ 59.3ms  (428bs 256ISL 256 OSL)

attn: tp 1 + dp 4, moe: tp 2 ep 2
3881 tps @ 46.3ms  (192bs 256ISL 256 OSL)
4734 tps @ 49.8ms  (256bs 256ISL 256 OSL)
6294 tps @ 58.3ms  (428bs 256ISL 256 OSL)

**Which issue(s) this PR fixes**:

Fixes #AR.SR.IR20250721002358.001.001

**Code review checklist [【代码检视checklist说明】](https://gitee.com/mindspore/community/blob/master/security/code_review_checklist_mechanism.md)**:

+ - [ ] 是否进行返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值，C++标准库函数确认无问题可以屏蔽)
+ - [ ] 是否遵守 ***SOLID原则 / 迪米特法则***
+ - [ ] 是否具备UT测试用例看护 && 测试用例为有效用例 (若新特性无测试用例看护请说明原因)
+ - [ ] 是否为对外接口变更
+ - [ ] 是否涉及官网文档修改

类型	指派人员	状态
审查	TronZhang	已完成 (0/0人)
测试	TronZhang	已完成 (0/0人)

MindSpore/vllm-mindspore .gitee-modal { width: 500px !important; }

搜索帮助

MindSpore/vllm-mindspore