diff --git a/README.md b/README.md index 9063ad8f6ffdb1022647f3a645faa00011d5b5bc..c3af1d691ae0746cdae6ebb7876cf897efc462a2 100644 --- a/README.md +++ b/README.md @@ -13,7 +13,7 @@

-MindSpeed-Core-MS 是链接华为自研AI框架[MindSpore](https://www.mindspore.cn/install/)+华为[昇腾大模型加速解决方案MindSpeed](https://www.hiascend.cn/software/mindspeed)的重要组件，旨在提供华为全栈易用的端到端的自然语言模型以及多模态模型训练解决方案。MindSpeed-Core-MS 提供了代码一键转写工具，可帮助用户将模型使能加速库MindSpeed/MindSpeed-LLM/MindSpeed-MM以及三方库依赖由PyTorch无缝切换为MindSpore，以此获得更极致的性能体验。另外，MindSpeed-Core-MS 也提供了动态图调试工具，使用户在分布式训练场景下更容易地进行代码调试和debug。 +MindSpeed-Core-MS 是链接华为自研AI框架[MindSpore](https://www.mindspore.cn/install/)+华为[昇腾大模型加速解决方案MindSpeed](https://www.hiascend.cn/software/mindspeed)的重要组件，旨在提供华为全栈易用的端到端的自然语言模型以及多模态模型训练解决方案。MindSpeed-Core-MS 提供了代码一键适配功能，可帮助用户将模型使能加速库MindSpeed/MindSpeed-LLM/MindSpeed-MM以及三方库依赖由PyTorch无缝切换为MindSpore，以此获得更极致的性能体验。另外，MindSpeed-Core-MS 也提供了动态图调试工具，使用户在分布式训练场景下更容易地进行代码调试和debug。 --- @@ -82,7 +82,7 @@ MindSpeed-Core-MS的依赖配套如下表，安装步骤参考[基础安装指 - Qwen25 + Qwen2.5 7B 4k r1-zero @@ -106,7 +106,7 @@ git clone https://gitee.com/ascend/MindSpeed-Core-MS.git -b master ## 一键适配 -MindSpeed-Core-MS提供了一键适配命令脚本，集成了基于MindSpeed进行模型训练的相关代码仓拉取、代码自动转写及适配、环境变量设置等功能，用户根据使用场景（大语言模型/多模态模型/强化学习）执行相应命令即可完成一键自动适配，代码自动转写的工具原理详见[转写工具](./docs/convert_tool.md)。在运行一键适配命令前，请确保： +MindSpeed-Core-MS提供了一键适配命令脚本，集成了基于MindSpeed进行模型训练的相关代码仓拉取、代码自动适配、环境变量设置等功能，用户根据使用场景（大语言模型/多模态模型/强化学习）执行相应命令即可完成一键自动适配。在运行一键适配命令前，请确保： - 基础依赖已安装 - 所部署容器网络可用，python已安装 @@ -206,7 +206,7 @@ MindSpeed-Core-MS已发布版本维护策略： | **MindSpeed-Core-MS版本** | **维护策略** | **当前状态** | **发布时间** | **后续状态** | **EOL日期** | | ------------------------------- | ------------------ | ------------------ | ------------------ | ------------------ | ----------------- | -| feature-0.2 | Demo | 维护 | 2025.4.15 | | | +| feature-0.2 | Demo | 维护 | 2025.4.15 | 预计2025/09/30起无维护 | | | master | / | 开发 | 预计2025.6.30 | / | / | --- diff --git a/docs/convert_tool.md b/docs/convert_tool.md index 35d08ae99fa04d9f09334e292bd25c2fb3a84202..0407bd4e740ca4c6d62d97c0cc3b4f11ae827090 100644 --- a/docs/convert_tool.md +++ b/docs/convert_tool.md @@ -1,8 +1,8 @@ # 代码转写工具 -基于Pytorch的原生代码，包括Megatron、MindSpeed、MindSpeed-LLMdeng等仓库中的部分写法，在基于MindSpore框架运行时存在适配问题， -对于这部分代码需要通过转换工具转写为可基于MindSpore框架运行的代码。此转写工具可将pytorch代码批量转写为 -[msadapter](https://gitee.com/mindspore/msadapter.git) 兼容性代码，仍保留msadapter兼容仓库的pytorch对应接口; 后续方案可直接转换为MindSpore原生代码（敬请期待）。 +Megatron、MindSpeed、MindSpeed-LLM等仓库中基于Pytorch的原生代码的部分写法，与基于MindSpore框架的写法有部分差异。 +这部分代码需要通过转写工具转写为可基于MindSpore框架运行的代码。此转写工具可将pytorch代码批量转写为 +[MSAdapter](https://openi.pcl.ac.cn/OpenI/MSAdapter.git) 兼容性代码，仍保留MSAdapter兼容仓库的pytorch对应接口; 后续方案可直接转换为MindSpore原生代码（敬请期待）。 **概览** 该工具基于 [libcst](https://libcst.dev/) 实现静态语法树转换， @@ -28,7 +28,7 @@ tools ## 安装与依赖 -1. Python ≥3.7。 +1. Python ≥3.9。 2. 安装依赖库： ```bash @@ -39,7 +39,7 @@ tools ```bash cd MindSpeed-Core-MS -bash test_convert_xxx.sh # 正常获取MindSpeed, MindSpeed-LLM 等代码仓并应用MindSpore需要的patch, 注意不需要设置PYTHONPATH +bash auto_convert_xxx.sh # 正常获取MindSpeed, MindSpeed-LLM 等代码仓并应用MindSpore需要的patch, 注意不需要设置PYTHONPATH # 此时若设置PYTHONPATH, 应能正常拉起模型训练 bash tools/convert/convert.sh # 拷贝需要的三方库和依赖的代码至MindSpeed-LLM目录, 并对MindSpeed-LLM目录应用代码转写 ``` @@ -52,7 +52,7 @@ bash tools/convert/convert.sh # 拷贝需要的三方库和依赖的代码至Min 假设要将 Megatron-LM、MindSpeed-LLM、MindSpeed-MM 等仓库转写为 MindSpore 适配： -1. 执行完本仓库根目录下的 `test_convert_xxx.sh` 脚本后，根目录下存在Megatron、MindSpeed等仓库： +1. 执行完本仓库根目录下的 `auto_convert_xxx.sh` 脚本后，根目录下存在Megatron、MindSpeed等仓库： 2. 进入父目录，执行转写：