diff --git a/.jenkins/rules/codespell/codespell.allow b/.jenkins/rules/codespell/codespell.allow index 8fe88ddebfa4ef7b071ca0e0433fef45f9f70f73..346bbfd2bd95e35a6078c78a583d87628c206d18 100644 --- a/.jenkins/rules/codespell/codespell.allow +++ b/.jenkins/rules/codespell/codespell.allow @@ -17,4 +17,5 @@ mutiple allEdges statments SubreE -followings \ No newline at end of file +followings +Rouge \ No newline at end of file diff --git a/docs/mindspore/source_zh_cn/mindformers/quick_start/install.md b/docs/mindspore/source_zh_cn/mindformers/quick_start/install.md index 65b071bde9c07a0e1971c34ebdb623630513df8a..f0a72e44b5d257e115dc80466ef09bc477f44e5d 100644 --- a/docs/mindspore/source_zh_cn/mindformers/quick_start/install.md +++ b/docs/mindspore/source_zh_cn/mindformers/quick_start/install.md @@ -1,3 +1,25 @@ # 安装 -[![查看源文件](https://mindspore-website.obs.cn-north-4.myhuaweicloud.com/website-images/master/resource/_static/logo_source.svg)](https://gitee.com/mindspore/docs/blob/master/docs/mindspore/source_zh_cn/mindformers/quick_start/install.md) \ No newline at end of file +[![查看源文件](https://mindspore-website.obs.cn-north-4.myhuaweicloud.com/website-images/master/resource/_static/logo_source.svg)](https://gitee.com/mindspore/docs/blob/master/docs/mindspore/source_zh_cn/mindformers/quick_start/install.md) + +## 版本匹配关系 + +当前支持的硬件为Atlas 800T A2训练服务器。 + +当前套件建议使用的Python版本为3.9。 + +| MindFormers | MindPet | MindSpore | CANN | 驱动固件 | 镜像链接 | 备注 | +|:-----------:|:-------:|:-----------:|:----:|:----:|:----:|-------------| +| dev | 1.0.4 | 2.3版本(尚未发布) | 尚未发布 | 尚未发布 | / | 开发分支(非稳定版本) | + +**当前MindFormers仅支持如上的软件配套关系**。其中CANN和固件驱动的安装需与使用的机器匹配，请注意识别机器型号，选择对应架构的版本。 + +## 源码编译安装 + +MindFormers目前支持源码编译安装，用户可以执行如下命令进行安装。 + +```shell +git clone -b dev https://gitee.com/mindspore/mindformers.git +cd mindformers +bash build.sh +``` \ No newline at end of file diff --git a/docs/mindspore/source_zh_cn/mindformers/start/models.md b/docs/mindspore/source_zh_cn/mindformers/start/models.md index 8c78d6220e365cc48d68bfce05896bf2d88cd328..b742d83fc01afc8132bfaa5f8cb699ae5406232a 100644 --- a/docs/mindspore/source_zh_cn/mindformers/start/models.md +++ b/docs/mindspore/source_zh_cn/mindformers/start/models.md @@ -1,3 +1,45 @@ -# 模型库 +# 支持模型 + +[![查看源文件](https://mindspore-website.obs.cn-north-4.myhuaweicloud.com/website-images/master/resource/_static/logo_source.svg)](https://gitee.com/mindspore/docs/blob/master/docs/mindspore/source_zh_cn/mindformers/start/models.md) + +MindFormers已支持大部分模型的LoRA微调功能，具体可参考各模型文档启动模型的LoRA微调任务。 + +当前MindFormers支持的模型列表如下： + +## 语言类大模型 + +| 模型 | 序列 | 预训练 | 微调 | 推理 | LoRA | 对话 | 评估 | +|:-------------------|-----|--------|---|----------|----|:---|-----------| +| LLaMA2-7B | 4K | ✓ | ✓ | generate | ✓ | ✓ | PPL | +| LLaMA2-13B | 4K | ✓ | ✓ | generate | ✓ | ✓ | PPL | +| LLaMA2-70B | 4K | ✓ | ✓ | generate | ✓ | ✓ | PPL | +| LLaMA3-8B | 8K | - | ✓ | generate | - | ✓ | - | +| LLaMA3-70B | 8K | ✓ | ✓ | generate | - | ✓ | - | +| Baichuan2-7B | 4K | - | ✓ | generate | ✓ | ✓ | PPL | +| Baichuan2-13B | 4K | - | ✓ | generate | ✓ | ✓ | PPL | +| GLM2-6B | 2K | - | ✓ | generate | ✓ | ✓ | PPL/Rouge | +| GLM3-6B | 2K | - | ✓ | generate | - | ✓ | - | +| GLM3-32K-6B | 32K | - | ✓ | generate | - | ✓ | - | +| Qwen-7B | 8K | - | ✓ | docs | ✓ | ✓ | C-Eval | +| Qwen-14B | 8K | - | ✓ | docs | ✓ | ✓ | C-Eval | +| Qwen1.5-7B | 32K | ✓ | ✓ | docs | - | ✓ | - | +| Qwen1.5-14B | 32K | ✓ | ✓ | docs | - | ✓ | - | +| Qwen1.5-72B | 32K | ✓ | ✓ | docs | - | ✓ | - | +| QwenVL-9.6B | 2K | - | ✓ | generate | - | ✓ | - | +| InternLM-7B | 2K | - | ✓ | generate | ✓ | ✓ | PPL | +| InternLM-20B | 2K | - | ✓ | generate | ✓ | ✓ | PPL | +| InternLM2-7B | 2K | - | ✓ | generate | - | ✓ | - | +| InternLM2-20B | 4K | - | - | generate | - | ✓ | - | +| Yi-6B | 2K | - | ✓ | generate | ✓ | ✓ | - | +| Yi-34B | 4K | ✓ | ✓ | generate | ✓ | ✓ | - | +| GPT2-13B | 2K | ✓ | ✓ | generate | ✓ | ✓ | PPL | +| CodeLlama-34B | 4K | ✓ | ✓ | generate | ✓ | ✓ | HumanEval | +| DeepSeek Coder-33B | 4K | - | ✓ | docs | ✓ | ✓ | - | +| Mixtral-8x7B | 32K | ✓ | ✓ | docs | ✓ | ✓ | - | + +## 多模态大模型 + + 模型 | 序列 | 预训练 | 微调 | 推理 | LoRA | 对话 | 评估 | +|:--------------------|-----|--------|---|----------|----|:---|-------| +| QwenVL-9.6B | 2K | - | ✓ | generate | - | ✓ | - | -[![查看源文件](https://mindspore-website.obs.cn-north-4.myhuaweicloud.com/website-images/master/resource/_static/logo_source.svg)](https://gitee.com/mindspore/docs/blob/master/docs/mindspore/source_zh_cn/mindformers/start/models.md) \ No newline at end of file diff --git a/docs/mindspore/source_zh_cn/mindformers/start/overview.md b/docs/mindspore/source_zh_cn/mindformers/start/overview.md index c46b8d549f1da0bbbd16062056f6ccccd2a406a3..abe6826309fee1f962a51f125342980bbad3c11a 100644 --- a/docs/mindspore/source_zh_cn/mindformers/start/overview.md +++ b/docs/mindspore/source_zh_cn/mindformers/start/overview.md @@ -1,3 +1,25 @@ -# 概览 +# MindFormers设计概览 -[![查看源文件](https://mindspore-website.obs.cn-north-4.myhuaweicloud.com/website-images/master/resource/_static/logo_source.svg)](https://gitee.com/mindspore/docs/blob/master/docs/mindspore/source_zh_cn/mindformers/start/overview.md) \ No newline at end of file +[![查看源文件](https://mindspore-website.obs.cn-north-4.myhuaweicloud.com/website-images/master/resource/_static/logo_source.svg)](https://gitee.com/mindspore/docs/blob/master/docs/mindspore/source_zh_cn/mindformers/start/overview.md) + +## 概述 + +MindSpore Transformers套件的目标是构建一个大模型训练、微调、评估、推理、部署的全流程开发套件，提供业内主流的Transformer类预训练模型和SOTA下游任务应用，涵盖丰富的并行特性。期望帮助用户轻松的实现大模型训练和创新研发。 + +MindSpore Transformers套件基于MindSpore内置的并行技术和组件化设计，具备如下特点： + +- 一行代码实现从单卡到大规模集群训练的无缝切换； +- 提供灵活易用的个性化并行配置； +- 能够自动进行拓扑感知，高效地融合数据并行和模型并行策略； +- 一键启动任意任务的单卡/多卡训练、微调、评估、推理流程； +- 支持用户进行组件化配置任意模块，如优化器、学习策略、网络组装等； +- 提供Trainer、pipeline、AutoClass等高阶易用性接口； +- 提供预置SOTA权重自动下载及加载功能； +- 支持人工智能计算中心无缝迁移部署； + +如果您对MindSpore Transformers有任何建议，请通过issue与我们联系，我们将及时处理。 + +- 📝 **MindFormers教程文档** +- 📝 **大模型能力表一览** +- 📝 **MindPet指导教程** +- 📝 **AICC指导教程** \ No newline at end of file