# cmb

**Repository Path**: rainbow520lxr_admin_admin/cmb

## Basic Information

- **Project Name**: cmb
- **Description**: 基于MindSpore实现Qwen等训、推一体化工程应用
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 5
- **Created**: 2025-07-01
- **Last Updated**: 2025-07-01

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

## 一、介绍
招商银行人工实验室介绍：xxx
大模型在2022年chatgpt出现迎来了爆发，经过几年的发展，大模型在训练/推理/评测方面正逐步完善，但当前各模块或套件相对独立，为了进一步提高生产效率，我们联合华为MindSpore社区基于MindSpore实现Qwen系列模型训推全流程套件，便于开发者开箱即用，其他模型实现可参考该文档或[MindSpore Transformers](https://gitee.com/mindspore/mindformers)
官网教程使用。

主要内容如下：

- 环境准备
- 数据处理
- 预训练
- 微调
- 强化学习
- 基于aisbench评测
- 服务化推理部署(vllm+MindSpore)
- TensorBoard可视化

支持模型列表：

| **模型名** |           **模型参数**           |            **预训练**            |            **微调**             |              **强化学习（GRPO）** |           **服务化部署**           |           **评测**            
  |:-------:|:----------------------------:|:-----------------------------:|:-----------------------------:|----------------------------:|:-----------------------------:|:---------------------------:|
| Qwen2.5 | [0.5b](configs/qwen2_5/0_5b) | [✓](train/README.md) | [✓](train/README.md) |                    ✗ | [✓](predict/README.md) | [✓](eval/README.md) |
| Qwen2.5 | [1.5b](configs/qwen2_5/1_5b) |  [✓](train/README.md)   | [✓](train/README.md) |                    ✗ | [✓](predict/README.md) | [✓](eval/README.md) |
| Qwen2.5 |   [3b](configs/qwen2_5/3b)   | [✓](train/README.md) | [✓](train/README.md) |                    ✗ | [✓](predict/README.md) | [✓](eval/README.md) |
| Qwen2.5 |   [7b](configs/qwen2_5/7b)   | [✓](train/README.md) | [✓](train/README.md) |   [✓](rlhf/README.md) | [✓](predict/README.md)  | [✓](eval/README.md) |
| Qwen2.5 |  [14b](configs/qwen2_5/14b)  | [✓](train/README.md) | [✓](train/README.md) |   [✓](rlhf/README.md) | [✓](predict/README.md)  | [✓](eval/README.md) |
| Qwen2.5 |  [32b](configs/qwen2_5/32b)  | [✓](train/README.md) | [✓](train/README.md) |   [✓](rlhf/README.md) | [✓](predict/README.md)  | [✓](eval/README.md) |
| Qwen2.5 |  [72b](configs/qwen2_5/72b)  | [✓](train/README.md) | [✓](train/README.md) |   [✓](rlhf/README.md) | [✓](predict/README.md)  | [✓](eval/README.md) |

## 二、版本说明

|         **组件**         |             **版本及下载链接**              |
  |:----------------------:|:------------------------------------:|
|       MindSpore        |    [2.6.0](dockerfiles/README.md)    |
| MindSpore Transformers |     [1.5](dockerfiles/README.md)     |
|          vllm          | [0.6.6.post1](dockerfiles/README.md) |
|     vllm_mindspore     |   [0.1-opt](dockerfiles/README.md)   |
|     MindSpore RLHF     |     [dev](dockerfiles/README.md)     |
|          CANN          |   [8.1.RC1](dockerfiles/README.md)   |
|          HDK           |                23.0.3                |

## 三、环境准备

为更加方便环境安装，该项目提供dockerfile文件，可根据自身需求使用dockerfile文件制作镜像。

|     **镜像分类**      |         **文件链接**          |
  |:-----------------:|:-------------------------:|
| 训练/推理/强化学习/评测统一镜像 | [dockerfile](dockerfiles) |

```text
注意：
1) 使用dockerfile文件制作时，依赖互联网下载并安装依赖包
2) dockerfile默认设备为arm架构
```

## 四、使用教程

|      **类别**       |         **说明**          |
|:-----------------:|:-----------------------:|
|    [预训练](docs)    |       在MA平台上进行预训练       |
|    [微调](docs)     |       全参与lora微调训练       |
|    强化学习（GRPO）     |         强化学习训练          |
| [vllm服务化部署](docs) | 基于vLLM+MindSpore进行服务化部署 |
|    [评测](docs)     |    基于aisbench进行评测的文档    |

## 五、FAQ

MindSpore是华为自研的深度学习框架，原生支持多维混合分布式并行能力及兼容AI4S融合计算框架，当前AI发展速度迅速，MindSpore社区也在不断完善中，
如果您在使用过程中，遇到**问题**或有**好的建议**，欢迎您直接告诉[**我们**](https://gitee.com/mindspore/mindspore/issues)，我们期待与您共建易用、好用的MindSpore社区。