diff --git a/tutorials/source_zh_cn/advanced_use/parameter_server_training.md b/tutorials/source_zh_cn/advanced_use/parameter_server_training.md index 0e42d5fbcbecbdce0fee0b8b77d0093a5eeda62b..e89521cefe2e37c40bacfef623132271d0065885 100644 --- a/tutorials/source_zh_cn/advanced_use/parameter_server_training.md +++ b/tutorials/source_zh_cn/advanced_use/parameter_server_training.md @@ -15,6 +15,9 @@ ## 概述 +Parameter Server(参数服务器)是分布式训练中一种广泛使用的架构，相较于同步的AllReduce训练方法，Parameter Server具有更好的灵活性，可扩展性以及节点容灾的能力。具体来讲，参数服务器既支持同步SGD，也支持异步SGD的训练算法；在扩展性上，将模型的计算与模型的更新分别部署在Worker和Server两类进程中，使得Worker和Server的资源可以独立的横向扩缩；另外，在大规模数据中心的环境下，计算设备，网络以及存储经常会出现各种故障而导致部分节点异常，而在参数服务器的架构下，能够较为容易的处理此类的故障而不会对训练中的任务产生影响。 + +在MindSpore的参数服务器实现中，采用了开源的ps-lite作为基础架构，基于其提供的远程通信能力以及抽象的Push/Pull原语，实现了同步SGD的分布式训练算法，另外结合Ascend中的高性能集合通信库HCCL，MindSpore还提供了Parameter Server和AllReduce的混合训练模式，支持将部分权重通过参数服务器进行存储和更新，其余权重仍然通过AllReduce算法进行训练。 ## 准备工作 以LeNet在Ascend 910上使用Parameter Server，并且配置单Worker，单Server训练为例：