diff --git a/PyTorch/built-in/mm/OpenSora1.0/README.md b/PyTorch/built-in/mm/OpenSora1.0/README.md index e1257a8e3070a93678787f8c2f8090e825b00ea0..a6a8baadeedcfe23eabe31ec55304a731e9ed6f5 100644 --- a/PyTorch/built-in/mm/OpenSora1.0/README.md +++ b/PyTorch/built-in/mm/OpenSora1.0/README.md @@ -1,18 +1,30 @@ # OpenSora1.0 for PyTorch # 目录 -- [简介](#简介) - - [模型介绍](#模型介绍) - - [支持任务列表](#支持任务列表) - - [代码实现](#代码实现) -- [STDiT(在研版本)](#STDiT(在研版本)) - - [准备训练环境](#准备训练环境) - - [快速开始](#快速开始) - - [训练任务](#训练任务) - - [推理任务](#推理任务) -- [公网地址说明](#公网地址说明) -- [变更说明](#变更说明) -- [FAQ](#FAQ) +- [OpenSora1.0 for PyTorch](#opensora10-for-pytorch) +- [目录](#目录) +- [简介](#简介) + - [模型介绍](#模型介绍) + - [支持任务列表](#支持任务列表) + - [代码实现](#代码实现) +- [STDiT(在研版本)](#stdit在研版本) + - [准备训练环境](#准备训练环境) + - [安装模型环境](#安装模型环境) + - [安装昇腾环境](#安装昇腾环境) + - [准备数据集](#准备数据集) + - [训练数据集准备](#训练数据集准备) + - [获取预训练模型](#获取预训练模型) + - [快速开始](#快速开始) + - [训练任务](#训练任务) + - [开始训练](#开始训练) + - [训练结果](#训练结果) + - [性能](#性能) + - [推理任务](#推理任务) + - [开始推理](#开始推理) +- [公网地址说明](#公网地址说明) +- [变更说明](#变更说明) + - [变更](#变更) +- [FAQ](#faq) # 简介 ## 模型介绍 @@ -71,9 +83,14 @@ OpenSora是HPC AI Tech开发的开源高效复现类Sora视频生成方案。Ope source ${cann_install_path}/ascend-toolkit/set_env.sh # 激活cann环境,默认在/usr/local/Ascend下 cd OpenSora1.0 pip install -v -e . # 安装本地代码仓,同时自动安装依赖 + # 以https://gitee.com/aijgnem/MindSpeed最新文档为准,安装 MindSpeed git clone https://gitee.com/ascend/MindSpeed.git + cd MindSpeed + git checkout 3e7d2377f1947594708ced2fe66f6428da9d330f + cd .. pip install -e MindSpeed + # 以https://gitee.com/aijgnem/MindSpeed最新文档为准,获取 Megatron-LM 并指定 commit id git clone https://github.com/NVIDIA/Megatron-LM.git cd Megatron-LM diff --git a/PyTorch/built-in/mm/OpenSora1.0/scripts/adaptor.py b/PyTorch/built-in/mm/OpenSora1.0/scripts/adaptor.py index e95c4a007b8c91fa356774adad2e9b6d01b7bac5..4e57955b8992180a47858fe9e0f2c26094a028a6 100644 --- a/PyTorch/built-in/mm/OpenSora1.0/scripts/adaptor.py +++ b/PyTorch/built-in/mm/OpenSora1.0/scripts/adaptor.py @@ -19,6 +19,7 @@ from functools import wraps import torch import torch.distributed as dist from einops import rearrange +import mindspeed.megatron_adaptor from mindspeed.core.context_parallel.ulysses_context_parallel import UlyssesContextAttention from mindspeed.core.context_parallel.ring_context_parallel import ringattn_context_parallel