diff --git a/MindIE/MultiModal/InternVL/InternVL2/InternVL2_40b/README.md b/MindIE/MultiModal/InternVL/InternVL2/InternVL2_40b/README.md index adcd8c1ab84782201482b0242a06b525dc1d0dfa..b3eb32ca3d08cb67fb7037b4cb594e467208c5d2 100644 --- a/MindIE/MultiModal/InternVL/InternVL2/InternVL2_40b/README.md +++ b/MindIE/MultiModal/InternVL/InternVL2/InternVL2_40b/README.md @@ -22,7 +22,7 @@ InternVL2-40B 是一种多模态大模型,具有强大的图像和文本处理 完成之后,请使用`docker images`命令确认查找具体镜像名称与标签。 ## 硬件要求 -部署InternVL2-40B模型至少需要1台Atlas 800I A2 32G服务器 +部署InternVL2-40B模型至少需要1台Atlas 800I A2 推理服务器 32GB ## 新建容器 @@ -65,7 +65,7 @@ pip install -r requirements/models/requirements_internvl.txt - 修改`/usr/local/Ascend/atb-models/examples/models/internvl/run_pa.sh`脚本 ```shell -# 设置卡数,Atlas-800I-A2-32G必须八卡,Atlas-800I-A2-64G四卡八卡均可 +# 设置卡数,Atlas 800I A2 推理服务器 32GB上必须八卡,Atlas 800I A2 推理服务器 64GB上四卡八卡均可 export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 ``` @@ -188,4 +188,7 @@ curl 127.0.0.1:1040/v1/chat/completions -d ' { "top_p": 0.001, "top_k": 1 }' -``` \ No newline at end of file +``` +## 声明 +- 本代码仓提到的数据集和模型仅作为示例,这些数据集和模型仅供您用于非商业目的,如您使用这些数据集和模型来完成示例,请您特别注意应遵守对应数据集和模型的License,如您因使用数据集或模型而产生侵权纠纷,华为不承担任何责任。 +- 如您在使用本代码仓的过程中,发现任何问题(包括但不限于功能问题、合规问题),请在本代码仓提交issue,我们将及时审视并解答。 \ No newline at end of file diff --git a/MindIE/MultiModal/InternVL/InternVL2/Internvl2_8b/README.md b/MindIE/MultiModal/InternVL/InternVL2/Internvl2_8b/README.md index 2e5d9204f638ce13b7d7d3d35cd623dfaa18bdaf..d113757d0ed5801e58f79f169b1afa3a34c96508 100644 --- a/MindIE/MultiModal/InternVL/InternVL2/Internvl2_8b/README.md +++ b/MindIE/MultiModal/InternVL/InternVL2/Internvl2_8b/README.md @@ -22,7 +22,7 @@ InternVL2-8B 是一种多模态大模型,具有强大的图像和文本处理 完成之后,请使用`docker images`命令确认查找具体镜像名称与标签。 ## 硬件要求 -部署InternVL2-8B模型至少需要1台Atlas 800I A2 32G服务器 +部署InternVL2-8B模型至少需要1台Atlas 800I A2 推理服务器 32GB ## 新建容器 @@ -65,7 +65,7 @@ pip install -r requirements/models/requirements_internvl.txt - 修改`/usr/local/Ascend/atb-models/examples/models/internvl/run_pa.sh`脚本 ```shell -# 设置卡数,Atlas-800I-A2-32G必须八卡,Atlas-800I-A2-64G四卡八卡均可 +# 设置卡数,Atlas 800I A2 推理服务器 32GB上必须八卡,Atlas 800I A2 推理服务器 64GB上四卡八卡均可 export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 ``` @@ -188,4 +188,7 @@ curl 127.0.0.1:1040/v1/chat/completions -d ' { "top_p": 0.001, "top_k": 1 }' -``` \ No newline at end of file +``` +## 声明 +- 本代码仓提到的数据集和模型仅作为示例,这些数据集和模型仅供您用于非商业目的,如您使用这些数据集和模型来完成示例,请您特别注意应遵守对应数据集和模型的License,如您因使用数据集或模型而产生侵权纠纷,华为不承担任何责任。 +- 如您在使用本代码仓的过程中,发现任何问题(包括但不限于功能问题、合规问题),请在本代码仓提交issue,我们将及时审视并解答。 \ No newline at end of file diff --git a/MindIE/MultiModal/InternVL/InternVL2_5/Internvl2_5_38b/README.md b/MindIE/MultiModal/InternVL/InternVL2_5/Internvl2_5_38b/README.md index 8776f2f98426db619a29fbf3fc89111fb68dfa89..36f2982616f454e19b084f64ff41535b17aea564 100644 --- a/MindIE/MultiModal/InternVL/InternVL2_5/Internvl2_5_38b/README.md +++ b/MindIE/MultiModal/InternVL/InternVL2_5/Internvl2_5_38b/README.md @@ -21,7 +21,7 @@ InternVL2_5-38B 是一种多模态大模型,具有强大的图像和文本处 完成之后,请使用`docker images`命令确认查找具体镜像名称与标签。 ## 硬件要求 -部署InternVL2_5-38B模型至少需要1台Atlas 800I A2 32G服务器 +部署InternVL2_5-38B模型至少需要1台Atlas 800I A2 推理服务器 32GB ## 新建容器 @@ -101,7 +101,7 @@ pip install -r requirements/models/requirements_internvl.txt - 修改`/usr/local/Ascend/atb-models/examples/models/internvl/run_pa.sh`脚本 ```shell -# 设置卡数,Atlas-800I-A2-32G必须八卡,Atlas-800I-A2-64G四卡八卡均可 +# 设置卡数,Atlas 800I A2 推理服务器 32GB上必须八卡,Atlas 800I A2 推理服务器 64GB上四卡八卡均可 export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 ``` @@ -223,4 +223,7 @@ curl 127.0.0.1:1040/v1/chat/completions -d ' { "top_p": 0.001, "top_k": 1 }' -``` \ No newline at end of file +``` +## 声明 +- 本代码仓提到的数据集和模型仅作为示例,这些数据集和模型仅供您用于非商业目的,如您使用这些数据集和模型来完成示例,请您特别注意应遵守对应数据集和模型的License,如您因使用数据集或模型而产生侵权纠纷,华为不承担任何责任。 +- 如您在使用本代码仓的过程中,发现任何问题(包括但不限于功能问题、合规问题),请在本代码仓提交issue,我们将及时审视并解答。 \ No newline at end of file diff --git a/MindIE/MultiModal/InternVL/InternVL2_5/Internvl2_5_78b/README.md b/MindIE/MultiModal/InternVL/InternVL2_5/Internvl2_5_78b/README.md index b391c98385ca19dc5aeb399d68880416967a9378..72778631ae69cf7030f71eb7b880f4b9e375a01f 100644 --- a/MindIE/MultiModal/InternVL/InternVL2_5/Internvl2_5_78b/README.md +++ b/MindIE/MultiModal/InternVL/InternVL2_5/Internvl2_5_78b/README.md @@ -21,7 +21,7 @@ InternVL2_5-78B 是一种多模态大模型,具有强大的图像和文本处 完成之后,请使用`docker images`命令确认查找具体镜像名称与标签。 ## 硬件要求 -部署InternVL2_5-78B模型至少需要1台Atlas 800I A2 32G服务器 +部署InternVL2_5-78B模型至少需要1台Atlas 800I A2 推理服务器 32GB ## 新建容器 @@ -102,7 +102,7 @@ pip install -r requirements/models/requirements_internvl.txt - 修改`/usr/local/Ascend/atb-models/examples/models/internvl/run_pa.sh`脚本 ```shell -# 设置卡数,Atlas-800I-A2-32G必须八卡,Atlas-800I-A2-64G四卡八卡均可 +# 设置卡数,Atlas 800I A2 推理服务器 32GB上必须八卡,Atlas 800I A2 推理服务器 64GB上四卡八卡均可 export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 ``` @@ -225,4 +225,7 @@ curl 127.0.0.1:1040/v1/chat/completions -d ' { "top_p": 0.001, "top_k": 1 }' -``` \ No newline at end of file +``` +## 声明 +- 本代码仓提到的数据集和模型仅作为示例,这些数据集和模型仅供您用于非商业目的,如您使用这些数据集和模型来完成示例,请您特别注意应遵守对应数据集和模型的License,如您因使用数据集或模型而产生侵权纠纷,华为不承担任何责任。 +- 如您在使用本代码仓的过程中,发现任何问题(包括但不限于功能问题、合规问题),请在本代码仓提交issue,我们将及时审视并解答。 \ No newline at end of file diff --git a/MindIE/MultiModal/QVQ-72B-Preview/README.md b/MindIE/MultiModal/QVQ-72B-Preview/README.md index 0452bcfb38d03177cc433e2935cea34260fd4b50..ee7d1ab82b47a4ba169a5244bc9b20679e2efe82 100644 --- a/MindIE/MultiModal/QVQ-72B-Preview/README.md +++ b/MindIE/MultiModal/QVQ-72B-Preview/README.md @@ -22,7 +22,7 @@ QVQ-72B-Preview 是阿里云研发的大规模视觉语言模型(Large Vision 完成之后,请使用`docker images`命令确认查找具体镜像名称与标签。 ## 硬件要求 -部署QVQ-72B-Preview模型至少需要1台Atlas 800I A2 32G服务器 +部署QVQ-72B-Preview模型至少需要1台Atlas 800I A2 推理服务器 32GB ## 新建容器 @@ -65,7 +65,7 @@ pip install -r requirements/models/requirements_qwen2_vl.txt - 修改`/usr/local/Ascend/atb-models/examples/models/qwen2_vl/run_pa.sh`脚本 ```shell -# 设置卡数,Atlas-800I-A2-32G必须八卡,Atlas-800I-A2-64G四卡八卡均可 +# 设置卡数,Atlas 800I A2 推理服务器 32GB上必须八卡,Atlas 800I A2 推理服务器 64GB上四卡八卡均可 export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 ... @@ -96,7 +96,7 @@ shm_name_save_path="./shm_name.txt" bash /usr/local/Ascend/atb-models/examples/models/qwen2_vl/run_pa.sh ``` -- 性能测试样例(Atlas 800I A2 32G) +- 性能测试样例(Atlas 800I A2 推理服务器 32GB) - 设置`max_batch_size=4` - 设置`max_input_length=8192` @@ -105,7 +105,7 @@ bash /usr/local/Ascend/atb-models/examples/models/qwen2_vl/run_pa.sh - 运行`run_pa.sh`脚本 - 输出结果为,吞吐即为 320 / 7.44 = 43 tokens/s - 更详细的性能数据,如首token时延,参考终端performance输出 -- 性能测试样例(Atlas 800I A2 64G) +- 性能测试样例(Atlas 800I A2 推理服务器 64GB) - 设置`max_batch_size=32` - 设置`max_input_length=8192` @@ -146,8 +146,8 @@ vim /usr/local/Ascend/mindie/latest/mindie-service/conf/config.json ... "ModelDeployConfig": { -"maxSeqLen" : 50000, # QvQ模型最大支持128000 -"maxInputTokenLen" : 50000, # QvQ模型最大支持128000 +"maxSeqLen" : 50000, +"maxInputTokenLen" : 50000, "truncation" : false, "ModelConfig" : [ { @@ -212,7 +212,7 @@ curl 127.0.0.1:1040/generate -d '{ ```shell curl 127.0.0.1:1040/v1/chat/completions -d ' { -"model": "internvl", +"model": "qwen2_vl", "messages": [{ "role": "user", "content": [ @@ -227,4 +227,7 @@ curl 127.0.0.1:1040/v1/chat/completions -d ' { "top_p": 0.001, "top_k": 1 }' -``` \ No newline at end of file +``` +## 声明 +- 本代码仓提到的数据集和模型仅作为示例,这些数据集和模型仅供您用于非商业目的,如您使用这些数据集和模型来完成示例,请您特别注意应遵守对应数据集和模型的License,如您因使用数据集或模型而产生侵权纠纷,华为不承担任何责任。 +- 如您在使用本代码仓的过程中,发现任何问题(包括但不限于功能问题、合规问题),请在本代码仓提交issue,我们将及时审视并解答。 \ No newline at end of file diff --git a/MindIE/MultiModal/Qwen2-VL/Qwen2_vl_72b_instruct/README.md b/MindIE/MultiModal/Qwen2-VL/Qwen2_vl_72b_instruct/README.md index f4e516dabe6be13e315c4c9e16a8d41e5c93e21f..763e465c22baa0ab46af7b3fcb190ba4664f9bcc 100644 --- a/MindIE/MultiModal/Qwen2-VL/Qwen2_vl_72b_instruct/README.md +++ b/MindIE/MultiModal/Qwen2-VL/Qwen2_vl_72b_instruct/README.md @@ -22,7 +22,7 @@ Qwen2-VL-72B-Instruct 是阿里云研发的大规模视觉语言模型(Large V 完成之后,请使用`docker images`命令确认查找具体镜像名称与标签。 ## 硬件要求 -部署Qwen2-VL-72B-Instruct模型至少需要1台Atlas 800I A2 32G服务器 +部署Qwen2-VL-72B-Instruct模型至少需要1台Atlas 800I A2 推理服务器 32GB ## 新建容器 @@ -65,7 +65,7 @@ pip install -r requirements/models/requirements_qwen2_vl.txt - 修改`/usr/local/Ascend/atb-models/examples/models/qwen2_vl/run_pa.sh`脚本 ```shell -# 设置卡数,Atlas-800I-A2-32G必须八卡,Atlas-800I-A2-64G四卡八卡均可 +# 设置卡数,Atlas 800I A2 推理服务器 32GB上必须八卡,Atlas 800I A2 推理服务器 64GB上四卡八卡均可 export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 ... @@ -96,7 +96,7 @@ shm_name_save_path="./shm_name.txt" bash /usr/local/Ascend/atb-models/examples/models/qwen2_vl/run_pa.sh ``` -- 性能测试样例(Atlas 800I A2 32G) +- 性能测试样例(Atlas 800I A2 推理服务器 32GB) - 设置`max_batch_size=4` - 设置`max_input_length=8192` @@ -105,7 +105,7 @@ bash /usr/local/Ascend/atb-models/examples/models/qwen2_vl/run_pa.sh - 运行`run_pa.sh`脚本 - 输出结果为,吞吐即为 320 / 7.44 = 43 tokens/s - 更详细的性能数据,如首token时延,参考终端performance输出 -- 性能测试样例(Atlas 800I A2 64G) +- 性能测试样例(Atlas 800I A2 推理服务器 64GB) - 设置`max_batch_size=32` - 设置`max_input_length=8192` @@ -212,7 +212,7 @@ curl 127.0.0.1:1040/generate -d '{ ```shell curl 127.0.0.1:1040/v1/chat/completions -d ' { -"model": "internvl", +"model": "qwen2_vl", "messages": [{ "role": "user", "content": [ @@ -227,4 +227,7 @@ curl 127.0.0.1:1040/v1/chat/completions -d ' { "top_p": 0.001, "top_k": 1 }' -``` \ No newline at end of file +``` +## 声明 +- 本代码仓提到的数据集和模型仅作为示例,这些数据集和模型仅供您用于非商业目的,如您使用这些数据集和模型来完成示例,请您特别注意应遵守对应数据集和模型的License,如您因使用数据集或模型而产生侵权纠纷,华为不承担任何责任。 +- 如您在使用本代码仓的过程中,发现任何问题(包括但不限于功能问题、合规问题),请在本代码仓提交issue,我们将及时审视并解答。 \ No newline at end of file diff --git a/MindIE/MultiModal/Qwen2-VL/Qwen2_vl_7b_instruct/README.md b/MindIE/MultiModal/Qwen2-VL/Qwen2_vl_7b_instruct/README.md index 5694e0240b34f2dc7872cbdae19fe6e07caefe7d..0a938ba5b301daea92cbe8bd09ac69ba9008875a 100644 --- a/MindIE/MultiModal/Qwen2-VL/Qwen2_vl_7b_instruct/README.md +++ b/MindIE/MultiModal/Qwen2-VL/Qwen2_vl_7b_instruct/README.md @@ -22,7 +22,7 @@ Qwen2-VL-7B-Instruct 是阿里云研发的大规模视觉语言模型(Large Vi 完成之后,请使用`docker images`命令确认查找具体镜像名称与标签。 ## 硬件要求 -部署Qwen2-VL-7B-Instruct模型至少需要1台Atlas 800I A2 32G服务器 +部署Qwen2-VL-7B-Instruct模型至少需要1台Atlas 800I A2 推理服务器 32GB ## 新建容器 @@ -65,7 +65,7 @@ pip install -r requirements/models/requirements_qwen2_vl.txt - 修改`/usr/local/Ascend/atb-models/examples/models/qwen2_vl/run_pa.sh`脚本 ```shell -# 设置卡数,Atlas-800I-A2-32G必须八卡,Atlas-800I-A2-64G四卡八卡均可 +# 设置卡数,Atlas 800I A2 推理服务器 32GB上必须八卡,Atlas 800I A2 推理服务器 64GB上四卡八卡均可 export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 ... @@ -96,7 +96,7 @@ shm_name_save_path="./shm_name.txt" bash /usr/local/Ascend/atb-models/examples/models/qwen2_vl/run_pa.sh ``` -- 性能测试样例(Atlas 800I A2 32G) +- 性能测试样例(Atlas 800I A2 推理服务器 32GB) - 设置`max_batch_size=4` - 设置`max_input_length=8192` @@ -105,7 +105,7 @@ bash /usr/local/Ascend/atb-models/examples/models/qwen2_vl/run_pa.sh - 运行`run_pa.sh`脚本 - 输出结果为,吞吐即为 320 / 7.44 = 43 tokens/s - 更详细的性能数据,如首token时延,参考终端performance输出 -- 性能测试样例(Atlas 800I A2 64G) +- 性能测试样例(Atlas 800I A2 推理服务器 64GB) - 设置`max_batch_size=32` - 设置`max_input_length=8192` @@ -212,7 +212,7 @@ curl 127.0.0.1:1040/generate -d '{ ```shell curl 127.0.0.1:1040/v1/chat/completions -d ' { -"model": "internvl", +"model": "qwen2_vl", "messages": [{ "role": "user", "content": [ @@ -227,4 +227,7 @@ curl 127.0.0.1:1040/v1/chat/completions -d ' { "top_p": 0.001, "top_k": 1 }' -``` \ No newline at end of file +``` +## 声明 +- 本代码仓提到的数据集和模型仅作为示例,这些数据集和模型仅供您用于非商业目的,如您使用这些数据集和模型来完成示例,请您特别注意应遵守对应数据集和模型的License,如您因使用数据集或模型而产生侵权纠纷,华为不承担任何责任。 +- 如您在使用本代码仓的过程中,发现任何问题(包括但不限于功能问题、合规问题),请在本代码仓提交issue,我们将及时审视并解答。 \ No newline at end of file