diff --git a/docs/zh/tools/ai/syshax_userguide/sysHax-deployment-guide.md b/docs/zh/tools/ai/syshax_userguide/sysHax-deployment-guide.md index 7ed02aff41773eb031748a1d98186796ff860953..ad3fd79d3ee314ddef41a8b0d1bfb52f4397ce3c 100644 --- a/docs/zh/tools/ai/syshax_userguide/sysHax-deployment-guide.md +++ b/docs/zh/tools/ai/syshax_userguide/sysHax-deployment-guide.md @@ -1,6 +1,8 @@ -# vllm部署指南 +# sysHAX部署指南 -**高吞吐、低内存占用**的**大语言模型(LLM)推理与服务引擎**,支持**CPU 计算加速**,提供高效的算子下发机制,包括: +sysHAX当前处于快速迭代阶段,基于vllm v0.6.6+npu进行验证。vllm官方发布的正式支持npu的版本为v0.7.1rc1,而当前用的vllm版本处于验证阶段,未合入主线。因此,在当前创新版本中暂不以源码形式发布,而是以容器化的形式为大家提供技术尝鲜。也欢迎开发者在使用过程中有任何问题和建议,可以在sig-Intelligence组中进行充分交流。 + +vllm是一款**高吞吐、低内存占用**的**大语言模型(LLM)推理与服务引擎**,支持**CPU 计算加速**,提供高效的算子下发机制,包括: - **Schedule(调度)**:优化任务分发,提高并行计算效率 - **Prepare Input(准备数据)**:高效的数据预处理,加速输入构建