From dd6a41712b5a2055a1a43680dcb7230b077b22be Mon Sep 17 00:00:00 2001 From: xiaoCY Date: Thu, 3 Apr 2025 02:19:37 +0000 Subject: [PATCH] =?UTF-8?q?=E8=A1=A5=E5=85=85sysHAX=E5=A3=B0=E6=98=8E?= =?UTF-8?q?=E4=BF=A1=E6=81=AF?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: xiaoCY --- .../zh/tools/ai/syshax_userguide/sysHax-deployment-guide.md | 6 ++++-- 1 file changed, 4 insertions(+), 2 deletions(-) diff --git a/docs/zh/tools/ai/syshax_userguide/sysHax-deployment-guide.md b/docs/zh/tools/ai/syshax_userguide/sysHax-deployment-guide.md index 7ed02aff4..ad3fd79d3 100644 --- a/docs/zh/tools/ai/syshax_userguide/sysHax-deployment-guide.md +++ b/docs/zh/tools/ai/syshax_userguide/sysHax-deployment-guide.md @@ -1,6 +1,8 @@ -# vllm部署指南 +# sysHAX部署指南 -**高吞吐、低内存占用**的**大语言模型（LLM）推理与服务引擎**，支持**CPU 计算加速**，提供高效的算子下发机制，包括： +sysHAX当前处于快速迭代阶段，基于vllm v0.6.6+npu进行验证。vllm官方发布的正式支持npu的版本为v0.7.1rc1，而当前用的vllm版本处于验证阶段，未合入主线。因此，在当前创新版本中暂不以源码形式发布，而是以容器化的形式为大家提供技术尝鲜。也欢迎开发者在使用过程中有任何问题和建议，可以在sig-Intelligence组中进行充分交流。 + +vllm是一款**高吞吐、低内存占用**的**大语言模型（LLM）推理与服务引擎**，支持**CPU 计算加速**，提供高效的算子下发机制，包括： - **Schedule（调度）**：优化任务分发，提高并行计算效率 - **Prepare Input（准备数据）**：高效的数据预处理，加速输入构建 -- Gitee