From 860b6fe5517ba2ed307baf1375606beb37cab02c Mon Sep 17 00:00:00 2001 From: zhangyale <1194926515@qq.com> Date: Tue, 21 Oct 2025 02:30:26 +0000 Subject: [PATCH] =?UTF-8?q?update=20documents/user-guide/=E9=83=A8?= =?UTF-8?q?=E7=BD=B2=E6=8C=87=E5=8D=97/NPU=E6=8E=A8=E7=90=86=E6=9C=8D?= =?UTF-8?q?=E5=8A=A1=E5=99=A8=E9=83=A8=E7=BD=B2=E6=8C=87=E5=8D=97.md.?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: zhangyale <1194926515@qq.com> --- ...50\347\275\262\346\214\207\345\215\227.md" | 61 +++++++++++-------- 1 file changed, 35 insertions(+), 26 deletions(-) diff --git "a/documents/user-guide/\351\203\250\347\275\262\346\214\207\345\215\227/NPU\346\216\250\347\220\206\346\234\215\345\212\241\345\231\250\351\203\250\347\275\262\346\214\207\345\215\227.md" "b/documents/user-guide/\351\203\250\347\275\262\346\214\207\345\215\227/NPU\346\216\250\347\220\206\346\234\215\345\212\241\345\231\250\351\203\250\347\275\262\346\214\207\345\215\227.md" index 63e00abd0..4896c6e44 100644 --- "a/documents/user-guide/\351\203\250\347\275\262\346\214\207\345\215\227/NPU\346\216\250\347\220\206\346\234\215\345\212\241\345\231\250\351\203\250\347\275\262\346\214\207\345\215\227.md" +++ "b/documents/user-guide/\351\203\250\347\275\262\346\214\207\345\215\227/NPU\346\216\250\347\220\206\346\234\215\345\212\241\345\231\250\351\203\250\347\275\262\346\214\207\345\215\227.md" @@ -158,38 +158,47 @@ curl http://localhost:8090/embed \ ```bash vim euler-copilot-framework_3/deploy/chart/euler_copilot/values.yaml ``` -```yaml +``` models: + # 用于问答的大语言模型;需要OpenAI兼容的API answer: - url: http://:8000/openai + # [必需] API端点URL(请根据API提供商文档确认是否包含"v1"后缀) + endpoint: https://$ip:$port/v1 + # [必需] API密钥;默认为空 key: sk-123456 - name: DeepSeek-R1-Distill-Llama-70B - ctx_length: 8192 - max_tokens: 2048 - parameters: # 新增性能参数 - batch_size: 8 - tensor_parallel: 8 - functioncall: + # [必需] 模型名称 + name: qwen3-32b + # [必需] 模型最大上下文长度;推荐>=8192 + ctxLength: 8192 + # 模型最大输出长度,推荐>=2048 + maxTokens: 8192 + # 用于函数调用的模型;推荐使用特定的推理框架 + functionCall: # 推理框架类型,默认为ollama - # 可用的框架类型:["vllm", "sglang", "ollama", "openai"] - backend: vllm - # 模型地址;不填则与问答模型一致 - url: - # API Key;不填则与问答模型一致 - key: - # 模型名称;不填则与问答模型一致 - name: - # 模型最大上下文数;不填则与问答模型一致 - ctx_length: - # 模型最大输出长度;不填则与问答模型一致 - max_tokens: - # 用于数据向量化(Embedding)的模型 + # 可用框架类型:["vllm", "sglang", "ollama", "openai"] + backend: openai + # [必需] 模型端点;请根据API提供商文档确认是否包含"v1"后缀 + # 留空则使用与问答模型相同的配置 + endpoint: https://$ip:$port/v1 + # API密钥;留空则使用与问答模型相同的配置 + key: sk-123456 + # 模型名称;留空则使用与问答模型相同的配置 + name: qwen3-32b + # 模型最大上下文长度;留空则使用与问答模型相同的配置 + ctxLength: 8192 + # 模型最大输出长度;留空则使用与问答模型相同的配置 + maxTokens: 8192 + # 用于数据嵌入的模型 embedding: - type: mindie - url: http://:8090/v1 # 注意v1路径 + # 推理框架类型,默认为openai + # [必需] Embedding API类型:["openai", "mindie"] + type: openai + # [必需] Embedding URL(需要包含"v1"后缀) + endpoint: https://$ip:$port/v1 + # [必需] Embedding模型API密钥 key: sk-123456 - name: bge-m3 - max_length: 8192 # 添加长度限制 + # [必需] Embedding模型名称 + name: BAAI/bge-m3 ``` ## 更新服务 ```bash -- Gitee