Function call support v0.9.1 · Pull Request !684 · MindSpore/vllm-mindspore

1. Function call support v0.9.1

---
<!--  Thanks for sending a pull request!  Here are some tips for you:

1) If this is your first time, please read our contributor guidelines: https://gitee.com/mindspore/mindspore/blob/master/CONTRIBUTING.md

2) If you want to contribute your code but don't know who will review and merge, please add label `mindspore-assistant` to the pull request, we will find and do it as soon as possible.
-->

**What type of PR is this?**

/kind task

**What does this PR do / why do we need it**:
使用Function call功能时，需配合deepseek osl-w8a8权重使用
#### Serving Chat API Single Request Test （Loop 100 times）
> ```Shell
> curl http://0.0.0.0:8000/v1/chat/completions -H "Content-Type: application/json" -d '{"model": "/hf_quant_ckpt/dsr1-w8a8","messages": [{"role": "user", "content": "You are a helpful assistant.<｜User｜>将文本分类为中性、负面或正面。 \n文本：今天的天气阳光明媚。 \n情感：<｜Assistant｜><think>\n"}],"temperature": 1,"repetition_penalty": 1, "top_k": 20}'
> 
> {"id":"chatcmpl-54c91bae4c934c3f8c9a16bb15a60175","object":"chat.completion","created":1753091764,"model":"/hf_quant_ckpt/dsr1-w8a8","choices":[{"index":0,"message":{"role":"assistant","reasoning_content":null,"content":"<think>\n好的，我现在需要将给定的中文文本分类为中性、负面或正面。文本是“今天的天气阳光明媚。”，用户要判断这句话的情感倾向。\n\n首先，我需要明确每个情感类别的标准。正面情感通常带有积极的词汇和表达，比如“好”、“快乐”、“美丽”等；负面情感则涉及消极词汇，比如“糟糕”、“悲伤”、“麻烦”等；中性则是没有明显的情感倾向，比较客观的描述。\n\n接下来分析这句话。“阳光明媚”是一个常用词组，通常用来形容天气晴朗、阳光充足，给人的感觉是愉快和舒适的。这个词汇带有明显的正面意义，因为它传递了温暖、晴朗的感觉，通常人们在这样的天气里心情会比较好。所以这里的“阳光明媚”是一个积极的描述，表达了对天气的满意和赞美。\n\n进一步检查是否有其他可能影响情感分类的词汇或结构。句子结构简单，没有否定词或转折词，比如“虽然阳光明媚，但是……”，这种情况下整体情感不会被削弱或反转。整个句子没有矛盾或复杂结构，所以主要看核心词汇的情感色彩。\n\n确认是否存在中性或隐含的其他情感。比如“阳光明媚”是否有可能在特定上下文中带有负面意味？比如如果是在描述干旱导致的天气，可能阳光明媚反而负面，但这句话没有上下文，所以默认常规理解，即正面情感。\n\n排除其他可能性，比如中性。中性句子可能类似于“今天是星期三，天气多云。”没有明显的情感词。而这里的“阳光明媚”明显属于正面词汇，所以情感应为正面。\n\n因此，综合以上分析，判断这句话的情感为正面。\n</think>\n\n情感：正面","tool_calls":[]},"logprobs":null,"finish_reason":"stop","stop_reason":null}],"usage":{"prompt_tokens":36,"total_tokens":362,"completion_tokens":326,"prompt_tokens_details":null},"prompt_logprobs":null,"kv_transfer_params":null}
> ```

#### GSM8k Dateset Test
```Shell
benchmark --DatasetPath "/home/w00806915/benchmark/datasets/GSM8K/" --DatasetType "gsm8k" --ModelName "/hf_quant_ckpt/V3-0324-A8W8/" --ModelPath "/hf_quant_ckpt/V3-0324-A8W8/" --TestType openai --Http "http://localhost:8000" --ManagementHttp "http://localhost:8000" --Concurrency 128 --TaskKind stream --MaxOutputLen 6000 --Tokenizer True --TestAccuracy True --RequestTimeOut 3600
```
Result:
![输入图片说明](https://foruda.gitee.com/images/1753510619409329536/92fffa83_8494823.png "屏幕截图")

#### Function Call Test 
> ```Shell
> [root@master temp]# python test_function_call.py
> --------test #000--------
> streamed tool call id: chatcmpl-tool-2c64f53a16904935906369a352b75f40
> streamed tool call name: batch_search
> streamed tool call arguments: {"querys": ["Sora 影视制作 应用案例", "Sora 广告创意 实际应用", "Sora 教育领域 应用案例", "Sora 游戏开发 实际应用", "Sora 行业影响分析"]}
> 
> 
> --------test #001--------
> streamed tool call id: chatcmpl-tool-ec1a025d51564fbca33962d87eff141d
> streamed tool call name: batch_search
> streamed tool call arguments: {"querys": ["Sora 影视制作 实际应用案例", "Sora 广告创意 实际应用案例", "Sora 教育 实际应用案例", "Sora 游戏开发 实际应用案例", "Sora 行业影响分析"]}
> 
> 
> --------test #002--------
> streamed tool call id: chatcmpl-tool-d0da075281914945a455fd656ebed498
> streamed tool call name: batch_search
> streamed tool call arguments: {"querys": ["Sora 影视制作 应用案例", "Sora 广告创意 应用案例", "Sora 教育 应用案例", "Sora 游戏开发 应用案例", "Sora 行业影响分析"]}
> ```

**Which issue(s) this PR fixes**:

Fixes #ICMZ8D

**Code review checklist [【代码检视checklist说明】](https://gitee.com/mindspore/community/blob/master/security/code_review_checklist_mechanism.md)**:

+ - [ ] 是否进行返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值，C++标准库函数确认无问题可以屏蔽)
+ - [ ] 是否遵守 ***SOLID原则 / 迪米特法则***
+ - [ ] 是否具备UT测试用例看护 && 测试用例为有效用例 (若新特性无测试用例看护请说明原因)
+ - [ ] 是否为对外接口变更
+ - [ ] 是否涉及官网文档修改

类型	指派人员	状态
审查	TronZhang	已完成 (0/0人)
测试	TronZhang	已完成 (0/0人)

MindSpore/vllm-mindspore .gitee-modal { width: 500px !important; }

搜索帮助

MindSpore/vllm-mindspore