baichuan2推理输出结果不正确

### 该问题是怎么引起的？

### 重现步骤
SDK版本：MR-100 4.0.1
cd deepsparkinference/models/nlp/large_language_model/baichuan2-7b/vllm

安装说明文档执行以下命令：
python3 offline_inference.py --model /home/work/app-store/saas-assets/pretrained/common/models/baichuan-inc/Baichuan2-7B-Chat/ --chat_template template_baichuan.jinja --trust-remote-code

### 报错信息
Prompt: 哪些迹象可能表明一个人正在经历焦虑?
Generated text: 一个人可能表现出以下症状，表明他们正经历焦虑：

1.

tokens: 16, QPS: 36.24999707550183

以上输入的内容不完整。

修改推理命令：
python3 offline_inference.py --model /home/work/app-store/saas-assets/pretrained/common/models/baichuan-inc/Baichuan2-7B-Chat/ --chat_template template_baichuan.jinja --trust-remote-code --max-tokens 256

输入内容完整：
Prompt: 哪些迹象可能表明一个人正在经历焦虑?
Generated text: 以下是一些可能表明一个人正在经历焦虑的迹象：

1. 紧张和焦虑的情绪：一个人可能会感到紧张、恐慌、不安或担忧。

2. 等待难以忍受：一个人可能会觉得难以耐心等待事情发生，这可能会表现为焦虑。

3. 睡眠问题：一个人可能会遇到难以入睡或保持睡眠，这可能会让人感到焦虑。

4. 增强的敏感性和害怕：一个人可能会感到比平时更敏感，对情绪的反应也会更加强烈。

5. 情绪波动：一个人可能会出现突然的情绪波动，从抑郁到愤怒再到恐慌。

6. 身体表现：焦虑可能会引起生理症状，如头痛、肩膀紧张、很容易疲劳、不适等。

7. 回避：一个人可能会回避因为他们的焦虑而感到恐惧的地方或情况。

8. 身体症状：焦虑可能会导致生理症状，如心跳加速、出汗、嗓子干涩或消化不良。

9. 思维扭曲：一个焦虑的人可能会以一种扭曲的方式看待事情，并过度担忧潜在的负面结果。

10. 要求和期望过高：一个人可能会对自己和别人提出过高的要求和期望，这可能会导致焦虑。

当一个人出现这些迹象时，他们可能需要寻求专业帮助来应对和管理

建议修改ReadMe，确保用户按照测试说明得到正确结果

DeepSpark/DeepSparkInference

内容风险标识

评论 (1)

DeepSpark/DeepSparkInference .gitee-modal { width: 500px !important; }

内容风险标识