[Bugfix] Fixed the issue of profiling memory incorrectly · Pull Request !437 · MindSpore/vllm-mindspore

<!--  Thanks for sending a pull request!  Here are some tips for you:

1) If this is your first time, please read our contributor guidelines: https://gitee.com/mindspore/mindspore/blob/master/CONTRIBUTING.md

2) If you want to contribute your code but don't know who will review and merge, please add label `mindspore-assistant` to the pull request, we will find and do it as soon as possible.
-->

**What type of PR is this?**

/kind bug

**What does this PR do / why do we need it**:
修复profiling memory不准确，服务化拉起后请求长序列时OOM的问题

**Which issue(s) this PR fixes**:

Fixes #IC3YI3

---------------

### 问题根因
由于mindspore的显存调度和碎片整理效果欠佳，造成显存碎片较多，导致已占有的显存无法被充分利用，`torch.cuda.memory_stats().get("allocated_bytes.all.peak", 0)`偏低，不能真实反应显存占用情况。而kvcache分配时依据memory_allocated结果计算可用空间，因此实际可用空间会小于预估可用空间，在910B4机器上单卡运行qwen-7B模型场景下，会造成OOM。
### 修复方案
在mindspore上，`torch.cuda.memory_reserved()`更为接近显存使用量的真实值，因此使用该接口返回结果替代原生vllm的结果。相比于原先方案，修复方案下使用默认`gpu-memory-utilization`参数配置可能会导致性能降低，但是可以通过配置更大的`gpu-memory-utilization`以提高性能。
### 性能测试结果
#### mf-deepseek-v3
启动命令：
```bash
python3 -m vllm_mindspore.entrypoints vllm.entrypoints.openai.api_server --model "/DeepSeek-V3" --trust_remote_code --tensor_parallel_size=16 --max-num-seqs=192 --max_model_len=32768 --max-num-batched-tokens=16384 --gpu-memory-utilization=0.9 --distributed-executor-backend=ray
```
原方案KV Cache空间大小：9.13GiB
新方案KV Cache空间大小：8.54GiB

原方案npu blocks数：8719
新方案npu blocks数：8150

#### mf-qwen-7b
启动命令：
```bash
python3 -m vllm_mindspore.entrypoints vllm.entrypoints.openai.api_server --model "/Qwen2.5-7B-Instruct" --trust_remote_code --tensor_parallel_size=1 --max-num-batched-tokens=32768 --max-num-seqs=1
```
原方案KV Cache空间大小：37.85GiB
新方案KV Cache空间大小：36.40GiB

原方案npu blocks数：44292
修复后npu blocks数：42593

类型	指派人员	状态
审查	TronZhang	已完成 (0/0人)
测试	TronZhang	已完成 (0/0人)

MindSpore/vllm-mindspore .gitee-modal { width: 500px !important; }

搜索帮助

MindSpore/vllm-mindspore