[22.03 LTS] qemu 将使用本地磁盘做后端存储，fio测试，会阻塞io

## 问题复现步骤

在虚拟机中增加virtio-blk数据盘:
```
-device virtio-blk-pci,drive=drive1,iothread=iothread0 \
-drive file=/dev/sda,if=none,id=drive1,format=raw,aio=native,cache.direct=on \
```

设置虚拟机cpu数量 > 4:
```
-smp 8
```

在host中，将sda 的`nr_requests`修改为`>= 1024`:
```
echo 1024 > /sys/block/sda/queue/nr_requests
```

启动虚拟机，查看virtio-blk 队列数量 (需要>4)
```
 25:          7          0          0          0          0          0          0          0  PCI-MSIX-0000:00:03.0   1-edge      virtio1-req.0
 26:          0          0          0          0          0          0          0          0  PCI-MSIX-0000:00:03.0   2-edge      virtio1-req.1
 27:          0          0          8          0          0          0          0          0  PCI-MSIX-0000:00:03.0   3-edge      virtio1-req.2
 28:          0          0          0          2          0          0          0          0  PCI-MSIX-0000:00:03.0   4-edge      virtio1-req.3
 29:          0          0          0          0         15          0          0          0  PCI-MSIX-0000:00:03.0   5-edge      virtio1-req.4
 30:          0          0          0          0          0        102          0          0  PCI-MSIX-0000:00:03.0   6-edge      virtio1-req.5
 31:          0          0          0          0          0          0         28          0  PCI-MSIX-0000:00:03.0   7-edge      virtio1-req.6
 32:          0          0          0          0          0          0          0          0  PCI-MSIX-0000:00:03.0   8-edge      virtio1-req.7
```

使用fio做多线程读测试:
```
[global]
ioengine=libaio
direct=1
loops=0

## group_reporting
bs=512
iodepth=256
[randread]
rw=randread
numjobs=8
## vda为host上, /dev/sda映射的virtio-blk设备
filename=/dev/vda
```
需要让 `numjobs > 4`, 测试一段时间后（不同设备情况不一样，机械盘比较容易复现) 关闭fio测试，
使用下面dd命令测试磁盘io
```
[root@localhost ~]# dd if=/dev/vda of=/dev/null bs=512 count=1 iflag=direct
1+0 records in
1+0 records out
512 bytes copied, 0.305662 s, 1.7 kB/s
[root@localhost ~]#
[root@localhost ~]#
[root@localhost ~]# dd if=/dev/vda of=/dev/null bs=512 count=1 iflag=direct
```

> 第一个io可能会成功下发，多测试几次，正常来说问题复现后，第二次执行一定会hung住。

查看dd进程，发现该进程已经为D状态:
```
root        1418  0.0  0.0   5620  1792 pts/1    D+   03:05   0:00 dd if=/dev/vda of=/dev/null bs=512 count=1 iflag=direct
```
使用gdb attach该进程, 在`laio_do_unplug`打断点，继续做fio测试, 进入断点后，查看`s->io_q`

```
(gdb) p s->io_q
$1 = {plugged = 5432, in_queue = 758, in_flight = 0, blocked = true, pending = {sqh_first = 0x7f39cabaf780, sqh_last = 0x7f39b080d7f0}}
```

发现`plugged`值已经不正常了.

openEuler/qemu
关闭

内容风险标识

评论 (2)

openEuler/qemu关闭 .gitee-modal { width: 500px !important; }

内容风险标识