virtCCA: Improve cvm performance. · Pull Request !17792 · openEuler/kernel

1. Add ipi direct inject method
2. Improve cvm vtimer irq inject method
3. Add poll method for nfs
4. Add dynamic wfx trap method for virtcca cvm

特性一：Add ipi direct inject method
【特性背景及优化效果描述】
virtCCA机密虚机运行在安全世界，虚拟核间中断注入性能相比普通虚机劣化1倍+，这导致在核间通信密集型业务场景，ARM机密虚机执行性能相比普通虚机劣化1倍+。
本特性通过机密虚机核间中断软件直通将平均核间中断通知耗时从7us降低至<3us，将数据库黑匣子写IO端到端时延降低40%+。
【特性修改描述】
本特性包含如下关键修改点：
1、支持用户将核间中断负载高的vcpu设置为中断软件直通vcpu ，该vcpu的idle进程负责轮询中断注入percpu变量等待核间中断通知；
2、核间中断发送vcpu检测到目标vcpu支持中断软件直通后，基于核间中断注入percpu变量将核间中断直通至目标vcpu。
【特性使用方法】
1.机密虚机GuestOS中执行如下操作使能核间中断软件直通轮询：
echo $vcpu_mask > /sys/kernel/soft_ipi_passthrough

特性二：Improve vtimer irq inject method
【特性背景及优化效果描述】
virtCCA机密虚机运行在ARM安全世界，无法通过vGIC LR寄存器的HW bit将虚拟定时中断与硬件定时中断绑定，虚拟定时中断注入不及时，导致vtimer硬件定时中断触发频繁（定时中断触发次数最大可达普通虚机的100倍+），从而导致GuestOS业务被定时中断频繁打断，直接影响机密虚机调度性能。 本特性通过优化机密虚机vtimer定时中断注入机制，可以消除机密虚机冗余定时中断，不影响系统原有Tick中断频率，将机密虚机核间调度时延降低50%+。
【特性修改描述】
本特性涉及如下关键修改点：
1、在机密虚机配套固件中增加定时器中断Mask逻辑：检查定时器是否到期，若到期则通过vtimer控制寄存器mask vtimer硬件中断，若未到期则通过vtimer控制寄存器unmask vtimer硬件中断；
2、解除虚拟定时中断注入对vtimer硬件中断mask bit位的依赖，保障机密虚机在vtimer硬件中断mask时能够正常接受虚拟定时中断注入。
【特性使用方法】
本特性补丁打入后直接使能机密虚机定时中断优化。

特性三：Add ib_core poll method for nfs
【特性背景及优化效果描述】
通过NFS over RDMA协议可以提升网络文件系统读写性能，该协议性能受制于内核RPC调用性能。内核RPC调用通过中断异步通知响应处理工作者执行RDMA收包动作。中断通知不及时将会直接导致RPC响应处理不及时，从而影响网络文件系统读写性能。机密虚机场景下中断通知性能下降导致网络文件系统读写性能劣化20%+，从而导致数据安全存储性能劣化(8W IOPS场景下存储写时延高达700us)。数据安全存储耗时在工行数据安全保护方案端到端耗时中占比超过35%，且这个占比会随着数据存储压力增大而增加，直接影响工行数据安全保护解决方案商用落地。 本特性补丁通过内核态轮询机制轮询RDMA完成队列，从而在不依赖中断通知的情况下快速接收处理远端数据包，将存储IO平均写时延从600us+优化至400us以内。
【特性修改描述】
通过内核态轮询机制轮询RDMA完成队列，从而在不依赖中断通知的情况下快速接收处理远端数据包，大大提升机密虚机场景下内核RPC调用性能。
本特性仅涉及如下代码修改：
1.新增ib_core_cq_poll内核模块，支持独立编译构建
2.在内核ib_core模块中新增轮询特性管理结构，特性开启自动搜集cq链表，仅新增三行代码修改，受特性开关隔离控制，本特性默认关闭，对内核原生流程无影响。
【特性使用方法】
1.GuestOS编译：
配置CONFIG_IB_CORE_CQ_POLL为m，编译ib_core_cq轮询模块
2.GuestOS中执行如下操作使能ib_core_cq轮询：
1)加载ib_core_cq轮询模块：
insmod ib_core_cq_poll.ko
2)设置轮询核核号，启动轮询线程：
echo $vcpu_id > /sys/kernel/ib_core_poll_cpu

特性四：Add dynamic wfx trap method for virtcca cvm
【特性背景及优化效果描述】
机密虚机vcpu使能wfx trap后，vcpu线程进入睡眠模式，再次被调入的成本较高。对于vcpu独占物理核场景，可以禁用wfx trap，从而让vcpu线程空闲后直接进入轮询状态，减少下次调入耗时，从而将机密虚机vcpu平均调度耗时降低5%左右。
【特性修改描述】
本特性仅涉及如下修改：
1.在virtcca_cvm.c文件中新增sysfs接口，支持用户动态设置哪些vcpu核禁用wfx trap;
2.在virtcca_cvm vcpu enter接口中新增wfx no trap mask判断。
不涉及对内核原生流程修改，也不影响virtcca基础功能。
【特性使用方法】
1.在virtcca cvm HostOS中通过sys接口设置wfx no trap mask：
echo $cpu_mask > /sys/kernel/cvm_wfx_trap_config

#https://gitee.com/openeuler/release-management/issues/ICV6VM

GVPopenEuler/kernel

搜索帮助

GVP openEuler/kernel