From 4c935ae59e6d7e91c4c2698466d9046ae6ad4341 Mon Sep 17 00:00:00 2001
From: Kepontry <Kepontry@163.com>
Date: Wed, 10 May 2023 04:04:30 -0700
Subject: [PATCH] add articles/20230509-vf2-hw-prefetch.md

---
 articles/20230509-vf2-hw-prefetch.md | 203 +++++++++++++++++++++++++++
 1 file changed, 203 insertions(+)
 create mode 100644 articles/20230509-vf2-hw-prefetch.md

diff --git a/articles/20230509-vf2-hw-prefetch.md b/articles/20230509-vf2-hw-prefetch.md
new file mode 100644
index 0000000..5ab048c
--- /dev/null
+++ b/articles/20230509-vf2-hw-prefetch.md
@@ -0,0 +1,203 @@
+> Corrector: [TinyCorrect](https://gitee.com/tinylab/tinycorrect) v0.1 - [tounix spaces codeinline tables urls pangu autocorrect]<br/>
+> Author:    Kepontry <Kepontry@163.com><br/>
+> Date:      2023/5/9<br/>
+> Revisor:   Falcon <falcon@tinylab.org><br/>
+> Project:   [RISC-V Linux 内核剖析](https://gitee.com/tinylab/riscv-linux)<br/>
+> Proposal:  [VisionFive 2 开发板软硬件评测及软件 gap 分析](https://gitee.com/tinylab/riscv-linux/issues/I64ESM)<br/>
+> Sponsor:   PLCT Lab, ISCAS
+
+# 基于 RISC-V SoC JH7110 的缓存预取调优
+
+## 简介
+
+### 缓存预取
+
+缓存预取（Cache Prefetching），即提前将指令或数据从内存中取到 Cache，是 CPU 用于提升执行性能的一项技术。根据预取数据的不同类型，可以划分为指令预取和数据预取。指令预取通常与分支预测结合，用于预测执行未来的指令，目前已经广泛应用于各大高性能 CPU 中。数据预取通常分软件和硬件两种，本文默认指硬件预取。数据预取的准确率和覆盖率不如指令预取，但近年来也不断出现在各款 CPU 中，发挥着重要作用。
+
+### 预取及时性
+
+除了准确率与覆盖率，数据预取也需要关注及时性。如果数据过早进入 Cache，将会替换其它可能被用到的数据，从而污染 Cache。如果数据过晚进入 Cache，预取的作用不能得到充分发挥。
+
+### 预取距离
+
+预取距离通常指在固定步长（相邻两次访存的地址差）的访问中，提前多少个元素取数据。下面是一个数组遍历赋值的示例，假设一个 int 类型数据的大小为 4 字节，数组 arr 的大小为 10240*4=40k。示例中，由于是逐个元素访问，步长为 4 字节。如果仅提前一个元素取数，例如在访问 arr[2] 时预取 arr[3]，数据可能来不及取回 Cache。所以需要提前多个元素取数，这个值被称为预取距离。
+
+```shell
+#define N 10240
+int i;
+long sum = 0;
+int arr[N];
+init(arr);
+for(i=0;i<N;i++){
+	sum += arr[i];
+}
+```
+
+## 预取参数设置
+
+### 测试平台简介
+
+本文的测试平台为赛昉科技的 VisionFive 2 开发板，其搭载的 JH7110 SoC 使用 SiFive U74MC 核。U74MC 包括 4 个 U74 核心和 1 个 S7 核心，其中，U74 核心可以使用 L2 预取功能，将数据从内存预取到 L2 Cache 中。其它详细参数和功能可以从 [官方数据手册][003] 中获取。
+
+### 参数简介
+
+U74MC 中设置了两个用于控制 L2 预取的 32 位寄存器，分别是 basicCtrl 和 additionalCtrl。寄存器每一位的具体含义可以在手册的第 224 页找到，在这里仅介绍本文用到的 basicCtrl 寄存器中的几个参数。其中，参数 dist、maxAllowedDist 和 linToExpThrd 的值在设置后仍然可由硬件在运行时调节。
+
+| 位范围 | 变量名         | 设置值 | 用途描述                          |
+|--------|----------------|--------|-------------------------------|
+| 0      | en             | 1      | 开启/关闭预取器                   |
+| 7-2    | dist           | 3      | 设置初始预取距离                  |
+| 13-8   | maxAllowedDist | 10     | 设置最大允许预取距离              |
+| 19-14  | linToExpThrd   | 5      | 设置预取距离的调节速度，值越小越快 |
+
+### 设置方法
+
+在手册的内存映射一节中（第 96 页）介绍了 4 个 U74 核心的预取控制寄存器的 IO 地址，地址范围为 0x0203_0000-0x0203_7FFF。但在实际测试中，该地址范围为 0x0203_2000-0x0203_9FFF，地址 0x0203_0000 无法访问。猜测是预留给 S7 核心的预取控制寄存器，但暂时没有启用，下表中采用实际测试中的地址范围。
+
+由于预取控制寄存器只有两个，所以只有起始地址后的 8 个字节是有效的。以 CPU0 为例，只有地址区间 0x0203_2000-0x0203_2007 中的内容是有效的。由于设备物理地址无法在用户空间内访问，编写程序直接访问该地址是行不通的，根据 [社区论坛讨论][001]，有两种方式可以实现设备读写，一种是通过处于 S 态的 U-Boot 进行物理地址读写，另一种是编写内核模块，通过映射后的虚拟地址进行读写。本文仅对第一种方式进行介绍。
+
+| 起始地址    | 结束地址    | 描述                  |
+|-------------|-------------|---------------------|
+| 0x0203_2000 | 0x0203_3FFF | CPU0 L2 预取控制寄存器 |
+| 0x0203_4000 | 0x0203_5FFF | CPU1 L2 预取控制寄存器 |
+| 0x0203_6000 | 0x0203_7FFF | CPU2 L2 预取控制寄存器 |
+| 0x0203_8000 | 0x0203_9FFF | CPU3 L2 预取控制寄存器 |
+
+在上电启动后按下任意键可进入 U-BOOT，使用 md 命令可查看指定内存地址的内容。实际测试中，地址 0x0203_0000 无法访问，而地址 0x0203_2000、0x0203_4000、0x0203_6000 和 0x0203_8000 均可访问。
+
+```shell
+Hit any key to stop autoboot:  0
+StarFive #
+StarFive # md 2030000
+Unhandled exception: Load access fault
+StarFive # md 2032000
+02032000: 08014a0d 0000c45e 00000000 00000000
+```
+
+使用 nm 命令可以修改指定内存地址的内容，执行命令后会先显示旧值，在问号右侧可以输入新值或退出命令 q。以下示例将旧值 08014a0d 更新为 08014a0c，以关闭预取功能。修改完成后，执行 boot 命令即可进入启动菜单选择界面。
+
+```shell
+StarFive # nm 2032000
+02032000: 08014a0d ? 08014a0c
+02032000: 08014a0c ? q
+StarFive # boot
+```
+
+## 预取实验与调优
+
+### 预取收益探究
+
+接下来以存储器山为测试应用，通过对比打开和关闭预取的实验现象，探究预取带来的性能收益。该应用按不同步长遍历不同大小的数组，通过测量带宽来得到各级存储系统的性能表现，具体介绍可以在 [之前文章][002] 中找到。
+
+之前文章中描述过一个实验现象，即当数组大于 2M 时，带宽大幅下降。这是因为 U74MC 核的 L2 Cache 大小为 2M，当工作集大于 2M 时，将产生大量的缓存缺失，从而增大平均存储访问时间。由于测试平台上的预取是将数据取到 L2 Cache，所以主要关注数组大于 2M 的带宽数据，以体现预取内存数据所带来的性能提升。
+
+以下是打开预取并使用默认预取参数的运行结果，从下表中可以观察到，当步长增大到 21 时，访存带宽逐渐下降到 100MB/s 以下。这是因为当步长增大时，缓存行的利用率降低，导致更多的缓存缺失与内存访问，这也是常说的空间局部性变差。
+
+```shell
+$ ./mountain
+Clock frequency is approx. 4.0 MHz
+Memory mountain (MB/sec)
+	s1	s3	s5	s7	s9	s11	s13	s15	s17	s19	s21	s23	s25	s27	s29	s31
+128m	296	260	232	212	199	181	167	154	145	136	80	39	39	41	48	96
+64m	295	260	232	212	199	181	165	153	144	135	79	39	39	41	48	95
+32m	295	260	231	211	198	179	164	152	143	134	79	39	39	41	48	94
+16m	295	259	230	211	196	177	160	148	141	132	77	39	39	41	48	92
+8m	295	258	230	210	192	173	153	143	138	128	75	40	40	41	49	89
+4m	295	257	229	209	189	166	145	135	133	123	78	53	59	50	59	104
+2m	298	267	241	222	203	182	165	152	145	138	126	143	154	118	137	160
+1m	300	271	247	229	212	197	183	171	166	166	165	165	165	165	165	165
+```
+
+接下来将 basicCtrl 控制寄存器的最低位置 0，关闭 CPU0 的预取功能。
+
+```shell
+StarFive # nm 2032000
+02032000: 08014a0d ? 08014a0c
+02032000: 08014a0c ? q
+StarFive # boot
+```
+
+使用 taskset 命令在 CPU 0 上运行存储器山程序，`-c` 参数指定核心序号。从以下运行结果中可以发现，当步长为 5 时，访存带宽已经降低到 100MB/s 以下。通过对比可以发现，预取通过预测未来访存地址，并提前将其取入缓存，有效地降低了缓存缺失率，从而大幅提升大数组遍历的性能。
+
+```shell
+$ taskset -c 0 ./mountain
+Clock frequency is approx. 4.0 MHz
+Memory mountain (MB/sec)
+	s1	s3	s5	s7	s9	s11	s13	s15	s17	s19	s21	s23	s25	s27	s29	s31
+128m	190	111	80	62	51	43	37	33	31	31	31	31	31	31	31	31
+64m	190	111	80	62	51	43	37	33	31	31	31	31	31	31	31	31
+32m	190	111	80	62	51	43	37	33	31	31	31	31	31	31	31	31
+16m	190	111	80	62	51	43	37	33	31	31	31	31	31	31	31	32
+8m	190	112	80	63	52	44	38	33	32	32	32	33	34	34	35	36
+4m	199	125	91	72	60	51	44	39	38	41	46	52	59	67	75	89
+2m	250	205	173	152	134	121	109	100	108	125	136	149	153	153	155	156
+1m	271	247	228	212	198	184	173	162	157	157	157	157	157	157	157	157
+```
+
+### 预取距离调优
+
+从上一节的对比结果中可以看出，预取能够提高 CPU 对空间局部性差的容忍程度。本节将改变预取距离，探究预取参数设置对性能的影响。对于步长大的访问来说，预取距离越大，发出的预取更有可能及时将数据取回 L2 Cache。为了验证这一想法，我们分别将预取距离设为最小值 1 和最大值 63，与不开预取和打开默认预取（预取距离为 3）进行对比。
+
+首先在 U-Boot 中执行以下命令，将 basicCtrl 控制寄存器的第 2-7 位设为 000001，即将预取距离设为 1。
+
+```shell
+StarFive # nm 2032000
+02032000: 08014a0d ? 08014a0c
+02032000: 08014a0c ? q
+StarFive # boot
+```
+
+在 CPU0 上运行存储器山程序，可以看到当步长为 9 时，访存带宽降低到 100MB/s 以下，性能表现位于不开预取和打开默认预取之间。
+
+```shell
+$ taskset -c 0 ./mountain
+Clock frequency is approx. 4.0 MHz
+Memory mountain (MB/sec)
+	s1	s3	s5	s7	s9	s11	s13	s15	s17	s19	s21	s23	s25	s27	s29	s31
+128m	267	213	152	119	98	82	72	63	52	40	33	31	31	33	40	52
+64m	267	213	152	119	98	82	72	63	52	40	33	31	31	33	40	52
+32m	267	213	152	119	98	82	72	63	52	40	33	31	31	33	40	52
+16m	267	212	152	119	97	82	71	63	52	40	33	31	31	33	40	52
+8m	267	212	152	119	97	82	71	63	52	41	33	32	33	34	43	55
+4m	268	214	156	124	101	86	75	67	57	46	39	45	50	47	66	96
+2m	271	237	204	181	161	145	131	121	114	109	102	139	148	143	154	156
+1m	272	248	228	212	198	184	173	162	157	157	157	157	157	157	157	157
+```
+
+然后重启开发板，在 U-Boot 中执行以下命令，将 basicCtrl 控制寄存器的第 2-7 位设为 111111，即将预取距离设为 63。
+
+```shell
+StarFive # nm 2032000
+02032000: 08014a0d ? 08014a0c
+02032000: 08014a0c ? q
+StarFive # boot
+```
+
+在 CPU0 上运行存储器山程序，可以看到当步长为 25 时，访存带宽降低到 100MB/s 以下，性能表现最优。
+
+```shell
+$ taskset -c 0 ./mountain
+Clock frequency is approx. 4.0 MHz
+Memory mountain (MB/sec)
+	s1	s3	s5	s7	s9	s11	s13	s15	s17	s19	s21	s23	s25	s27	s29	s31
+128m	269	241	219	202	186	172	160	149	138	133	128	107	66	98	98	101
+64m	269	241	219	202	186	172	160	149	140	133	128	107	66	97	98	101
+32m	269	241	218	201	186	172	159	149	140	132	128	106	65	97	97	100
+16m	269	240	217	200	185	170	159	147	138	132	127	105	64	96	96	99
+8m	268	240	217	200	184	169	157	146	137	130	126	103	64	93	96	100
+4m	269	240	217	199	183	169	156	145	137	131	128	107	77	97	105	112
+2m	271	246	225	209	193	179	165	156	149	146	149	146	148	149	148	150
+1m	273	248	228	212	198	184	172	161	155	152	155	156	157	156	155	156
+```
+
+总结以上的四个结果，预取距离从小到大依次为不开预取（0）、1、打开默认预取（3）、63。大数组遍历的带宽性能排序与之一致，符合上面的猜想。所以在运行较大工作集且具有频繁访存的程序中，可以尝试通过增大预取距离来提高访存性能。
+
+## 总结
+
+本文简要介绍了 RISC-V SoC JH7110 的预取功能和基于 U-Boot 的预取参数设置方法，探究了预取功能的作用，并针对预取距离参数进行了性能调优。
+
+## 参考资料
+
+[001]: https://forum.rvspace.org/t/questions-about-writing-memory-mapped-registers-of-l2-cache-controller/2670/3
+[002]: https://gitee.com/tinylab/riscv-linux/blob/master/articles/20230425-vf2-mem-mountain.md
+[003]: https://starfivetech.com/uploads/u74mc_core_complex_manual_21G1.pdf
-- 
Gitee