From 71cc8a2e84c6bfae71aaaead16b19624415c4bba Mon Sep 17 00:00:00 2001 From: tongdabao <870020620@qq.com> Date: Thu, 9 Nov 2023 15:13:41 +0800 Subject: [PATCH] fix remd --- app/zh/blogs/RDMA/RDMA.md | 470 ++++++++++++++++++ .../figures/zh-cn_image_0000001686355694.png | Bin 0 -> 32459 bytes .../figures/zh-cn_image_0000001686524646.png | Bin 0 -> 22315 bytes .../figures/zh-cn_image_0000001701131200.png | Bin 0 -> 23074 bytes .../figures/zh-cn_image_0000001701290696.png | Bin 0 -> 23246 bytes .../figures/zh-cn_image_0000001733510033.png | Bin 0 -> 57358 bytes .../figures/zh-cn_image_0000001734363669.png | Bin 0 -> 21411 bytes .../figures/zh-cn_image_0000001734363673.png | Bin 0 -> 21367 bytes .../figures/zh-cn_image_0000001734394589.png | Bin 0 -> 11952 bytes .../figures/zh-cn_image_0000001734403817.png | Bin 0 -> 27063 bytes .../figures/zh-cn_image_0000001739179505.png | Bin 0 -> 6575 bytes .../figures/zh-cn_image_0000001745935689.png | Bin 0 -> 82292 bytes .../figures/zh-cn_image_0000001745981337.png | Bin 0 -> 11826 bytes .../figures/zh-cn_image_0000001749130525.png | Bin 0 -> 9099 bytes .../public_sys-resources/icon-caution.gif | Bin 0 -> 2251 bytes .../RDMA/public_sys-resources/icon-danger.gif | Bin 0 -> 2251 bytes .../RDMA/public_sys-resources/icon-note.gif | Bin 0 -> 2052 bytes .../RDMA/public_sys-resources/icon-notice.gif | Bin 0 -> 2178 bytes .../RDMA/public_sys-resources/icon-tip.gif | Bin 0 -> 1305 bytes .../public_sys-resources/icon-warning.gif | Bin 0 -> 2251 bytes 20 files changed, 470 insertions(+) create mode 100644 app/zh/blogs/RDMA/RDMA.md create mode 100644 app/zh/blogs/RDMA/figures/zh-cn_image_0000001686355694.png create mode 100644 app/zh/blogs/RDMA/figures/zh-cn_image_0000001686524646.png create mode 100644 app/zh/blogs/RDMA/figures/zh-cn_image_0000001701131200.png create mode 100644 app/zh/blogs/RDMA/figures/zh-cn_image_0000001701290696.png create mode 100644 app/zh/blogs/RDMA/figures/zh-cn_image_0000001733510033.png create mode 100644 app/zh/blogs/RDMA/figures/zh-cn_image_0000001734363669.png create mode 100644 app/zh/blogs/RDMA/figures/zh-cn_image_0000001734363673.png create mode 100644 app/zh/blogs/RDMA/figures/zh-cn_image_0000001734394589.png create mode 100644 app/zh/blogs/RDMA/figures/zh-cn_image_0000001734403817.png create mode 100644 app/zh/blogs/RDMA/figures/zh-cn_image_0000001739179505.png create mode 100644 app/zh/blogs/RDMA/figures/zh-cn_image_0000001745935689.png create mode 100644 app/zh/blogs/RDMA/figures/zh-cn_image_0000001745981337.png create mode 100644 app/zh/blogs/RDMA/figures/zh-cn_image_0000001749130525.png create mode 100644 app/zh/blogs/RDMA/public_sys-resources/icon-caution.gif create mode 100644 app/zh/blogs/RDMA/public_sys-resources/icon-danger.gif create mode 100644 app/zh/blogs/RDMA/public_sys-resources/icon-note.gif create mode 100644 app/zh/blogs/RDMA/public_sys-resources/icon-notice.gif create mode 100644 app/zh/blogs/RDMA/public_sys-resources/icon-tip.gif create mode 100644 app/zh/blogs/RDMA/public_sys-resources/icon-warning.gif diff --git a/app/zh/blogs/RDMA/RDMA.md b/app/zh/blogs/RDMA/RDMA.md new file mode 100644 index 00000000..274e0d3b --- /dev/null +++ b/app/zh/blogs/RDMA/RDMA.md @@ -0,0 +1,470 @@ +--- +title: "RDMA网络指导" +date: '2023-11-07' +category: 'blog' +tags: ['openGauss'] +archives: '2023-11' +author: 'why涛' +summary: "RDMA网络指导" +--- + + + +# 识别CX4/CX5网卡 + +执行以下命令。 + +``` +lspci |grep Mellanox +``` + +回显如下: + +``` +81:00.0 Ethernet controller: Mellanox Technologies MT27800 Family [ConnectX-5] +81:00.1 Ethernet controller: Mellanox Technologies MT27800 Family [ConnectX-5] +``` + +# 安装MLNX驱动 + +1. 选择下载与OS匹配的驱动包,地址:[https://network.nvidia.com/products/infiniband-drivers/linux/mlnx\_ofed/](https://network.nvidia.com/products/infiniband-drivers/linux/mlnx_ofed/)。 + +  + +2. 新建目录,将OS镜像文件挂载至新建目录。OS镜像名称请根据实际情况进行修改。 + + ``` + mkdir -p /mnt/iso + mount openEuler-22.03-LTS-x86_64-dvd.iso /mnt/iso + ``` + +3. 安装过程中需要部分依赖,请配置好OS镜像源,例如本地镜像。 + 1. 打开镜像源文件。 + + ``` + vim /etc/yum.repos.d/openEuler.repo + ``` + + 2. 按“i”进入编辑模式,只保留以下内容。 + + ``` + [OS] + name=OS + baseurl=file:///mnt/iso + enabled=1 + gpgcheck=0 + ``` + + 3. 按“Esc”键,输入**:wq!**,按“Enter”保存并退出编辑。 + 4. 缓存软件包。 + + ``` + yum makecache + ``` + +4. 上传驱动包至服务器并解压。驱动包名称请根据实际情况进行修改。 + + ``` + tar -zxvf MLNX_OFED_LINUX-5.4-3.7.5.0-openeuler22.03-x86_64.tgz + ``` + +5. 进入解压后的驱动包目录,执行以下命令安装驱动。 + + ``` + ./mlnxofedinstall --without-depcheck --without-fw-update --force + ``` + + 如果提示内核不匹配,则执行以下命令。 + + ``` + ./mlnxofedinstall --add-kernel-support + ``` + +6. 设置重启后自动拉起驱动。 + + ``` + chkconfig --add openibd + /etc/init.d/openibd start + chkconfig openibd on + ``` + +7. 安装完成后重启服务器。 + +# 安装检查 + +1. 检查驱动RoCE LAG功能。 + 1. 查看RoCE LAG功能是否启用。 + + ``` + find /sys/ -name roce_lag_enable | xargs cat + ``` + + - 输出为1,则表示开启。 + - 输出为0或无输出,则表示关闭。 + - 预期要关闭才可以,如果没有关闭,请执行[1.b](#li519083722516)。 + + 2. 关闭RoCE LAG功能。 + + ``` + sed '/load_module mlx5_core/a\ files=`find /sys -name roce_lag_enable`;for file in $files;do echo 0 > $file;done' -i /etc/init.d/openibd + ``` + + 3. 执行后重启节点使其生效,重启后再执行[1.a](#li389014811257)查看是否生效。 + + ``` + reboot + ``` + +2. 检查驱动版本。 + + ``` + ofed_info -s + ``` + + 回显驱动版本与[安装MLNX驱动](安装MLNX驱动.md)版本一致则版本无误。 + +3. 加载MST工具。 + + ``` + mst start + ``` + + 回显如下表示加载成功。 + + ``` + Starting MST (Mellanox Software Tools) driver set + Loading MST PCI module - Success + Loading MST PCI configuration module - Success + Create devices + Unloading MST PCI module (unused) - Success + ``` + +4. 查询设备路径和网络端口。 + 1. 查询设备上RoCE和IB卡的设备路径。 + + ``` + mst status + ``` + + 回显如下: + + ``` + MST modules: + ------------ + MST PCI module is not loaded + MST PCI configuration module loaded + + MST devices: + ------------ + /dev/mst/mt4119_pciconf0 - PCI configuration cycles access. + domain:bus:dev.fn=0000:81:00.0 addr.reg=88 data.reg=92 cr_bar.gw_offset=-1 + Chip revision is: 00 + ``` + + 其中,MST devices字段枚举的设备路径/dev/mst/mst\_typeN(N取值:0,1,2,……)代表一张CX卡,mst\_type和CX网卡型号映射关系参考[表1](#table93856218287)。 + + **表 1** mst\_type和CX网卡型号映射关系 + + +
+ | ++ | +
---|---|
+ | ++ | +
+ | ++ | +
+ | ++ | +
+ | ++ | +
mR
z`XRy+7Fn#x?KDzn*O=JeiLtA671Zsj+F)6mvp-Y0xYS^|YCUp~>?^yPI=THs0bB|&
z1ZVJVT%A2lJYf|~`Kz{MC{k`!XNC^vr!Mz)>y92XrsewG7TL)4o^KycA8*zYZR^=d
z9$fV2EqE$dg?My?B%s!4H^>F))yrjG?Y_K7v?UKEIn>e!nElfAyH-YHeIRR+>7y9P
zk*St-4sVU2oyHk=ard!p4miPBY*0d5BfbA4vqqL{g(TV$%!d1ILhKLP3JVG!jO 32z1Q0qnfysQBJbr
zT2kL|O#zf#B}(tYLK5_zMy$D(6@KA<5l)@Q|4iMz>D}&+*wJ?e0!#^~pG(|sCzQ>$
za$7K4o2)Q3(BUrmi{9iw`0*!jezzGatQb77=CXjuu#*of>t;$gQyZ|@a`0 LZWaNUgJN2rfk$%NL&p``zPD>*fMh
zt6h#Kkbu3ur>l3n{RIE$XAnA@v$!NX?PafwY=9;E()9BSt4w&?ggz1EEE?wdp~>wE
zNeYm&f7SP(*P@mv%d;tB71pyNXD)^3mfjmwjX^DLPvZX|Gd-om$ebZl!qAMShLqZ?
zCGCC2aU-|UN9<#Tva8vN`+KI=lSd1N8k2NS$Wj*HsI3zJF2w(c^MB!+6iRALl*N iJPyWf6d{mtmasZ#*yj^k_X5J(_Dc~N+ LT_r7#O4eqINiw?_I;4rfx!yYMjjKb%v
zmOXgB?iWX(gdLVA`d^jrhENb9gJfT|O?!l%nYQTOnK>c7Uo&mG1Fd>6$o1#i>vi>W
z4O%&QU10tz64^{K9&njrsjY{zF^)A
zi>K}|J^N#E(iC&obV3VvSO@
gf6?*RO4v
z17Ga@aY1|?m`*?FBe{wXoN{PcG~j^1j!~`
E0m7=iXEv%kzivv!TxN0msUppPxni^-z(G=+Wk)pis0eKe
zZ^<7^{xGH(&qyASlt04oMj6