diff --git "a/docs/zh/docs/SystemOptimization/MySQL\346\200\247\350\203\275\350\260\203\344\274\230\346\214\207\345\215\227.md" "b/docs/zh/docs/SystemOptimization/MySQL\346\200\247\350\203\275\350\260\203\344\274\230\346\214\207\345\215\227.md" new file mode 100644 index 0000000000000000000000000000000000000000..f87ea05fac79850ae0fce2fdbd4d68740c85434c --- /dev/null +++ "b/docs/zh/docs/SystemOptimization/MySQL\346\200\247\350\203\275\350\260\203\344\274\230\346\214\207\345\215\227.md" @@ -0,0 +1,361 @@ +# MySQL性能调优指南 + +## 调优概述 + +### 调优原则 + +性能调优一方面在系统设计之初，需考虑硬件的选择，操作系统的选择，基础软件的选择；另一方面，包括每个子系统的设计，算法选择，如何使用编译器的选项，如何发挥硬件最大的性能等等。 + +在性能优化时，必须遵循一定的原则，否则，可能无法得不到正确的调优结果。主要有以下几个方面： + +对性能进行分析时，要多方面分析系统的资源瓶颈所在，因为系统某一方面性能低，可能并非自身造成的，而是其他方面造成的。如CPU利用率是100%时，很可能是内存容量太小，因为CPU忙于处理内存调度。 + +- 调整时，一次只对影响性能的某方面的一个参数进行调整，多个参数同时调整的话，很难界定性能的影响是由哪个参数造成的。 + +- 在进行系统性能分析时，性能分析工具本身会占用一定的系统资源，如CPU、内存等，所以分析工具本身运行可能会导致系统某方面的资源瓶颈情况更加严重。 +- 必须保证调优后的程序运行正确。 +- 调优过程是持续的过程，每一次调优的结果都会反馈到后续的版本开发中去。 +- 性能调优不能以牺牲代码的可读性和可维护性为代价。 + +### 调优思路 + +性能优化首先要较为精准的定位问题，分析系统性能瓶颈，然后根据其性能指标以及所处层级选择优化的方式方法。 + +如下介绍MySQL数据库具体的调优思路和分析过程，如下图所示。 + + + +调优分析思路如下： + +- 多数情况下压测流量并没有完全进入到服务端，在网络上可能就会出现由于各种规格（带宽、最大连接数、新建连接数等）限制，导致压测结果达不到预期。 +- 接着看关键指标是否满足要求，如果不满足，需要确定是哪个地方有问题，一般情况下，服务器端问题可能性比较大，也有可能是客户端问题（这种情况比较小）。 +- 对于服务器端问题，需要定位的是硬件相关指标，例如CPU，Memory，Disk I/O，Network I/O，如果是某个硬件指标有问题，需要深入的进行分析。 +- 如果硬件指标都没有问题，需要查看数据库相关指标，例如：等待事件、内存命中率等。 +- 如果以上指标都正常，应用程序的算法、缓冲、缓存、同步或异步可能有问题，需要具体深入的分析。 + +## 硬件调优 + +### 目的 + +针对不同的服务器硬件设备，通过设置BIOS中的一些高级配置选项，可以有效提升服务器性能。 + +### 方法 + +以下方法针对鲲鹏服务器进行调优，X86，例如Intel服务器，可选择保持默认BIOS配置。 + +1. 关闭SMMU（鲲鹏服务器特有）。 +2. 重启服务器过程中，单击**Delete**键进入BIOS，选择“Advanced \> MISC Config”，单击**Enter**键进入。 +3. 将“**Support Smmu**”设置为“Disable” 。 + + 注：此优化项只在非虚拟化场景使用，在虚拟化场景，则开启SMMU。 + +4. 关闭预取 + + - 在BIOS中，选择“Advanced\>MISC Config”，单击**Enter**键进入。 + + - 将“CPU Prefetching Configuration”设置为“Disabled”，单击F10键保存退出。 + +## 操作系统调优 + +### 网卡中断绑核 + +#### 目的 + +通过关闭irqbalance服务，使用手动绑定网卡中断到部分专用核上，隔离网卡中断请求和业务请求，可以有效提升系统的网络性能。 + +#### 方法 + +对于不同的硬件配置，用于绑中断的最佳CPU数量会有差异，例如，鲲鹏920 5250上最佳CPU数量为5，可通过观察这5个CPU的使用情况以决定是否再调整用于绑中断的CPU数量。 + +以下脚本是在华为鲲鹏920 5250处理器+ Huawei TM280 25G网卡上的MySQL的最佳绑中断设置，其中第一个参数`$1`是网卡名称，第二个参数`$2`是队列数目5，第三个参数`$3`是网卡对应的总线名，可以用`ethtool -i <网卡名>`查询出： + +```shell +#!/bin/bash +eth1=$1 +cnt=$2 +bus=$3 +ethtool -L $eth1 combined $cnt + +irq1=`cat /proc/interrupts| grep -E ${bus} | head -n$cnt | awk -F ':' '{print $1}'` +irq1=`echo $irq1` +cpulist=(91 92 93 94 95) # 根据所选定的用于处理中断请求的核修改 +c=0 +forirq in $irq1 +do + echo ${cpulist[c]} "->" $irq + echo ${cpulist[c]} > /proc/irq/$irq/smp_affinity_list + let "c++" +done +``` + +**注：若采用下述的gazelle调优方法，则无需执行本节操作。** + +### NUMA绑核 + +#### 目的 + +通过NUMA绑核，减少跨NUMA访问内存，可以有效提升系统的访存性能。 + +#### 方法 + +基于前一节的网卡中断设置，在鲲鹏920 5250上，MySQL启动命令前设置NUMA绑核范围为剩余其它核，即0-90，其中`$mysql_path`为MySQL的安装路径： + +```shell +numactl -C 0-90 -i 0-3 $mysql_path/bin/mysqld --defaults-file=/etc/my.cnf & +``` + +**注：若采用下述的gazelle调优方法，则无需执行本节操作。** + +### 调度参数调优 + +#### 目的 + +在高负载场景下，CPU利用率不能达到100%，深入分析每个线程的调度轨迹发现内核在做负载均衡时，经常无法找到一个合适的进程来迁移，导致CPU在间断空闲负载均衡失败，空转浪费CPU资源，通过使能openEuler调度特性STEAL模式，可以进一步提高CPU利用率，从而有效提升系统性能。(**当前该特性仅在openEuler 20.03 SP2版本及之后版本支持**) + +#### 方法 + +1）在/etc/grub2-efi.cfg中内核系统启动项末尾添加参数`sched_steal_node_limit=4`，修改后如下图所示，修改完成后，reboot重启生效。 +
+ +2）设置STEAL模式。 + +重启后设置STEAL调度特性如下： + +```shell +echo STEAL > /sys/kernel/debug/sched_features +``` + +### 大页调优 + +#### 目的 + +TLB（Translation lookaside buffer）为页表（存放虚拟地址的页地址和物理地址的页地址的映射关系）在CPU内部的高速缓存。TLB的命中率越高，页表查询性能就越好。内存页面越大。相同业务场景下的TLB命中率越高，访问效率提高，可以有效提升服务器性能。 + +#### 方法 + +- 调整内核的内存页大小。 + + 通过命令`getconf PAGESIZE`查看当前系统的内存页大小，如果大小是4096(4K)，则可通过修改linux内核的内存页大小来使用更大的内存页，需要在修改内核编译选项后重新编译内核。简要步骤如下： + + 1. 执行`make menuconfig`。 + + 2. 选择PAGESIZE大小为64K（Kernel Features--\>Page size(64KB）。 + + 3. 编译和安装内核。 + +### Gazelle协议栈调优 + +#### 目的 + +原生内核网络协议栈层次深，开销较大，且系统调用的成本也较高。通过gazelle用户态协议栈替代内核协议栈，且通过hook posix接口，避免系统调用带来的开销，能够大幅提高应用的网络I/O吞吐能力。 + +#### 方法 + +1）安装依赖包。 + +配置openEuler的yum源，直接使用yum命令安装 + +```shell +yum install dpdk libconfig numactl libboundsheck libcap gazelle +``` + +2）使用root权限安装ko。 + +网卡从内核驱动绑为用户态驱动的ko，根据实际情况选择一种。mlx4和mlx5网卡不需要绑定vfio或uio驱动。 + +```shell +#若IOMMU能使用 +modprobe vfio-pci +#若IOMMU不能使用，且VFIO支持noiommu +modprobe vfio enable_unsafe_noiommu_mode=1 +modprobe vfio-pci +#其它情况 +modprobe igb_uio +``` + +3）dpdk绑定网卡。 + +将所使用的业务网卡(如下以enp3s0为例)绑定到步骤2选择的驱动，为用户态网卡驱动提供网卡资源访问接口。 + +```shell +#拔业务网卡enp3s0 +ip link set enp3s0 down + +#使用vfio-pci +dpdk-devbind -b vfio-pci enp3s0 + +#使用igb_uio +dpdk-devbind -b igb_uio enp3s0 +``` + +4）大页内存配置。 + +Gazelle使用大页内存提高效率。使用root权限配置系统预留大页内存，根据实际情况，选择一种页大小，配置足够的大页内存即可。如下默认每个内存节点配置2G大页内存，每个大页2M。 + +```shell +#配置2M大页内存：系统静态分配 2M * 1024*4 = 8G +echo 8192 > /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages + +#查看配置结果 +grep Huge /proc/meminfo +``` + +5）挂载大页内存。 + +创建一个目录，供lstack进程访问大页内存时使用，操作步骤如下： + +```shell +mkdir -p /mnt/hugepages-gazelle +chmod -R 700 /mnt/hugepages-gazelle +mount -t hugetlbfs nodev /mnt/hugepages-gazelle -o pagesize=2M +``` + +6）应用程序使用gazelle。 + +使用LD_PRELOAD预加载Gazelle动态库，`GAZELLE_BIND_PROCNAME`环境变量用于指定MySQL进程名： + +```shell +GAZELLE_BIND_PROCNAME=mysqld LD_PRELOAD=/usr/lib64/liblstack.so $mysql_path/bin/mysqld --defaults-file=/etc/my.cnf --bind-address=192.168.1.10 & +``` + +其中bind-address为服务端业务网卡ip，需同gazelle配置文件的host_addr保持一致。 + +7）修改gazelle配置文件。 + +使能gazelle需要根据硬件环境及软件需求定制gazelle配置文件/etc/gazelle/lstack.conf，示例如下： + +```shell +dpdk_args=["--socket-mem", "2048,2048,2048,2048", "--huge-dir", "/mnt/hugepages-gazelle", "--proc-type", "primary", "--legacy-mem", "--map-perfect"] + +use_ltran=0 +kni_switch=0 +low_power_mode=0 +listen_shadow=1 + +num_cpus="18,38,58,78 " +host_addr="192.168.1.10" +mask_addr="255.255.255.0" +gateway_addr="192.168.1.1" +devices="aa:bb:cc:dd:ee:ff" +``` +各参数说明如下； +- `--socket-mem`表示给每个内存节点分配的内存，默认2048M，例子中表示4个内存节点，每个内存节点分配2G(2048)。 +- `--huge-dir`为先前建立的挂载了大页内存的目录。 +- `num_cpus`记录lstack线程绑定的cpu编号，可按NUMA选择CPU。 +- `host_addr`、`mask_addr`、`gateway_addr`和`devices`分别表示业务网卡的IP地址、掩码、网关地址和mac地址。 + +更详细的使用指导详见：[Gazelle用户指南]() + +## MySQL调优 + +### 数据库参数调优 + +#### 目的 + +通过调整数据库的参数配置，可以有效提升服务器性能。 + +#### 方法 + +默认配置文件路径为`/etc/my.cnf`，可使用如下配置文件参数启动数据库： + +```shell +[mysqld_safe] +log-error=/data/mysql/log/mysql.log +pid-file=/data/mysql/run/mysqld.pid + +[client] +socket=/data/mysql/run/mysql.sock +default-character-set=utf8 + +[mysqld] +basedir=/usr/local/mysql +tmpdir=/data/mysql/tmp +datadir=/data/mysql/data +socket=/data/mysql/run/mysql.sock +port=3306 +user=root +default_authentication_plugin=mysql_native_password +ssl=0 #关闭ssl +max_connections=2000 #设置最大连接数 +back_log=2048 #设置会话请求缓存个数 +performance_schema=OFF #关闭性能模式 +max_prepared_stmt_count=128000 + +#file +innodb_file_per_table=on #设置每个表一个文件 +innodb_log_file_size=1500M #设置logfile大小 +innodb_log_files_in_group=32 #设置logfile组个数 +innodb_open_files=4000 #设置最大打开表个数 + +#buffers +innodb_buffer_pool_size=230G #设置buffer pool size,一般为服务器内存60% +innodb_buffer_pool_instances=16 #设置buffer pool instance个数，提高并发能力 +innodb_log_buffer_size=64M #设置log buffer size大小 + +#tune +sync_binlog=1 #设置每次sync_binlog事务提交刷盘 +innodb_flush_log_at_trx_commit=1 #每次事务提交时MySQL都会把log buffer的数据写入log file，并且flush(刷到磁盘)中去 +innodb_use_native_aio=1 #开启异步IO +innodb_spin_wait_delay=180 #设置spin_wait_delay 参数，防止进入系统自旋 +innodb_sync_spin_loops=25 #设置spin_loops 循环次数，防止进入系统自旋 +innodb_spin_wait_pause_multiplier=25 #设置spin lock循环随机数 +innodb_flush_method=O_DIRECT #设置innodb数据文件及redo log的打开、刷写模式 +innodb_io_capacity=20000 # 设置innodb 后台线程每秒最大iops上限 +innodb_io_capacity_max=40000 #设置压力下innodb 后台线程每秒最大iops上限 +innodb_lru_scan_depth=9000 #设置page cleaner线程每次刷脏页的数量 +innodb_page_cleaners=16 #设置将脏数据写入到磁盘的线程数 +table_open_cache_instances=32 #设置打开句柄分区数 +table_open_cache=30000 #设置打开表的数量 + +#perf special +innodb_flush_neighbors=0 #检测该页所在区(extent)的所有页，如果是脏页，那么一起进行刷新，SSD关闭该功能 +innodb_write_io_threads=16 #设置写线程数 +innodb_read_io_threads=16 #设置读线程数 +innodb_purge_threads=32 #设置回收已经使用并分配的undo页线程数 +innodb_adaptive_hash_index=0 + +sql_mode=STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION,NO_AUTO_VALUE_ON_ZERO,STRICT_ALL_TABLES +``` + +表1 数据库调优参数 + +| 参数名称 | 参数含义 | 优化建议 | +| --------------------------------- | ------------------------------------------------------------ | ------------------------------------------------------------ | +| innodb_thread_concurrency | InnoDB使用操作系统线程来处理用户的事务请求。 | 建议取默认值为0，它表示默认情况下不限制线程并发执行的数量。 | +| innodb_read_io_threads | 执行请求队列中的读请求操作的线程数。 | 根据CPU核数及读写比例进一步更改来提高性能。 | +| innodb_write_io_threads | 执行请求队列中的写请求操作的线程数。 | 根据CPU核数及读写比例进一步更改来提高性能。 | +| innodb_buffer_pool_instances | 开启多个内存缓冲池，把需要缓冲的数据hash到不同的缓冲池中，这样可以并行的内存读写 | 建议设置8\~32。 | +| innodb_open_files | 在innodb_file_per_table模式下，限制Innodb能打开的文件数量。 | 建议此值调大一些，尤其是表特别多的情况。 | +| innodb_buffer_pool_size | 缓存数据和索引的地方。 | 通常建议内存的60%左右。 | +| innodb_log_buffer_size | 缓存重做日志。 | 默认值是64M，建议通过查看innodb_log_wait，调整innodb_log_buffer_size大小。 | +| innodb_io_capacity | innodb 后台线程每秒最大iops上限。 | 建议为IO QPS总能力的75%。 | +| innodb_log_files_in_group | 重做日志组的个数。 | - | +| innodb_log_file_size | 重做日志文件大小。 | 如果存在大量写操作，建议增加日志文件大小，但日志文件过大，会影响数据恢复时间。 如果是非生产环境，测试极限性能时，尽量调大日志文件。 如果是商用场景，需要考虑数据恢复时间，综合折中后设置日志文件大小。 | +| innodb_flush_method | Log和数据刷新磁盘的方法： datasync模式：写数据时，write这一步并不需要真正写到磁盘才算完成（可能写入到操作系统buffer中就会返回完成），真正完成是flush操作，buffer交给操作系统去flush,并且文件的元数据信息也都需要更新到磁盘。 O_DSYNC模式：写日志操作是在write这步完成，而数据文件的写入是在flush这步通过fsync完成。 O_DIRECT模式：数据文件的写入操作是直接从mysql innodb buffer到磁盘的，并不用通过操作系统的缓冲，而真正的完成也是在flush这步,日志还是要经过OS缓冲。 | 建议O_DIRECT模式。 | +| innodb_spin_wait_delay | 控制轮询的间隔。 | 根据真实场景调试，直到看不到spin_lock热点函数等。优化建议180。 | +| innodb_sync_spin_loops | 控制轮询的循环次数。 | 根据真实场景调试，直到看不到spin_lock热点函数等。优化建议25。 | +| innodb_spin_wait_pause_multiplier | 控制轮询间隔随机数。 | 根据真实场景调试，直到看不到spin_lock热点函数等。默认值50，优化建议25-50。 | +| innodb_lru_scan_depth | LRU列表的可用页数量。 | 默认值是1024，非生产环境，测试极限性能可以适当调大，减少checkpoint次数。 | +| innodb_page_cleaners | 刷新脏数据的线程数。 | 建议与innodb_buffer_pool_instances相等。 | +| innodb_purge_threads | 回收undo的线程数。 | - | +| innodb_flush_log_at_trx_commit | 不管有没有提交，每秒钟都写到binlog日志里. 每次提交事务，都会把log buffer的内容写到磁盘里去，对日志文件做到磁盘刷新，安全性最好。 每次提交事务，都写到操作系统缓存，由OS刷新到磁盘，性能最好。 | 非生产环境，测试极限性能，可以设置为0。 | +| innodb_doublewrite | 是否开启二次写。 | 非生产环境，测试极限性能，可以设置为0，关闭二次写。 | +| ssl | 是否开启安全连接。 | 安全连接对性能影响较大，非生产环境，测试极限性能，可以设置为0。商用场景，根据客户需求调整。 | +| table_open_cache_instances | MySQL 缓存 table 句柄的分区的个数。 | 建议设置16-32。 | +| table_open_cache | Mysqld打开表的数量。 | 建议设置成30000。 | +| skip_log_bin | 是否开启binlog。 | 非生产环境，测试极限性能在参数文件中增加此参数，关闭binlog选项（添加至配置文件中： skip_log_bin \#log-bin=mysql-bin）。 | +| performance_schema | 是否开启性能模式。 | 非生产环境，测试极限性能设置为OFF，关闭性能模式。 | + +### 数据库内核调优 + +#### 目的 + +数据库内核优化是指通过修改MySQL数据库源码，提升数据库性能。使用数据库内核优化patch，需重新编译数据库。 + +#### 方法 + +MySQL数据库内核优化分为两个不同的场景，一个是OLTP场景，一个是OLAP场景，不同的场景采用不同的优化patch。 + +OLTP场景是指主要面向交易的处理系统，以小的事物及小的查询为主，快速响应用户操作。OLTP内核优化patch参考[MySQL细粒度锁优化](https://support.huaweicloud.com/fg-kunpengdbs/kunpengpatch_20_0004.html)。 + +OLAP场景是指主要对用户当前及历史数据进行分析、查询和生成报表，支持管理决策。OLAP内核优化patch参考[MySQL OLAP并行优化](https://support.huaweicloud.com/fg-kunpengdbs/kunpengolap_20_0002.html)。 diff --git "a/docs/zh/docs/SystemOptimization/figures/mysql\350\260\203\344\274\230\346\200\235\350\267\257.png" "b/docs/zh/docs/SystemOptimization/figures/mysql\350\260\203\344\274\230\346\200\235\350\267\257.png" new file mode 100644 index 0000000000000000000000000000000000000000..93c82f764024334412c8aca006ce0b4651513e83 Binary files /dev/null and "b/docs/zh/docs/SystemOptimization/figures/mysql\350\260\203\344\274\230\346\200\235\350\267\257.png" differ diff --git "a/docs/zh/docs/SystemOptimization/figures/pci\347\275\221\345\215\241\346\211\200\345\261\236NUMA NODE.png" "b/docs/zh/docs/SystemOptimization/figures/pci\347\275\221\345\215\241\346\211\200\345\261\236NUMA NODE.png" new file mode 100644 index 0000000000000000000000000000000000000000..401028d9f88ea936c4e08bc572aeee573ce84b92 Binary files /dev/null and "b/docs/zh/docs/SystemOptimization/figures/pci\347\275\221\345\215\241\346\211\200\345\261\236NUMA NODE.png" differ diff --git "a/docs/zh/docs/SystemOptimization/figures/pci\350\256\276\345\244\207\345\217\267.png" "b/docs/zh/docs/SystemOptimization/figures/pci\350\256\276\345\244\207\345\217\267.png" new file mode 100644 index 0000000000000000000000000000000000000000..02dab7ffc45389886a5a7aec7222b1a53b62d509 Binary files /dev/null and "b/docs/zh/docs/SystemOptimization/figures/pci\350\256\276\345\244\207\345\217\267.png" differ diff --git a/docs/zh/docs/SystemOptimization/figures/ring_buffer.png b/docs/zh/docs/SystemOptimization/figures/ring_buffer.png new file mode 100644 index 0000000000000000000000000000000000000000..4b4a608150554bf677f503213d0a0227310b0a17 Binary files /dev/null and b/docs/zh/docs/SystemOptimization/figures/ring_buffer.png differ diff --git "a/docs/zh/docs/SystemOptimization/figures/swapoff\344\277\256\346\224\271\345\211\215\345\220\216\345\257\271\346\257\224.png" "b/docs/zh/docs/SystemOptimization/figures/swapoff\344\277\256\346\224\271\345\211\215\345\220\216\345\257\271\346\257\224.png" new file mode 100644 index 0000000000000000000000000000000000000000..080c9f9bd79a0090d0ed962358e9da2457afdc77 Binary files /dev/null and "b/docs/zh/docs/SystemOptimization/figures/swapoff\344\277\256\346\224\271\345\211\215\345\220\216\345\257\271\346\257\224.png" differ diff --git "a/docs/zh/docs/SystemOptimization/figures/\345\206\205\346\240\270\345\220\257\345\212\250\351\241\271\346\267\273\345\212\240\345\217\202\346\225\260.png" "b/docs/zh/docs/SystemOptimization/figures/\345\206\205\346\240\270\345\220\257\345\212\250\351\241\271\346\267\273\345\212\240\345\217\202\346\225\260.png" new file mode 100644 index 0000000000000000000000000000000000000000..30bafb334c64617d4963b6781e8976a08de5b553 Binary files /dev/null and "b/docs/zh/docs/SystemOptimization/figures/\345\206\205\346\240\270\345\220\257\345\212\250\351\241\271\346\267\273\345\212\240\345\217\202\346\225\260.png" differ diff --git "a/docs/zh/docs/SystemOptimization/figures/\345\210\233\345\273\272raid0.png" "b/docs/zh/docs/SystemOptimization/figures/\345\210\233\345\273\272raid0.png" new file mode 100644 index 0000000000000000000000000000000000000000..31fc68e727aa3e1f3e9e29851e13ee2e05568735 Binary files /dev/null and "b/docs/zh/docs/SystemOptimization/figures/\345\210\233\345\273\272raid0.png" differ diff --git "a/docs/zh/docs/SystemOptimization/figures/\346\237\245\347\234\213LRO\345\217\202\346\225\260\346\230\257\345\220\246\345\274\200\345\220\257.png" "b/docs/zh/docs/SystemOptimization/figures/\346\237\245\347\234\213LRO\345\217\202\346\225\260\346\230\257\345\220\246\345\274\200\345\220\257.png" new file mode 100644 index 0000000000000000000000000000000000000000..351e0d41ec47d790d4f3556d840e9c951e480680 Binary files /dev/null and "b/docs/zh/docs/SystemOptimization/figures/\346\237\245\347\234\213LRO\345\217\202\346\225\260\346\230\257\345\220\246\345\274\200\345\220\257.png" differ diff --git "a/docs/zh/docs/SystemOptimization/figures/\346\267\273\345\212\240\345\206\205\346\240\270\345\220\257\345\212\250\351\241\271.png" "b/docs/zh/docs/SystemOptimization/figures/\346\267\273\345\212\240\345\206\205\346\240\270\345\220\257\345\212\250\351\241\271.png" new file mode 100644 index 0000000000000000000000000000000000000000..b674ab4a93e3fb2abd3f30749d96e724fd77019c Binary files /dev/null and "b/docs/zh/docs/SystemOptimization/figures/\346\267\273\345\212\240\345\206\205\346\240\270\345\220\257\345\212\250\351\241\271.png" differ diff --git "a/docs/zh/docs/SystemOptimization/figures/\347\273\221\346\240\270.png" "b/docs/zh/docs/SystemOptimization/figures/\347\273\221\346\240\270.png" new file mode 100644 index 0000000000000000000000000000000000000000..627d0ba137a169c37afa1cc6dd81a2fffd9a0085 Binary files /dev/null and "b/docs/zh/docs/SystemOptimization/figures/\347\273\221\346\240\270.png" differ diff --git "a/docs/zh/docs/SystemOptimization/figures/\347\273\221\346\240\270\346\210\220\345\212\237\351\252\214\350\257\201.png" "b/docs/zh/docs/SystemOptimization/figures/\347\273\221\346\240\270\346\210\220\345\212\237\351\252\214\350\257\201.png" new file mode 100644 index 0000000000000000000000000000000000000000..342e691a50fc63ea8a71fdf752a6df46daafe14c Binary files /dev/null and "b/docs/zh/docs/SystemOptimization/figures/\347\273\221\346\240\270\346\210\220\345\212\237\351\252\214\350\257\201.png" differ diff --git a/docs/zh/docs/SystemOptimization/overview.md b/docs/zh/docs/SystemOptimization/overview.md new file mode 100644 index 0000000000000000000000000000000000000000..9bda827bf0500cc5732f04e5f0e7a6452ac852d4 --- /dev/null +++ b/docs/zh/docs/SystemOptimization/overview.md @@ -0,0 +1,9 @@ +# 系统分析与调优 + +系统分析与调优包含MySQL性能调优指南和大数据调优指南，其中大数据调优指南具体包括： + +- spark 调优指南 +- hive调优指南 +- hbase调优指南 + +上述指南旨在帮助用户在openEuler上进行调优，包含调优手段、调优建议、调优方向等。 \ No newline at end of file diff --git "a/docs/zh/docs/SystemOptimization/\345\244\247\346\225\260\346\215\256\350\260\203\344\274\230\346\214\207\345\215\227.md" "b/docs/zh/docs/SystemOptimization/\345\244\247\346\225\260\346\215\256\350\260\203\344\274\230\346\214\207\345\215\227.md" new file mode 100644 index 0000000000000000000000000000000000000000..f493ac24c35fba9afd00c9c1323747518ec5f55c --- /dev/null +++ "b/docs/zh/docs/SystemOptimization/\345\244\247\346\225\260\346\215\256\350\260\203\344\274\230\346\214\207\345\215\227.md" @@ -0,0 +1,813 @@ + + +## 硬件调优 + +### 配置BIOS + +1）目的 + +针对不同的服务器硬件设备，通过设置BIOS中的一些高级配置选项，可以有效提升服务器性能。 + +2）方法 + +以下方法针对鲲鹏服务器进行调优，X86，例如Intel服务器，可选择保持默认BIOS配置。 + +1. 关闭SMMU（鲲鹏服务器特有）。 +2. 重启服务器过程中，单击**Delete**键进入BIOS，选择“Advanced \> MISC Config”，单击**Enter**键进入。 +3. 将“**Support Smmu**”设置为“Disable”。 + + 注：此优化项只在非虚拟化场景使用，在虚拟化场景，则开启SMMU。 + +4. 关闭预取 + + - 在BIOS中，选择“Advanced\>MISC Config”，单击**Enter**键进入。 + + - 将“CPU Prefetching Configuration”设置为“Disabled”，单击F10键保存退出。 + +### 创建RAID0 + +1）目的 + +磁盘创建RAID可以提供磁盘的整体存取性能，环境上若使用LSI 3108/3408/3508系列RAID卡，推荐创建单盘RAID 0/RAID 5，充分利用RAID卡的Cache（LSI 3508卡为2GB），提高读写速率。 + +2）方法 + +1. 使用storcli64_arm文件检查RAID组创建情况。 + + ```shell + ./storcli64_arm /c0 show + ``` + + 注：storcli64_arm文件放在任意目录下执行皆可。文件下载路径： + +2. 创建RAID 0，命令表示为第2块1.2T硬盘创建RAID 0，其中，c0表示RAID卡所在ID、r0表示组RAID 0。依次类推，对除了系统盘之外的所有盘做此操作。 + + ```shell + ./storcli64_arm /c0 add vd r0 drives=65:1 + ``` + + + +### 开启RAID卡Cache + +1）目的 + +使用RAID卡的RAWBC（无超级电容）/RWBC（有超级电容）性能更佳。 + +使用storcli工具修改RAID组的Cache设置，Read Policy设置为Read ahead。使用RAID卡的Cache做预读；Write Policy设置为Write back。使用RAID卡的Cache做回写，而不是Write through透写。IO policy设置为Cached IO，使用RAID卡的Cache缓存IO。 + +2）方法 + +1.配置RAID卡的cache，其中vx是卷组号（v0/v1/v2....），根据环境上的实际情况进行设置。 + +```shell +./storcli64_arm /c0/vx set rdcache=RA +./storcli64_arm /c0/vx set wrcache=WB/AWB +./storcli64_arm /c0/vx set iopolicy=Cached +``` + +2.检查配置是否生效。 + +```shell +./storcli64_arm /c0 show +``` + +### 调整rx_buff + +1）目的 + +以1822网卡为例，默认的rx_buff配置为2KB，在聚合64KB报文的时候需要多片不连续的内存，使用率较低。该参数可以配置为2/4/8/16KB，修改后可以减少不连续的内存，提高内存使用率。 + +2）方法 + +1. 查看rx_buff参数值，默认为2。 + + ```shell + cat /sys/bus/pci/drivers/hinic/module/parameters/rx_buff + ``` + +2. 在目录“/etc/modprobe.d/”中增加文件hinic.conf，修改rx_buff值为8。 + + ```shell + options hinic rx_buff=8 + ``` + +3. 重新挂载hinic驱动，使得新参数生效。 + + ```shell + rmmod hinic + modprobe hinic + ``` + +4. 查看rx_buff参数是否更新成功。 + + ```shell + cat /sys/bus/pci/drivers/hinic/module/parameters/rx_buff + ``` + +### 调整Ring Buffer + +1）目的 + +以1822网卡为例，网卡队列深度Ring Buffer最大支持4096，默认配置为1024，可以增大buffer大小用于提高网卡Ring大小。 + +2）方法 + +1. 查看Ring Buffer默认大小，假设当前网卡名为enp131s0。 + + ```shell + ethtool -g enp131s0 + ``` + +2. 修改Ring Buffer值为4096。 + + ```shell + ethtool -G enp131s0 rx 4096 tx 4096 + ``` + +3. 查看Ring Buffer值是否更新成功。 + + ```shell + ethtool -g enp131s0 + ``` + + + +4. 减少队列数。 + + ```shell + ethtool -L enp131s0 combined 4 + ethtool -l enp131s0 + ``` + +### 开启LRO + +1）目的 + +以1822网卡为例，支持LRO（Large Receive Offload），可以打开该选项，并合理配置1822 LRO参数。 + +2）方法 + +1. 查看LRO参数是否开启，默认为off，假设当前网卡名为enp131s0。 + + ```shell + ethtool -k enp131s0 + ``` + +2. 打开LRO。 + + ```shell + ethtool -K enp131s0 lro on + ``` + +3. 查看LRO参数是否开启。 + + ```shell + ethtool -k enp131s0 + ``` + + + +### 配置网卡中断绑核 + +1）目的 + +相比使用内核的irqbalance使网卡中断在所有核上进行调度，使用手动绑核将中断固定更能有效提高业务网络收发包的能力。 + +2）方法 + +1. 关闭irqbalance。 + + 若要对网卡进行绑核操作，则需要关闭irqbalance。 + + 执行如下命令： + + ```shell +systemctl stop irqbalance.service #（停止irqbalance，重启失效） + systemctl disable irqbalance.service #（关闭irqbalance，永久生效） +systemctl status irqbalance.service #（查看irqbalance服务状态是否已关闭） + ``` + +2. 查看网卡pci设备号，假设当前网卡名为enp131s0。 + + ```shell + ethtool -i enp131s0 + ``` + + + +3. 查看pcie网卡所属NUMA node。 + + ```shell + lspci -vvvs + ``` + + + +4. 查看NUMA node对应的core的区间，例如此处在鲲鹏920 5250上就可以绑到48\~63。 + + + +5. 进行中断绑核，1822网卡共有16个队列，将这些中断逐个绑至所在NumaNode的16个Core上（例如此处绑到NUMA node1对应的48-63上面）。 + + ```shell + bash smartIrq.sh + ``` + + 脚本内容如下： + + ```shell + #!/bin/bash + irq_list=(`cat /proc/interrupts | grep enp131s0 | awk -F: '{print $1}'`) + cpunum=48 # 修改为所在node的第一个Core + for irq in ${irq_list[@]} + do + echo $cpunum > /proc/irq/$irq/smp_affinity_list + echo `cat /proc/irq/$irq/smp_affinity_list` + (( cpunum+=1 )) + done + ``` + +6. 利用脚本查看是否绑核成功。 + + ```shell + sh irqCheck.sh enp131s0 + ``` + + + + 脚本内容如下： + + ```shell + #!/bin/bash + # 网卡名 + intf=$1 + log=irqSet-`date "+%Y%m%d-%H%M%S"`.log + # 可用的CPU数 + cpuNum=$(cat /proc/cpuinfo |grep processor -c) + # RX TX中断列表 + irqListRx=$(cat /proc/interrupts | grep ${intf} | awk -F':' '{print $1}') + irqListTx=$(cat /proc/interrupts | grep ${intf} | awk -F':' '{print $1}') + # 绑定接收中断rx irq + for irqRX in ${irqListRx[@]} + do + cat /proc/irq/${irqRX}/smp_affinity_list + done + # 绑定发送中断tx irq + for irqTX in ${irqListTx[@]} + do + cat /proc/irq/${irqTX}/smp_affinity_list + done + ``` + +## 操作系统调优 + +### 关闭内存透明大页 + +1）目的 + +关闭内存透明大页，防止内存泄漏，减少卡顿。 + +2）方法 + +关闭内存透明大页。 + +```shell +echo never > /sys/kernel/mm/transparent_hugepage/enabled +echo never > /sys/kernel/mm/transparent_hugepage/defrag +``` + +### 关闭swap分区 + +1）目的 + +Linux的虚拟内存会根据系统负载自动调整，内存页（page）swap到磁盘swap分区会影响测试性能。 + +2）方法 + +```shell +swapoff -a +``` + +修改前后对比如下图。 + + + +## spark组件调优 + +### IO配置项调优 + +- IO队列调整 + + 1）目的 + + 使用单队列（软队列）模式，单队列模式在spark测试时会有更佳的性能。 + + 2）方法 + + 在/etc/grub2-efi.cfg的内核启动命令行中添加`scsi_mod.use_blk_mq=0`，重启生效。 + + + +- 内核IO参数配置 + +```shell +#! /bin/bash + +echo 3000 > /proc/sys/vm/dirty_expire_centisecs +echo 500 > /proc/sys/vm/dirty_writeback_centisecs + +echo 15000000 > /proc/sys/kernel/sched_wakeup_granularity_ns +echo 10000000 > /proc/sys/kernel/sched_min_granularity_ns + +systemctl start tuned +sysctl -w kernel.sched_autogroup_enabled=0 +sysctl -w kernel.numa_balancing=0 + +echo 11264 > /proc/sys/vm/min_free_kbytes +echo 60 > /proc/sys/vm/dirty_ratio +echo 5 > /proc/sys/vm/dirty_background_ratio + +list="b c d e f g h i j k l m" #按需修改 +for i in $list +do + echo 1024 > /sys/block/sd$i/queue/max_sectors_kb + echo 32 > /sys/block/sd$i/device/queue_depth + echo 256 > /sys/block/sd$i/queue/nr_requests + echo mq-deadline > /sys/block/sd$i/queue/scheduler + echo 2048 > /sys/block/sd$i/queue/read_ahead_kb + echo 2 > /sys/block/sd$i/queue/rq_affinity + echo 0 > /sys/block/sd$i/queue/nomerges +done +``` + +### JVM参数和版本适配 + +1）目的 + +最新版本的JDK对Spark性能进行了优化。 + +2）方法 + +可在spark-defaults.conf文件中添加以下配置来使用新的JDK，以使用新的JDK参数。 + +```shell +spark.executorEnv.JAVA_HOME /usr/local/jdk8u222-b10 +spark.yarn.appMasterEnv.JAVA_HOME /usr/local/jdk8u222-b10 +spark.executor.extraJavaOptions -XX:+UseNUMA -XX:BoxTypeCachedMax=100000 +spark.yarn.am.extraJavaOptions -XX:+UseNUMA -XX:BoxTypeCachedMax=100000 +``` + +注：X86架构，JVM参数`-XX:BoxTypeCachedMax`不适用。 + +### spark应用参数调优 + +1）目的 + +在Spark基础配置值的基础上，按照理论公式得到一组较合理的Executor执行参数，使能后在鲲鹏上会带来明显的性能提升。 + +2）方法 + +- 如果用Spark-Test-Tool工具测试sql1\~sql10场景，打开工具目录下的“script/spark-default.conf”文件，添加以下配置项： + + ```shell + yarn.executor.num 15 + yarn.executor.cores 19 + spark.executor.memory 44G + spark.driver.memory 36G + ``` + +- 如果使用HiBench工具测试wordcount、terasort、bayesian、kmeans场景，打开工具目录下的“conf/spark.conf”文件，可以根据实际环境对运行核数、内存大小做调整。 + + ```shell + yarn.executor.num 15 + yarn.executor.cores 19 + spark.executor.memory 44G + spark.driver.memory 36G + ``` + +### 专用场景优化项 + +#### SQL场景 + +- sql1-IO密集型SQL + + 1）目的 + + ​ sql1是IO密集型场景，可以通过优化IO参数来带来最佳性能。 + + 2）方法 + + - 对以下IO相关参数进行设置，其中sd\$i指所有参与测试的磁盘名。 + + ```shell + echo 128 > /sys/block/sd$i/queue/nr_requests + echo 512 > /sys/block/sd$i/queue/read_ahead_kb + ``` + + - 对内存脏页参数进行设置。 + + ```shell + /proc/sys/vm/vm.dirty_expire_centisecs 500 + /proc/sys/vm/vm.dirty_writeback_centisecs 100 + ``` + + - 并行度在Spark-Test-Tool/script/spark-default.conf里设置。 + + ```shell + spark.sql.shuffle.partitions 350 + spark.default.parallelism 580 + ``` + + - 该场景其余参数都使用[spark应用参数调优][#spark应用参数调优]中的通用优化值。 + +- sql2 & sql7 - CPU密集型SQL + + 1）目的 + + ​ sql2和sql7是CPU密集型场景，可以通过优化spark执行参数来带来最佳性能。 + + 2）方法 + + - Spark-Test-Tool在配置文件（script/spark-default.conf）中指定的运行核数、内存大小可以根据实际环境来做调整，从而达到最优性能。如对于鲲鹏920 5220处理器，sql2和sql7场景建议以下executor参数。 + + ```shell + yarn.executor.num 42 + yarn.executor.cores 6 + spark.executor.memory 15G + spark.driver.memory 36G + ``` + + - 并行度在Spark-Test-Tool/script/spark-default.conf里设置 + + 针对sql2，设置如下： + + ```shell + spark.sql.shuffle.partitions 150 + spark.default.parallelism 504 + ``` + + 针对sql7，设置如下： + + ```shell + spark.sql.shuffle.partitions 300 + spark.default.parallelism 504 + ``` + +- sql3-IO + CPU + + 1）目的 + + ​ sql3是IO+CPU密集型场景，可以通过优化spark执行参数、调整IO参数来带来最佳性能。 + + 2）方法 + + - Spark-Test-Tool在配置文件（script/spark-default.conf）中指定的运行核数、内存大小可以根据实际环境来做调整，来达到最优性能。比如对于鲲鹏920 5220处理器，sql3场景建议以下executor参数。 + + ```shell + yarn.executor.num 30 + yarn.executor.cores 6 + spark.executor.memory 24G + spark.driver.memory 36G + ``` + + + - 调整IO预取值，其中sd\$i表示所有参与spark的磁盘名。 + + ```shell + echo 4096 > /sys/block/sd$i/queue/read_ahead_kb + ``` + + - 并行度在Spark-Test-Tool/script/spark-default.conf里设置。 + + ```shell + spark.sql.shuffle.partitions 150 + spark.default.parallelism 360 + ``` + +- sql4 - CPU密集 + + 1）目的 + + ​ sql4是CPU密集型场景，可以通过优化spark执行参数、调整IO参数来带来最佳性能。 + + 2）方法 + + ​ Spark-Test-Tool在配置文件中指定的运行核数、内存大小可以根据实际环境来做调整，来达到最优性能。比如对于鲲鹏920 5220处理器，sql4场景建议以下executor参数。 + + - 打开工具目录下的script/spark-default.conf文件，添加以下配置项： + + ```shell + yarn.executor.num 42 + yarn.executor.cores 6 + spark.executor.memory 15G + spark.driver.memory 36G + ``` + + - 同时调整IO预取值，其中sd\$i表示所有参与spark的磁盘名： + + ```shell + echo 4096 > /sys/block/sd$i/queue/read_ahead_kb + ``` + + - 并行度在Spark-Test-Tool/script/spark-default.conf里设置。 + + ```shell + spark.sql.shuffle.partitions 150 + spark.default.parallelism 504 + ``` + +- sql5 & sql6 & sql8 & sql9 & sql10 + + - 并行度在Spark-Test-Tool/script/spark-default.conf里设置。 + + ```shell + spark.sql.shuffle.partitions 300 + spark.default.parallelism 504 + ``` + + - 该场景其余参数都使用[spark应用参数调优](#spark应用参数调优)的通用优化值。 + +#### HiBench场景 + +- Wordcount – IO + CPU密集型 + + 1）目的 + + ​ Wordcount是IO+CPU密集型场景，二者均衡，采用单队列的deadline调度算法反而不好。采用多队列的mq-deadline算法并调整相关io参数，能得到较好的性能结果。 + + 2）方法 + + - 对以下配置进行修改，其中sd\$i指所有参与测试的磁盘名称： + + ```shell + echo mq-deadline > /sys/block/sd$i/queue/scheduler + echo 512 > /sys/block/sd$i/queue/nr_requests + echo 8192 > /sys/block/sd$i/queue/read_ahead_kb + echo 500 > /proc/sys/vm/dirty_expire_centisecs + echo 100 > /proc/sys/vm/dirty_writeback_centisecs + echo 5 > /proc/sys/vm/dirty_background_ratio + ``` + + - 该场景下采用3-5倍总核数作为数据分片的Partitions和 Parallelism进行数据分片，减小单Task文件大小，对性能有正面提升。可以使用以下分片设置： + + ```shell + spark.sql.shuffle.partitions 300 + spark.default.parallelism 600 + ``` + + - HiBench在配置文件中指定的运行核数、内存大小可以根据实际环境来做调整，来达到最优性能。比如对于鲲鹏920 5220处理器，Wordcount场景建议以下executor参数： + + ```shell + yarn.executor.num 51 + yarn.executor.cores 6 + spark.executor.memory 13G + spark.driver.memory 36G + ``` + +- Terasort – IO + CPU 密集型 + + 1）目的 + + ​ Terasort是IO和CPU密集型场景，可以对IO参数和spark执行参数进行调整。另外，Terasort对网络的带宽要求也较高，可以通过优化网络参数，提升系统性能。 + + 2）方法 + + - 对以下配置进行修改，其中sd\$i指所有参与测试的磁盘名称。 + + ```shell + echo bfq > /sys/block/sd$i/queue/scheduler + echo 512 > /sys/block/sd$i/queue/nr_requests + echo 8192 > /sys/block/sd$i/queue/read_ahead_kb + echo 4 > /sys/block/sd$i/queue/iosched/slice_idle + echo 500 > /proc/sys/vm/dirty_expire_centisecs + echo 100 > /proc/sys/vm/dirty_writeback_centisecs + ``` + + - 该场景下采用3-5倍总核数作为数据分片的Partitions和 Parallelism进行数据分片，减小单Task文件大小，对性能有正面提升。打开HiBench工具的“conf/spark.conf”文件，可以使用以下分片设置： + + ```shell + spark.sql.shuffle.partitions 1000 + spark.default.parallelism 2000 + ``` + + - 打开HiBench工具的“conf/spark.conf”文件，增加以下executor参数： + + ```shell + yarn.executor.num 27 + yarn.executor.cores 7 + spark.executor.memory 25G + spark.driver.memory 36G + ``` + + - 优化网络参数。 + + ```shell + ethtool -K enp131s0 gro on + ethtool -K enp131s0 tso on + ethtool -K enp131s0 gso on + ethtool -G enp131s0 rx 4096 tx 4096 + ethtool -G enp131s0 rx 4096 tx 4096 + # 华为TM 280网卡最大可支持MTU=9000 + ifconfig enp131s0 mtu 9000 up + ``` + +- Bayesian – CPU密集型 + + 1）目的 + + ​ Bayesian是CPU密集型场景，可以对IO参数和spark执行参数进行调整。 + + 2）方法 + + - 该场景可以使用以下分片设置： + + ```shell + spark.sql.shuffle.partitions 1000 + spark.default.parallelism 2500 + ``` + + - 打开HiBench工具的“conf/spark.conf”文件，增加以下executor参数： + + ```shell + yarn.executor.num 9 + yarn.executor.cores 25 + spark.executor.memory 73G + spark.driver.memory 36G + ``` + + - 该场景使用以下内核参数： + + ```shell + echo mq-deadline > /sys/block/sd$i/queue/scheduler + echo 0 > /sys/module/scsi_mod/parameters/use_blk_mq + echo 50 > /proc/sys/vm/dirty_background_ratio + echo 80 > /proc/sys/vm/dirty_ratio + echo 500 > /proc/sys/vm/dirty_expire_centisecs + echo 100 > /proc/sys/vm/dirty_writeback_centisecs + ``` + +- Kmeans – 纯计算密集型 + + 1）目的 + + ​ Kmeans是CPU密集型场景，可以对IO参数和spark执行参数进行调整。 + + 2）方法 + + - 主要是调整spark executor参数适配到一个较优值，该场景可以使用以下分片设置： + + ```shell + spark.sql.shuffle.partitions 1000 + spark.default.parallelism 2500 + ``` + + - 调整IO预取值，其中sd\$i表示所有参与spark的磁盘名： + + ```shell + echo 4096 > /sys/block/sd$i/queue/read_ahead_kb + ``` + + - 打开HiBench工具的“conf/spark.conf”文件，增加以下executor参数： + + ```shell + yarn.executor.num 42 + yarn.executor.cores 6 + spark.executor.memory 15G + spark.driver.memory 36G + spark.locality.wait 10s + ``` + + +## Hive组件调优 + +### IO配置项调优 + +主要涉及scheduler、read_ahead_kb、sector_size配置。 + +- scheduler推荐使用mq-deadline，可以达到更高的IO效率，从而提高性能。 + +- 块设备的预读推荐设置为4M，读性能更佳，默认值一般为128KB。 + +- 块设备的sector_size应与物理盘的扇区大小进行匹配。可通过hw_sector_size、max_hw_sectors_kb、max_sectors_kb三者进行匹配，前两者从硬件中读取出来的值，第三者是内核块设备的聚合最大块大小，推荐与硬件保持一致，即后两者参数保证一致。 + +对涉及的所有数据盘统一设置如下： + +```shell +list="b c d e f g h i j k l m" #按需修改 +for i in $list +do + echo mq-deadline > /sys/block/sd$i/queue/scheduler + echo 4096 > /sys/block/sd$i/queue/read_ahead_kb + echo 512 > sys/block/sd$i/queue/hw_sector_size + echo 1024 > /sys/block/sd$i/queue/max_hw_sectors_kb + echo 256 > /sys/block/sd$i/queue/max_sectors_kb +done +``` + +### 内存脏页参数调优 + +```shell +echo 500 > /proc/sys/vm/dirty_expire_centisecs +echo 100 > /proc/sys/vm/dirty_writeback_centisecs +``` + +### Hive调优 + +#### 组件参数配置 + +信息 + +| 组件 | 参数名 | 推荐值 | 修改原因 | +| ----------------------------------------- | --------------------------------------------- | ------------------------------------------------ | ------------------------------------------------------------ | +| Yarn-\>NodeManager Yarn-\>ResourceManager | ResourceManager Java heap size | 1024 | 修改JVM内存大小，保证内存水平较高，减少GC的频率。 **说明：** 非固定值，需要根据GC的释放情况来调大或调小Xms及Xmx的值。 | +| | NodeManager Java heap size | 1024 | | +| Yarn-\>NodeManager | yarn.nodemanager.resource.cpu-vcores | 与实际数据节点的总物理核数相等。 | 可分配给Container的CPU核数。 | +| | yarn.nodemanager.resource.memory-mb | 与实际数据节点物理内存总量相等。 | 可分配给Container的内存。 | +| | yarn.nodemanager.numa-awareness.enabled | true | NodeManager启动Container时的Numa感知，需手动添加。 | +| | yarn.nodemanager.numa-awareness.read-topology | true | NodeManager的Numa拓扑自动感知，需手动添加。 | +| MapReduce2 | mapreduce.map.memory.mb | 7168 | 一个Map Task可使用的内存上限。 | +| | mapreduce.reduce.memory.mb | 14336 | 一个Reduce Task可使用的资源上限。 | +| | mapreduce.job.reduce.slowstart.completedmaps | 0.35 | 当Map完成的比例达到该值后才会为Reduce申请资源。 | +| HDFS-\>NameNode | NameNode Java heap size | 3072 | 修改JVM内存大小，保证内存水平较高，减少GC的频率。 | +| | NameNode new generation size | 384 | | +| | NameNode maximum new generation size | 384 | | +| | dfs.namenode.service.handler.count | 32 | NameNode RPC服务端监测DataNode和其他请求的线程数，可适量增加。 | +| | dfs.namenode.handler.count | 1200 | NameNode RPC服务端监测客户端请求的线程数，可适量增加。 | +| HDFS-\>DataNode | dfs.datanode.handler.count | 512 | DataNode服务线程数，可适量增加。 | +| TEZ | tez.am.resource.memory.mb | 7168 | 等同于yarn.scheduler.minimum-allocation-mb，默认7168。 | +| | tez.runtime.io.sort.mb | SQL1: 32 SQL2: 256 SQL3: 256 SQL4: 128 SQL5: 64 | 根据不同的场景进行调整。 | +| | tez.am.container.reuse.enabled | true | Container重用开关。 | +| | tez.runtime.unordered.output.buffer.size-mb | 537 | 10%\* hive.tez.container.size。 | +| | tez.am.resource.cpu.vcores | 10 | 使用的虚拟CPU数量，默认1，需要手动添加。 | +| | tez.container.max.java.heap.fraction | 0.85 | 基于Yarn提供的内存，分配给java进程的百分比，默认是0.8，需要手动添加。 | + +#### numa特性开启 + +Yarn组件在3.1.0版本合入的新特性支持，支持Yarn组件在启动Container时使能NUMA感知功能。其原理是读取系统物理节点上每个NUMA节点的CPU核、内存容量，使用`numactl`命令指定启动container的CPU范围和membind范围，减少跨片访问。 + +1. 安装numactl + +```shell +yum install numactl.aarch64 +``` + +2. 开启NUMA感知 + +``` +yarn.nodemanager.numa-awareness.enabled true +yarn.nodemanager.numa-awareness.read-topology true +``` + +在组件参数配置已列出。 + +## Hbase组件调优 + +### Hbase调优 + +#### 组件参数配置 + +如下参数为本次测试所配置参数，x86计算平台和鲲鹏920计算平台的参数仅有Yarn部分参数有差异（差异处表格中有体现），hbase和hdfs采用同一套参数进行测试。 + +| 组件 | 参数名 | 推荐值 | 修改原因 | +| ----------------------------------------- | --------------------------------------------- | -------------------------------- | ------------------------------------------------------------ | +| Yarn-\>NodeManager Yarn-\>ResourceManager | ResourceManager Java heap size | 1024 | 修改JVM内存大小，保证内存水平较高，减少GC的频率。 | +| | NodeManager Java heap size | 1024 | | +| Yarn-\>NodeManager | yarn.nodemanager.resource.cpu-vcores | 与实际数据节点的总物理核数相等。 | 可分配给Container的CPU核数。 | +| | yarn.nodemanager.resource.memory-mb | 与实际数据节点物理内存总量相等。 | 可分配给Container的内存。 | +| | yarn.nodemanager.numa-awareness.enabled | true | NodeManager启动Container时的Numa感知，需手动添加。 | +| | yarn.nodemanager.numa-awareness.read-topology | true | NodeManager的Numa拓扑自动感知，需手动添加。 | +| MapReduce2 | mapreduce.map.memory.mb | 7168 | 一个Map Task可使用的内存上限。 | +| | mapreduce.reduce.memory.mb | 14336 | 一个Reduce Task可使用的资源上限。 | +| | mapreduce.job.reduce.slowstart.completedmaps | 0.35 | 当Map完成的比例达到该值后才会为Reduce申请资源。 | +| HDFS-\>NameNode | NameNode Java heap size | 3072 | 修改JVM内存大小，保证内存水平较高，减少GC的频率。 | +| | NameNode new generation size | 384 | | +| | NameNode maximum new generation size | 384 | | +| | dfs.namenode.service.handler.count | 128 | NameNode RPC服务端监测DataNode和其他请求的线程数，可适量增加。 | +| | dfs.namenode.handler.count | 1200 | NameNode RPC服务端监测客户端请求的线程数，可适量增加。 | +| HDFS-\>DataNode | dfs.datanode.handler.count | 512 | DataNode服务线程数，可适量增加。 | +| HBase-\>RegionServer | HBase RegionServer Maximum Memory | 31744 | 修改JVM内存大小，保证内存水平较高，减少GC的频率。 | +| | hbase.regionserver.handler.count | 150 | RegionServer上的RPC服务器实例数量。 | +| | hbase.regionserver.metahandler.count | 150 | RegionServer中处理优先请求的程序实例的数量。 | +| | hbase.regionserver.global.memstore.size | 0.4 | 最大JVM堆大小（Java -Xmx设置）分配给MemStore的比例。 | +| | hfile.block.cache.size | 0.4 | 数据缓存所占的RegionServer GC -Xmx百分比。 | +| | hbase.hregion.memstore.flush.size | 267386880 | Regionserver memstore大小，增大可以减小阻塞。 | + +#### numa特性开启 + +Yarn组件在3.1.0版本合入的新特性支持，支持Yarn组件在启动Container时使能NUMA感知功能。其原理是读取系统物理节点上每个NUMA节点的CPU核、内存容量，使用`numactl`命令指定启动container的CPU范围和membind范围，减少跨片访问。 + +1. 安装numactl + +```shell +yum install numactl.aarch64 +``` + +2. 开启NUMA感知 + +``` +yarn.nodemanager.numa-awareness.enabled true +yarn.nodemanager.numa-awareness.read-topology true +``` + +在组件参数配置已列出。 \ No newline at end of file diff --git a/docs/zh/menu/index.md b/docs/zh/menu/index.md index 218274a7a1c8d38cb197bb133969a52aa2edaacf..8c5679d9e3e690b557ece224f11c19d73b762efe 100644 --- a/docs/zh/menu/index.md +++ b/docs/zh/menu/index.md @@ -220,6 +220,9 @@ headless: true - [isocut 使用指南]({{< relref "./docs/TailorCustom/isocut使用指南.md" >}}) - [imageTailor 使用指南]({{< relref "./docs/TailorCustom/imageTailor 使用指南.md" >}}) - [Gazelle用户指南]({{< relref "./docs/Gazelle/Gazelle.md" >}}) +- [系统分析与调优用户指南]({{< relref "./docs/SystemOptimization/overview.md" >}}) + - [MySQL性能调优指南]({{< relref "./docs/SystemOptimization/MySQL性能调优指南.md" >}}) + - [大数据调优指南]({{< relref "./docs/SystemOptimization/大数据调优指南.md" >}}) - [NestOS用户指南]({{< relref "./docs/NestOS/overview.md" >}}) - [安装与部署]({{< relref "./docs/NestOS/安装与部署.md" >}}) - [使用方法]({{< relref "./docs/NestOS/使用方法.md" >}})