法律申明
+ +**版权所有 © 2020 华为技术有限公司。** + +您对“本文档”的复制，使用，修改及分发受知识共享\(Creative Commons\)署名—相同方式共享4.0国际公共许可协议\(以下简称“CC BY-SA 4.0”\)的约束。为了方便用户理解，您可以通过访问[https://creativecommons.org/licenses/by-sa/4.0/](https://creativecommons.org/licenses/by-sa/4.0/) 了解CC BY-SA 4.0的概要 \(但不是替代\)。CC BY-SA 4.0的完整协议内容您可以访问如下网址获取：[https://creativecommons.org/licenses/by-sa/4.0/legalcode](https://creativecommons.org/licenses/by-sa/4.0/legalcode)。 + +**商标声明** + +A-Tune和其他华为商标均为华为技术有限公司的商标。本文档提及的其他所有商标或注册商标，由各自的所有人拥有。 + +**免责声明** + +本文档仅作为使用指导，除非适用法强制规定或者双方有明确书面约定, 华为技术有限公司对本文档中的所有陈述、信息和建议不做任何明示或默示的声明或保证，包括但不限于不侵权，时效性或满足特定目的的担保。 + +前言
+ +## 概述 + +本文档介绍openEuler系统性能自优化软件A-Tune的安装部署和使用方法，以指导用户快速了解并使用A-Tune。 + +## 读者对象 + +本文档适用于使用openEuler系统并希望了解和使用A-Tune的社区开发者、开源爱好者以及相关合作伙伴。使用人员需要具备基本的Linux操作系统知识。 + +认识A-Tune
+ +简介
+ +操作系统作为衔接应用和硬件的基础软件，如何调整系统和应用配置，充分发挥软硬件能力，从而提升业务性能，对用户来说至关重要。然而，运行在操作系统上的业务类型成百上千，应用形态千差万别，对资源的要求各不相同，且当前硬件和基础软件组成的应用环境涉及高达7000多个配置对象，随着调优对象的增加，调优所需的时间成本以指数级增长，配置调优成为了一项极其复杂的工程，超出了一般工程师的能力范围。为了应对这些挑战，A-Tune就应运而生了。 + +A-Tune是一款基于openEuler系统开发的性能智能自优化的基础软件，它利用人工智能技术，对应用建立精准的系统画像，通过AI感知并推理出业务特征，从而进行智能决策，匹配得出最佳的系统配置组合，使业务处于最佳运行状态。 + + + +架构
+ +A-Tune核心技术架构如下图，主要包括智能决策、系统画像和交互系统三层。 + +- 智能决策层：包含感知和决策两个子系统，分别承担对应用的智能感知和对系统的调优决策。 +- 系统画像层：主要包括标注和学习系统，标注系统用于业务模型的聚类，学习系统用于业务模型的学习和分类。 +- 交互系统层：用于各类系统资源的监控和配置，其中调优策略执行在本层进行。 + + + +支持特性与业务模型
+ +## 支持特性 + +A-Tune支持的主要特性、特性成熟度以及使用建议请参见[表1](#table1919220557576)。 + +**表 1** 特性成熟度 + + +| + | ++ | ++ | +
|---|---|---|
| + | ++ | ++ | +
| + | ++ | ++ | +
| + | ++ | ++ | +
| + | ++ | ++ | ++ | +
|---|---|---|---|
| + | ++ | ++ | ++ | +
| + | ++ | ++ | ++ | +
| + | ++ | ++ + | ++ | +
| + | ++ | ++ | ++ | +
| + | ++ | ++ | ++ | +
| + | ++ | ++ | ++ | +
| + | ++ | ++ | ++ | +
| + | ++ | ++ | ++ | +
| + | ++ | ++ | ++ | +
安装与部署
+ +本章介绍如何安装和部署A-Tune。 + +软硬件要求
+ +## 硬件要求 + +- 鲲鹏920处理器 + +## 软件要求 + +- 操作系统：openEuler 1.0 + +环境准备
+ +安装openEuler系统，安装方法参考《openEuler 1.0 安装指南》。 + +安装A-Tune
+ +本章介绍A-Tune的安装模式和安装方法。 + +安装模式介绍
+ +A-Tune支持单机模式和分布式模式安装： + +- 单机模式 + + client和server安装到同一台机器上。 + +- 分布式模式 + + client和server分别安装在不同的机器上。 + + + + +安装操作
+ +安装A-Tune的操作步骤如下： + +1. 挂载openEuler的iso文件。 + + ``` + # mount openEuler-1.0-aarch64-dvd.iso /mnt + ``` + +2. 配置本地yum源。 + + ``` + # vim /etc/yum.repos.d/local.repo + ``` + + 配置内容如下所示： + + ``` + [local] + name=local + baseurl=file:///mnt + gpgcheck=0 + enabled=1 + ``` + +3. 安装A-Tune服务端。 + + > **说明：** + >本步骤会同时安装服务端和客户端软件包，对于单机部署模式，请跳过**步骤4**。 + + ``` + # yum install atune -y + ``` + +4. 安装A-Tune客户端。 + + ``` + # yum install atune-client -y + ``` + +5. 验证是否安装成功。 + + ``` + # rpm -qa | grep atune + atune-client-xxx + atune-db-xxx + atune-xxx + ``` + + 有如上回显信息表示安装成功。 + + +部署A-Tune
+ +本章介绍A-Tune的配置部署。 + +配置介绍
+ +A-Tune配置文件/etc/atuned/atuned.cnf的配置项说明如下： + +- A-Tune服务启动配置 + + 可根据需要进行修改。 + + - address：系统grpc服务的侦听地址，默认为127.0.0.1，若为多机部署，需进行修改。 + - port：系统grpc服务的侦听端口，范围为0\~65535未使用的端口。 + - rest\_port：系统restservice的侦听端口, 范围为0\~65535未使用的端口。 + - sample\_num：系统执行analysis流程时采集样本的数量。 + +- system信息 + + system为系统执行相关的优化需要用到的参数信息，必须根据系统实际情况进行修改。 + + - disk：执行analysis流程时需要采集的对应磁盘的信息或执行磁盘相关优化时需要指定的磁盘。 + - network：执行analysis时需要采集的对应的网卡的信息或执行网卡相关优化时需要指定的网卡。 + - user：执行ulimit相关优化时用到的用户名。目前只支持root用户。 + - tls：开启A-Tune的gRPC和http服务SSL/TLS证书校验，默认不开启。开启TLS后atune-adm命令在使用前需要设置以下环境变量方可与服务端进行通讯： + - export ATUNE\_TLS=yes + - export ATUNE\_CLICERT=<客户端证书路径\> + + - tlsservercertfile：gPRC服务端证书路径。 + - tlsserverkeyfile：gPRC服务端秘钥路径。 + - tlshttpcertfile：http服务端证书路径。 + - tlshttpkeyfile：http服务端秘钥路径。 + - tlshttpcacertfile：http服务端CA证书路径。 + +- 日志信息 + + 根据情况修改日志的路径和级别，默认的日志信息在/var/log/message中。 + +- monitor信息 + + 为系统启动时默认采集的系统的硬件信息。 + + +## 配置示例 + +``` +#################################### server ############################### +# atuned config +[server] +# the address the grpc server to bind to, default is 127.0.0.1 +address = 127.0.0.1 + +# the atuned grpc listening port, default is 60001 +# the port can be set between 0 to 65535 the not be used +port = 60001 + +# the rest service listening port, default is 8383 +# the port can be set between 0 to 65535 than not be used +rest_port = 8383 + +# when run analysis command, the numbers of collected data. +# default is 20 +sample_num = 20 + +# Enable gRPC and http server authentication SSL/TLS +# default is false +# tls = true +# tlsservercertfile = /etc/atuned/server.pem +# tlsserverkeyfile = /etc/atuned/server.key +# tlshttpcertfile = /etc/atuned/http/server.pem +# tlshttpkeyfile = /etc/atuned/http/server.key +# tlshttpcacertfile = /etc/atuned/http/cacert.pem + +#################################### log ############################### +# Either "debug", "info", "warn", "error", "critical", default is "info" +level = info + +#################################### monitor ############################### +[monitor] +# With the module and format of the MPI, the format is {module}_{purpose} +# The module is Either "mem", "net", "cpu", "storage" +# The purpose is "topo" +module = mem_topo, cpu_topo + +#################################### system ############################### +# you can add arbitrary key-value here, just like key = value +# you can use the key in the profile +[system] +# the disk to be analysis +disk = sda + +# the network to be analysis +network = enp189s0f0 + +user = root +``` + +启动A-Tune
+ +A-Tune安装完成后，需要启动A-Tune服务才能使用。 + +- 启动atuned服务： + + ``` + $ systemctl start atuned + ``` + + +- 查询atuned服务状态： + + ``` + $ systemctl status atuned + ``` + + 若回显为如下，则服务启动成功。 + +  + + +使用方法
+ +用户可以通过调用A-Tune提供的命令行接口使用A-Tune提供的功能。本章介绍A-Tune命令行接口的功能和使用方式。 + +查询负载类型
+ +list
+ +## 功能描述 + +查询系统当前支持的workload\_type和对应的profile，以及当前处于active状态的profile。 + +## 命令格式 + +**atune-adm list** + +## 使用示例 + +``` +$ atune-adm list + +Support WorkloadTypes: ++-----------------------------------+------------------------+-----------+ +| WorkloadType | ProfileName | Active | ++===================================+========================+===========+ +| default | default | true | ++-----------------------------------+------------------------+-----------+ +| webserver | ssl_webserver | false | ++-----------------------------------+------------------------+-----------+ +| big_database | database | false | ++-----------------------------------+------------------------+-----------+ +| big_data | big_data | false | ++-----------------------------------+------------------------+-----------+ +| in-memory_computing | in-memory_computing | false | ++-----------------------------------+------------------------+-----------+ +| in-memory_database | in-memory_database | false | ++-----------------------------------+------------------------+-----------+ +| single_computer_intensive_jobs | compute-intensive | false | ++-----------------------------------+------------------------+-----------+ +| communication | rpc_communication | false | ++-----------------------------------+------------------------+-----------+ +| idle | default | false | ++-----------------------------------+------------------------+-----------+ + +``` + +> **说明：** +>Active为true表示当前激活的profile，示例表示当前激活的是default类型对应的profile。 + +自定义负载类型
+ +除了系统已定义的负载类型，A-Tune也支持用户定义新的workload\_type及对应profile，并允许更新或删除自定义的workload\_type。 + +用户也可以将“使用方法 \> 自定义模型”中用户训练的自定义模型添加到A-Tune中。 + +define
+ +## 功能描述 + +添加用户自定义的workload\_type，及对应的profile优化项。 + +## 命令格式 + +**atune-adm define**update
+ +## 功能描述 + +将workload\_type原来的优化项更新为new.conf中的内容。 + +## 命令格式 + +**atune-adm update**undefine
+ +## 功能描述 + +删除用户自定义的workload\_type。 + +## 命令格式 + +**atune-adm undefine**自定义模型
+ +A-Tune支持用户训练新的workload\_type。训练方法非常简单，用户只要通过collection和train两条命令，即可完成新模型的训练。 + +collection
+ +## 功能描述 + +采集业务运行时系统的全局资源使用情况以及OS的各项状态信息，并将收集的结果保存到csv格式的输出文件中，作为模型训练的输入数据集。 + +> **说明：** +>本命令依赖采样工具perf，mpstat，vmstat，iostat，sar。CPU型号目前仅支持鲲鹏920，可通过dmidecode -t processor检查CPU型号。 + +## 命令格式 + +**atune-adm collection**| + | ++ | +
|---|---|
| + | ++ | +
| + | ++ | +
| + | ++ | +
| + | ++ | +
| + | ++ | +
| + | ++ | +
train
+ +## 功能描述 + +使用采集的数据进行模型的训练。训练时至少采集两种workload\_type的数据，否则会报错。 + +## 命令格式 + +**atune-adm train**| + | ++ | +
|---|---|
| + | ++ | +
| + | ++ | +
分析负载类型并自优化
+ + +analysis
+ +## 功能描述 + +采集系统的实时统计数据进行负载类型识别，并进行自动优化。 + +## 命令格式 + +**atune-adm analysis** \[OPTIONS\] + +## 参数说明 + + +| + | ++ | +
|---|---|
| + | ++ | +
查询profile
+ +info
+ +## 功能描述 + +查看workload\_type对应的profile内容。 + +## 命令格式 + +**atune-adm info** <_WORKLOAD\_TYPE\>_ + +## 使用示例 + +查看webserver的profile内容： + +``` +$ atune-adm info webserver + +*** ssl_webserver: + +# +# webserver tuned configuration +# +[main] +#TODO CONFIG + +[kernel_config] +#TODO CONFIG + +[bios] +#TODO CONFIG + +[sysfs] +#TODO CONFIG + +[sysctl] +fs.file-max=6553600 +fs.suid_dumpable = 1 +fs.aio-max-nr = 1048576 +kernel.shmmax = 68719476736 +kernel.shmall = 4294967296 +kernel.shmmni = 4096 +kernel.sem = 250 32000 100 128 +net.ipv4.tcp_tw_reuse = 1 +net.ipv4.tcp_syncookies = 1 +net.ipv4.ip_local_port_range = 1024 65500 +net.ipv4.tcp_max_tw_buckets = 5000 +net.core.somaxconn = 65535 +net.core.netdev_max_backlog = 262144 +net.ipv4.tcp_max_orphans = 262144 +net.ipv4.tcp_max_syn_backlog = 262144 +net.ipv4.tcp_timestamps = 0 +net.ipv4.tcp_synack_retries = 1 +net.ipv4.tcp_syn_retries = 1 +net.ipv4.tcp_fin_timeout = 1 +net.ipv4.tcp_keepalive_time = 60 +net.ipv4.tcp_mem = 362619 483495 725238 +net.ipv4.tcp_rmem = 4096 87380 6291456 +net.ipv4.tcp_wmem = 4096 16384 4194304 +net.core.wmem_default = 8388608 +net.core.rmem_default = 8388608 +net.core.rmem_max = 16777216 +net.core.wmem_max = 16777216 + +[systemctl] +sysmonitor=stop +irqbalance=stop + +[bootloader.grub2] +selinux=0 +iommu.passthrough=1 + +[tip] +bind your master process to the CPU near the network = affinity +bind your network interrupt to the CPU that has this network = affinity +relogin into the system to enable limits setting = OS + +[script] +openssl_hpre = 0 +prefetch = off + +[ulimit] +{user}.hard.nofile = 102400 +{user}.soft.nofile = 102400 + +[affinity.task] +#TODO CONFIG + +[affinity.irq] +#TODO CONFIG + +[check] +#TODO CONFIG + +``` + +设置profile
+ +profile
+ +## 功能描述 + +手动激活workload\_type对应的profile，使得workload\_type处于active状态。 + +## 命令格式 + +**atune-adm profile **_<_WORKLOAD\_TYPE_\>_ + +## 参数说明 + +WORKLOAD\_TYPE 支持的类型参考list命令查询结果。 + +## 使用示例 + +激活webserver对应的profile配置。 + +``` +$ atune-adm profile webserver +``` + +回滚profile
+ +rollback
+ +## 功能描述 + +回退当前的配置到系统的初始配置。 + +## 命令格式 + +**atune-adm rollback** + +## 使用示例 + +``` +$ atune-adm rollback +``` + +更新数据库
+ +upgrade
+ +## 功能描述 + +更新系统的数据库。 + +## 命令格式 + +**atune-adm upgrade**系统信息查询
+ +check
+ +## 功能描述 + +检查系统当前的cpu、bios、os、网卡等信息。 + +## 命令格式 + +**atune-adm check** + +## 使用示例 + +``` +$ atune-adm check + cpu information: + cpu:0 version: Kunpeng 920-6426 speed: 2600000000 HZ cores: 64 + cpu:1 version: Kunpeng 920-6426 speed: 2600000000 HZ cores: 64 + system information: + DMIBIOSVersion: 0.59 + OSRelease: 4.19.36-vhulk1906.3.0.h356.eulerosv2r8.aarch64 + network information: + name: eth0 product: HNS GE/10GE/25GE RDMA Network Controller + name: eth1 product: HNS GE/10GE/25GE Network Controller + name: eth2 product: HNS GE/10GE/25GE RDMA Network Controller + name: eth3 product: HNS GE/10GE/25GE Network Controller + name: eth4 product: HNS GE/10GE/25GE RDMA Network Controller + name: eth5 product: HNS GE/10GE/25GE Network Controller + name: eth6 product: HNS GE/10GE/25GE RDMA Network Controller + name: eth7 product: HNS GE/10GE/25GE Network Controller + name: docker0 product: +``` + +参数自调优
+ +A-Tune提供了最佳配置的自动搜索能力，免去人工反复做参数调整、性能评价的调优过程，极大地提升最优配置的搜寻效率。 + +tuning
+ +## 功能描述 + +使用指定的项目文件对参数进行动态空间的搜索，找到当前环境配置下的最优解。 + +## 命令格式 + +> **说明：** +>在运行命令前，需要满足如下条件： +>1. 编辑好服务端yaml配置文件，且需要服务端管理员将该配置文件放到服务端的/etc/atuned/tuning/目录下。 +>2. 编辑好客户端yaml配置文件并放在客户端任一目录。 + +**atune-adm tuning**| @@ -76,11 +970,11 @@ |
|---|
| @@ -200,11 +1094,11 @@ |
|---|
| @@ -252,11 +1146,11 @@ |
|---|
| @@ -313,114 +1207,140 @@ |
|---|
附录
+ +术语和缩略语
+ +**表 1** 术语表 + + +| + | ++ | +
|---|---|
| + | ++ | +
| + | ++ | +
| - | -- | -
|---|---|
| - | -- | -
| - | -- | -
|---|---|
| - | -- | -
| - | -- | -
| - | -- | -
| - | -- | -
| - | -- | -
| - | -- | -
| - | -- | -
|---|---|
| - | -- | -
| - | -- | -
| - | -- | -
|---|---|
| - | -- - | -
| - | -- - | -
| - | -- | -- | -
|---|---|---|
| - | -- | -- | -
| - | -- | -- | -
| - | -- | -- | -
| - | -- | -- | -- | -
|---|---|---|---|
| - | -- | -- | -- | -
| - | -- | -- | -- | -
| - | -- | -- - | -- | -
| - | -- | -- | -- | -
| - | -- | -- | -- | -
| - | -- | -- | -- | -
| - | -- | -- | -- | -
| - | -- | -- | -- | -
| - | -- | -- | -- | -
| - | -- | -
|---|---|
| - | -- | -
| - | -- | -