diff --git "a/release/NestOS-22.03-SP2.20230928/QA/NestOS 22.03 LTS SP2.20230928\347\211\210\346\234\254\347\211\271\346\200\247\346\265\213\350\257\225\346\212\245\345\221\212.md" "b/release/NestOS-22.03-SP2.20230928/QA/NestOS 22.03 LTS SP2.20230928\347\211\210\346\234\254\347\211\271\346\200\247\346\265\213\350\257\225\346\212\245\345\221\212.md" new file mode 100644 index 0000000000000000000000000000000000000000..2546421541fe0d7a6b7cf50cb4b8ba59ca90eb09 --- /dev/null +++ "b/release/NestOS-22.03-SP2.20230928/QA/NestOS 22.03 LTS SP2.20230928\347\211\210\346\234\254\347\211\271\346\200\247\346\265\213\350\257\225\346\212\245\345\221\212.md" @@ -0,0 +1,277 @@ +![avatar](../../images/openEuler.png) + + +版权所有 © 2023 openEuler社区 + 您对“本文档”的复制、使用、修改及分发受知识共享(Creative Commons)署名—相同方式共享4.0国际公共许可协议(以下简称“CC BY-SA 4.0”)的约束。为了方便用户理解,您可以通过访问https://creativecommons.org/licenses/by-sa/4.0/ 了解CC BY-SA 4.0的概要 (但不是替代)。CC BY-SA 4.0的完整协议内容您可以访问如下网址获取:https://creativecommons.org/licenses/by-sa/4.0/legalcode。 + + +修订记录 + +| 日期 | 修订 版本 | 修改描述 | 作者 | +| ---------- | ----------- | -------- | ------ | +| 2023/09/28 | 1.1.0 | 初始 | 温志伟 | + + 关键词: + + openEuler NestOS iSulad docker podman rpm-ostree zincati K8s NFV NFC + +摘要: + + 文本主要描述NestOS 22.03 LTS SP2.20230928版本的整体测试过程,详细叙述测试覆盖情况,并通过问题分析对版本整体质量进行评估和总结。 + +缩略语清单: + +| 缩略语 | 英文全名 | 中文解释 | +| ---------- | -------------------- | -------------------- | +| OS | Operating system | 操作系统 | +| iSulad | iSulad | 轻量级容器引擎 | +| Docker | Docker | Docker容器引擎 | +| Podman | Podman | Podman容器引擎 | +| rpm-ostree | rpm-ostree | 混合镜像/包系统 | +| zincati | zincati | 自动更新引擎 | +| K8s | kubernetes | 开源容器集群管理系统 | +| NFV | NestOS For Virt | 虚拟化场景镜像 | +| NFC | NestOS For Container | 云原生场景镜像 | + +# 1 特性概述 + +NestOS 是一款基于openEuler开发的自动更新的云底座操作系统。Nestos搭载了docker、iSulad、podman等常见容器引擎,将ignition配置、rpm-ostree、OCI支持、SElinux强化等技术集成在一起,采用基于双根文件系统、容器技术和集群架构的设计思路,可以适配云场景下多种基础运>行环境。同时NestOS针对Kubernetes进行优化,在IaaS生态构建方面,针对openStack、oVirt等平台提供支持;在PaaS生态构建方面,针对OKD、Rancher等平台提供支持,使系统具备十分便捷的集群组件能力,可以更安全的运行大规模的容器化工作负载。 + +本文主要描述NestOS 22.03 LTS SP2.20230928版本的总体测试活动,按照社区开发模式进行运作,结合SIG K8s-Distro/CloudNative/QA制定的版本计划规划相应的测试计划及活动。 +# 2 特性测试信息 + +NestOS 22.03 LTS SP2.20230928 版本是基于5.10内核22.03-LTS-SP2的增强扩展版本,内核包采用独立维护的内核版本nestos-kernel,软件包原则上取用 22.03 LTS SP2分支,部分修改软件包如crypto-policies已在master提相关pr,暂未合入openEuler-22.03 LTS SP2分支,但均已在该环境下编译。其关键特性如下: + + 1. 支持NFC专属容器云部署运维工具NKD + 2. 支持插件式运维管理平台PilotGo + 3. 支持不可变模式转换工具x2NestOS + 4. 支持Rubik在离线混部 + 5. 内核特性增强 + + +| 版本名称 | 测试起始时间 | 测试结束时间 | +| ------------------- | ------------ | ------------ | +| NestOS Test Round 1 | 2023/09/10 | 2023/09/13 | +| NestOS Test Round 2 | 2023/09/14 | 2023/09/16 | +| NestOS Test Round 3 | 2023/09/17 | 2023/09/23 | +| NestOS Test Round 4 | 2023/09/24 | 2023/09/28 | + +描述特性测试的硬件环境信息 +NestOS 在以下硬件进行安装适配和基本功能验证 + +| **硬件型号** | +| :-------------------------- | +| 飞腾FT2000+ | +| 飞腾S2500 | +| 鲲鹏920 | +| Intel(R) Xeon(R) Gold 6330H | + +# 3 测试结论概述 + +## 3.1 测试整体结论 + +NestOS 22.03 LTS SP2.20230928 版本整体测试按照计划共完成了一轮重点特性测试+一轮专项测试+一轮应用场景测试+一轮回归测试;其中第一轮重点特性测试聚焦在ignition自定义配置、nestos-installer安装、容器引擎、zincati自动升级、rpm-ostree原子化更新+双根文件分区的特性验证、NKD功能测试、PilotGo功能测试、x2NestOS功能测试、Rubik在离线混部功能测试、新增内核特性测试;>一轮专项测试开展版本交付的各类专项测试;一轮应用场景测试进行K8S的安装部署并验证各组件和服务正常工作;一轮性能测试;一轮回归测试重点覆盖特性测试,验证问题的修复程度。 +NestOS 22.03 LTS SP2.20230928 版本共发现问题 1 个,有效问题 1 个,0个遗留问题,1个问题已修复,回归测试结果正常,版本整体质量较好。 + + +## 3.2 特性测试结论 +| 测试活动 | 活动评价 | +| -------------------------- | --------------------------------------------------- | +| 容器云部署运维工具NKD | 实现OS安装部署与升级管理,以及K8S安装部署与升级管理 | +| 插件式运维管理平台PilotGo | 已验证系统环境安装PilotGo,可正常收集监控数据 | +| 不可变模式转换工具x2NestOS | 已验证可从通用镜像转为NFV镜像 | +| Rubik在离线混部 | 内核态已支持/适配Rubik工具 | +| 内核特性测试 | 已验证新增内核特性均已生效 | + +## 3.2 专项测试结论 +| 测试活动 | 活动评价 | +| ------------ | ------------------------------------------------------------ | +| 基础功能测试 | 对系统管理、系统服务、常用命令(文件系统、进程监控、网络、用户管理)进行测试,系统基础功能稳定。 | +| 容器功能测试 | 测试iSulad、podman、docker容器引擎基本功能,测试K8S+iSulad 搭建,iSulad和docker功能均能正常运行,K8集群正常工作。 | +| 可靠性测试 | 对NestOS进行稳定测试,测试操作系统稳定运行168 小时。 | +| 性能测试 | 对网络性能、容器性能进行了测试,重点测试了iSulad、docker、podman容器引擎对容器启停时间的消耗,测试结果表明iSulad性能优于docker、podman。 | +| 安全性测试 | 对身份鉴别、安全审计、用户登录、用户权限、远程连接,测试结果符合预期。 | + +## 3.2 约束说明 + + - 内存:4GB及以上 + - 架构:x86_64、aarch64 + - 使用zincati自动更新和rpm-ostree手动更新特性时,需保证当前NestOS版本不是最新版本,若当前NestOS是最新版本,则无法使用该功能。 + +## 3.3 性能测试 + +### 3.3.1 NFV性能测试 + +针对 CPU、MEM、Disk、系统整体性能,四项展开系统性能测试。x86 基于服务器裸机 ,以此次测试结果为基底,后续版本基于此进行优化。 + +| 测试项目 | x86_64/NFV | +| :------------- | -------------------------------------------- | +| **speccpu** | | +| multi integer | 39.7 | +| multi float | 29.5 | +| single integer | 1849.5 | +| single integer | 1151.6 | +| **stream** | | +| single | | +| Copy | 10135.9 | +| Scale | 11685.7 | +| Add | 13192.4 | +| Triad | 13058.9 | +| multi | | +| Copy | 92779.4 | +| Scale | 78725.8 | +| Add | 94632.8 | +| Triad | 85568.9 | +| **fio** | | +| 128k 写测试 | io:81920 iops:19500 bw:2441.0(MiB/s) | +| 128k 读测试 | io:81920 iops:18800 bw:2347 | +| 1M 写测试 | io:81920 iops:2456 bw:2457 | +| 1M 读测试 | io:81920 iops:2432 bw:2433 | +| 4K 写测试 | io: 81920 iops: 268000 bw:1049 | +| 4k 读测试 | io: 81920 iops: 243000 bw:950 | +| 4k 随机写测试 | io: 81920 iops: 195000 bw:763 | +| 4k 随机读测试 | io: 81920 iops: 238000 bw:930 | +| **unixbench** | | +| single | 1743.5 | +| multi | 15487.8 | + +### 3.3.2 NFC性能测试 + +NFC容器测试,测试在不同的容器运行环境中创建100个容器的性能。 + +| 测试项 | NFC镜像 | Centos | +| ---------- | ------- | ------- | +| **Docker** | | | +| create | 1375ms | 2919ms | +| start | 7397ms | 18400ms | +| stop | 1052ms | 465ms | +| remove | 1116ms | 6838ms | +| **Isula** | | | +| create | 858ms | 882ms | +| start | 1885ms | 2123ms | +| stop | 457ms | 497ms | +| remove | 501ms | 566ms | +| **Podman** | | | +| create | 3436ms | 6761ms | +| start | 5496ms | 10130ms | +| stop | 2516ms | 2532ms | +| remove | 2971ms | 3141ms | + +## 3.4 功能测试 + +### 3.4.1 iso镜像测试 + +测试项及测试结果如下所示: + +| 功能 | x86_64/NFV | arm64/NFV | x86_64/NFC | arm_64/NFC | +| -------------- | ---------- | --------- | ---------- | ---------- | +| 生命周期 | pass | pass | pass | pass | +| 快照 | pass | pass | pass | pass | +| CPU分配 | pass | pass | pass | pass | +| 内存分配 | pass | pass | pass | pass | +| 热插拔 | pass | pass | pass | pass | +| 网卡 | pass | pass | pass | pass | +| 接口 | pass | pass | pass | pass | +| 虚拟网络 | pass | pass | pass | pass | +| 节点设备 | pass | pass | pass | pass | +| 主机和管理程序 | pass | pass | pass | pass | +| 域监控 | pass | pass | pass | pass | +| 网络过滤器 | pass | pass | pass | pass | +| 存储池* | false | false | false | false | +| 存储卷 | pass | pass | pass | pass | +| 密钥 | pass | pass | pass | pass | +| 热迁移增强 | pass | pass | pass | pass | +| 内存调优 | pass | pass | pass | pass | +| 设备添加 | pass | pass | pass | pass | + +除了存储池测试项不支持磁盘总线类型为usb,其他功能测试都正常。 + +### 3.4.2 qcow2镜像测试 + +测试项及测试结果如下所示: + +| | 测试项 | 描述 | x86_64/NFC | arm64/NFC | +| ----------------- | ---------------------------------------- | ----------------------------------------- | ---------- | --------- | +| **通用** | nestos.auth.verify | ssh 用户名密码身份验证 | pass | pass | +| | coreos.selinux.boolean | 检查是否可以调整SElinux策略内规则的布尔值 | pass | pass | +| | coreos.selinux.enforce | 启动SELinux后的检查 | pass | pass | +| | coreos.tls.fetch-urls | 抓取url | pass | pass | +| | fcos.filesystem | 检查文件系统 | pass | pass | +| | fcos.network.listeners | 检查通用网络端口 | pass | pass | +| | fcos.ignition.v3.noop | | pass | pass | +| | fcos.users.shells | 用户登录系统时运行的程序 | pass | pass | +| | rootfs.uuid | 检查磁盘GUID为随机数 | pass | pass | +| **ignition** | nestos.ignition.groups | 新建用户组 | pass | pass | +| | nestos.ignition.instantiated.enable-unit | 启动服务 | pass | pass | +| | nestos.ignition.journald-log | 将日志写入journal | pass | pass | +| | coreos.ignition.mount.disks | 挂载磁盘并在挂载点写入文件 | pass | pass | +| | coreos.ignition.mount.partitions | 挂载分区并在挂载点写入文件 | pass | pass | +| | coreos.ignition.once | 写入文件 | pass | pass | +| | coreos.ignition.resource.remote | 通过访问http写入文件 | pass | pass | +| | coreos.ignition.resource.local | | pass | pass | +| | coreos.ignition.sethostname | 设置hostname | pass | pass | +| | coreos.ignition.ssh.key | | pass | pass | +| | coreos.ignition.security.tls | | pass | pass | +| | coreos.ignition.symlink | 设置硬链接 | pass | pass | +| | coreos.ignition.v2.users | 添加用户 | pass | pass | +| **isula** | isula.base | 检查isula基本信息 | pass | pass | +| **podman** | podman.base | 检查podman基本信息 | pass | pass | +| | podman.network-single | 检查容器网络连接 | pass | pass | +| **ostree** | ostree.hotfix | rpm安装、卸载、rpm-ostree回滚 | pass | pass | +| | ostree.remote | 验证ostree remote功能 | pass | pass | +| **ostree.unlock** | 验证安装包,重启后移除 | | pass | pass | +| **rpm-ostree** | rpmostree.install-uninstall | 安装、卸载软件包 | pass | pass | +| | rpmostree.status | 检查rpm-ostree状态 | pass | pass | +| | rpmostree.upgrade-rollback | 升级回滚 | pass | pass | + +### 3.4.3 容器镜像 + +| 测试项 | 描述 | x86_64/NFC | arm64/NFV | +| ---------------- | ------------------ | ---------- | --------- | +| rpmostree.rebase | 切换成容器镜像版本 | pass | pass | + +## 3.5 遗留问题分析 + +### 3.5.1 遗留问题影响以及规避措施 + +| 问题单号 | 问题描述 | 问题级别 | 问题影响和规避措施 | 当前状态 | +| -------- | -------- | -------- | ------------------ | -------- | +| | | | | | +| -------- | -------- | -------- | ------------------ | -------- | +| -------- | -------- | -------- | ------------------ | -------- | +| | | | | | + +### 3.5.2 问题统计 + +| | 问题总数 | 严重 | 主要 | 次要 | 不重要 | +| ---- | -------- | ---- | ---- | ---- | ------ | +| | | | | | | +| ------ | -------- | ---- | ---- | ---- | ------ | +| ------ | -------- | ---- | ---- | ---- | ------ | +| | | | | | | + +# 4 测试执行 + +## 4.1 测试执行统计数据 + + +| 版本名称 | 测试用例数 | 用例执行结果 | 发现问题单数 | +| ------------------- | ---------- | ------------ | ------------ | +| NestOS Test Round 1 | 25 | 2 FAIL | 0 | +| NestOS Test Round 2 | 35 | 1 FAIL | 1 | +| NestOS Test Round 3 | 1 | ALL PASS | 0 | +| NestOS Test Round 3 | 61 | ALL PASS | 0 | + +*数据项说明:* + +*测试用例数--到本测试活动结束时,所有可用测试用例数;* + +*发现问题单数--本测试活动总共发现的问题单数。* + +## 4.2 后续测试建议 + +后续测试需要关注点(可选) + +# 5 附件 + +*此处可粘贴各类专项测试数据或报告* diff --git "a/release/NestOS-22.03-SP2.20230928/QA/\347\211\210\346\234\254\346\265\213\350\257\225\347\255\226\347\225\245.md" "b/release/NestOS-22.03-SP2.20230928/QA/\347\211\210\346\234\254\346\265\213\350\257\225\347\255\226\347\225\245.md" new file mode 100644 index 0000000000000000000000000000000000000000..7694933f2102db24fbd3caca212cbb65d58a0b59 --- /dev/null +++ "b/release/NestOS-22.03-SP2.20230928/QA/\347\211\210\346\234\254\346\265\213\350\257\225\347\255\226\347\225\245.md" @@ -0,0 +1,247 @@ +![openEuler ico](../../images/openEuler.png) + +版权所有 © 2023 openEuler社区 +您对“本文档”的复制、使用、修改及分发受知识共享(Creative Commons)署名—相同方式共享4.0国际公共许可协议(以下简称“CC BY-SA +4.0”)的约束。为了方便用户理解,您可以通过访问了解CC BY-SA 4.0的概要 (但不是替代)。CC BY-SA +4.0的完整协议内容您可以访问如下网址获取:。 + +修订记录 + +| 日期 | 修订版本 | 修改 章节 | 修改描述 | 作者 | +| ---------- | -------- | ---------- | -------- | ------ | +| 2023-09-28 | 1.1.0 | | 初稿 | 温志伟 | + + +目 录 + +1 概述 + +> 1.1 版本背景 + +> 1.2 需求范围 + +2 风险 + +3 测试分层策略 + +4 测试分析设计策略 + +> 4.1 新增feature测试设计策略 + +> 4.2 继承feature/组件测试设计策略 + +> 4.3 专项测试策略 + +5 测试执行策略 + +6 附件 + +**Keywords 关键词**: + +NestOS 测试策略 + +Abstract 摘要: + +本文是NestOS_22.03_LTS_SP2.20230928版本的整体测试策略,用于指导该版本后续测试活动的开展 + +缩略语清单: + +| 缩略语 | 英文全名 | 中文解释 | +| ------- | --------------------- | ------------ | +| OS | Operation System | 操作系统 | +| iSulad | iSulad | iSulad | +| zincati | zincati | 自动更新引擎 | +| NFC | NestOS for Containers | 云原生镜像 | +| NFV | NestOS For Virt | 虚拟化镜像 | + +# 概述 + +NestOS 是一款基于openEuler开发的自动更新的最小化操作系统。Nestos搭载了docker、iSulad、podman、cri-o等常见容器引擎,将ignition配置、rpm-ostree、OCI支持、SElinux强化等技术集成在一起,采用基于双根文件分区、容器技术和集群架构的设计思路,可以适配云场景下多种基础运行环境。同时NestOS针对Kubernetes进行优化,在IaaS生态构建方面,针对openStack、oVirt等平台提供支持;在PaaS生态构建方面,针对OKD、Rancher等平台提供支持,使系统具备十分便捷的集群组件能力,可以更安全的运行大规模的容器化工作负载。 + +本文主要描述NestOS_22.03_LTS_SP2.20230928版本的总体测试策略,按照社区开发模式进行运作,结合社区K8s-Distro/CloudNative/QA团队制定的版本计划规划相应的测试活动。整体测试策略覆盖新需求、继承需求的测试分析和执行,明确各个测试周期的测试策略及出入口标准,指导后续测试活动。 + +## 版本背景 + +NestOS_22.03_LTS_SP2.20230928 版本是基于5.10内核22.03-LTS-SP2的增强扩展版本,内核包采用独立维护的内核版本nestos-kernel。该版本基于openEuler 22.03 LTS SP2 制作,软件包选型与策略与openEuler保持一致。 + +## 需求范围 + +NestOS_22.03_LTS_SP2.20230928 版本交付需求列表如下: + +| **no** | **feature** | **status** | **owner** | +| ------ | ---------------------------------------- | ---------- | ----------------------------------------------- | +| 1 | 支持通过ignition自定义用户配置 | done | [@duyiwei](https://gitee.com/duyiwei7w) | +| 2 | 支持在openstack平台安装 | done | [@duyiwei](https://gitee.com/duyiwei7w) | +| 3 | 支持使用容器镜像方式更新 | done | [@duyiwei](https://gitee.com/duyiwei7w) | +| 4 | 支持双根文件分区并验证zincati自动更新 | done | [@duyiwei](https://gitee.com/duyiwei7w) | +| 5 | rpm-ostree基本功能验证 | done | [@duyiwei](https://gitee.com/duyiwei7w) | +| 6 | 支持iSulad、podman、docker等主流容器引擎 | done | [@duyiwei](https://gitee.com/duyiwei7w) | +| 7 | 操作系统基础命令验证 | done | [@duyiwei](https://gitee.com/duyiwei7w) | +| 8 | 新增基于NestOS的K8S部署方案 | done | [@duyiwei](https://gitee.com/duyiwei7w) | +| 9 | NFC专属容器云部署运维工具NKD | done | [@jianli-97](https://gitee.com/jianli-97) | +| 10 | 插件式运维管理平台PilotGo | done | [@yangzhao_kl ](https://gitee.com/yangzhao_kl) | +| 11 | 不可变模式转换工具x2NestOS | done | [@wangyueliang](https://gitee.com/wangyueliang) | +| 12 | 支持Rubik在离线混部 | done | [@duyiwei](https://gitee.com/duyiwei7w) | +| 13 | 内核特性增强 | done | [@wenzhiwei11](https://gitee.com/wenzhiwei11) | + + +# 风险 + +| 问题类型 | 问题描述 | 问题等级 | 应对措施 | 责任人 | 状态 | +| -------- | -------- | -------- | -------- | ------ | ---- | +| 暂无 | | | | | | + +# 测试分层策略 + +本次 NestOS_22.03_LTS_SP2.20230928 版本的具体测试分层策略如下: + +| **需求** | **测试分层策略** | +| ---------------------------------------- | ------------------------------------------------------------ | +| 支持通过ignition自定义用户配置 | 验证实现不同功能模块的ign文件对NestOS配置生效 | +| 支持在openstack平台安装 | 验证openstack版本镜像可通过openstack平台安装启动 | +| 支持使用容器镜像方式更新 | 验证NestOS可以使用OCI格式镜像更新操作系统底座 | +| 支持双根文件分区并验证zincati自动更新 | 验证zincati服务正常启动并可自动更新至NestOS最新版本,并通过被动分区切换至新版本 | +| rpm-ostree基本功能验证 | 验证rpm-ostree原子化更新,搭配NestOS软件包安装、系统回滚与切换等 | +| 支持iSulad、podman、docker等主流容器引擎 | 验证各容器引擎可正常使用,手动搭建K8S集群 | +| 操作系统基础命令验证 | 验证操作系统常用基础指令 | +| 新增基于NestOS的K8S部署方案 | 验证基于NestOS部署的K8S可正常工作 | +| NFC专属容器云部署运维工具NKD | 验证容器云部署运维工具NKD正常工作 | +| 插件式运维管理平台PilotGo | 验证插件式运维管理平台PilotGo正常工作 | +| 不可变模式转换工具x2NestOS | 验证x2NestOS可正常将通用系统转换为NFC | +| 支持Rubik在离线混部 | 验证Rubik工具可正常工作 | +| 内核特性增强 | 验证内核特性可正常生效 | + +# 测试分析设计策略 + +## 新增feature测试设计策略 + +| *序号* | *Feature* | *重点* | *设计思路* | *备注* | +| ------ | ---------------------------------------- | -------------------------- | ------------------------------------------------------------ | ------ | +| 1 | 支持通过ignition自定义用户配置 | NestOS启动后各模块正常运行 | 编写以下配置对应的ign文件:网络配置、存储配置、文件管理、内核参数配置、用户组与Hostname配置、软件包安装配置、时区配置,并重启验证 | | +| 2 | 支持在openstack平台安装 | 可正常读取配置启动 | 使用发布件中的openstack版本镜像,搭配通用ign文件启动正常 | | +| 3 | 支持使用容器镜像方式更新 | 操作系统底座更新 | 使用上传至OEPKG的容器镜像版本NestOS进行操作系统更新,可通过rpm-ostree status查看版本更新状态 | | +| 4 | 支持双根文件分区并验证zincati自动更新 | zincati服务正常启动 | zincati服务正常启动,从cincinnati后端拿取新版本数据,通过rpm-ostree下载并安装。 | | +| 5 | rpm-ostree基本功能验证 | 基本功能符合预期 | 验证NestOS手动更新,版本回滚与切换 | | +| 6 | 支持iSulad、podman、docker等主流容器引擎 | 容器正常工作 | 容器基本功能正常使用,完成容器性能测试的横向对比 | | +| 7 | 操作系统基础命令验证 | 指令正常执行 | 验证操作系统常用基础指令 | | +| 8 | 新增基于NestOS的K8S部署方案 | K8S正常工作 | 基于NestOS本地搭建K8S集群,各组件启动正常,各服务正常工作 | | +| 9 | 容器云部署运维工具NKD验证 | 指令正常执行 | 系统环境安装NKD,实现OS安装部署与升级管理,以及K8S安装部署与升级管理 | | +| 10 | 插件式运维管理平台PilotGo验证 | 正常接收监控指标 | 系统环境安装PilotGo,保证该工具指令正常,并可以正常收集监控数据 | | +| 11 | 不可变模式转换工具x2NestOS验证 | 可以正常转换 | 可将通用形态操作系统转换为 NestOS For Container | | +| 12 | Rubik在离线混部验证 | 指令执行正常 | 系统安装部署Rubik,保证该工具可正常使用 | | +| 13 | 内核特性增强 | 特性验证 | 系统中内核相关特性可正常生效 | | + + +## 继承feature/组件测试设计策略 + +从老版本继承的功能特性的测试策略如下: + +| Feature/组件 | 策略 | +| ------------ | ---- | +| 暂无 | | + +## 专项测试策略 + +### 安全测试 + +NestOS 作为社区开源版本,在系统整体安全上需要进行保证,以发现系统中存在的安全脆弱性与风险,为版本的安全提供切实的依据,推动产品完成安全问题整改,提高产品的安全。整体安全测试需要覆盖: + +| 测试类型 | 具体测试内容 | +| :--------- | -------------------------------------------------- | +| 安全性测试 | 对身份鉴别、安全审计、用户登录、用户权限、远程连接 | + +### 可靠性测试 + +可靠性是版本测试中需重点考虑的测试活动,在各类资源异常/抢占竞争/压力/故障等背景下,通过功能的并发、反复操作进行长时间的测试;过程中通过监控系统资源、进程运行等状态,及时发现系统/特性隐藏的问题。 + +可靠性的测试建议从关键特性、重要组件、新增特性的可靠性指标和系统级的可靠性进行分析和设计,已保证特性和系统在各类异常、故障及压力背景下的持续提供服务的能力。 + +| 测试类性 | 具体测试内容 | +| ------------ | ------------------------------------------------------------ | +| 操作系统长稳 | 对NestOS进行稳定测试,测试操作系统稳定运行7*24 小时。 | +| 基础功能测试 | 对系统管理、系统服务、常用命令(文件系统、进程监控、网络、用户管理)进行测试 | +| 容器功能测试 | 测试iSulad、podman、docker容器引擎基本功能,测试K8S+iSulad 搭建 | + +### 性能测试 + +性能测试是针对交付件的具体性能指标,利用工具进行各类性能指标的测试。 + +| **指标大项** | **指标小项** | +| ------------ | ------------------------------------------------------------ | +| 基础性能 | 对网络性能、容器性能进行了测试,重点测试了iSulad、docker、podman容器引擎对容器启停时间的消耗。 | +| 通用性能 | 利用工具对CPU、内存、存储、整体性能进行测试。 | + +### 兼容性测试 + +NestOS 在以下硬件进行安装适配和基本功能验证 + +| **型号** | +| :-------------------------- | +| 飞腾FT2000+ | +| 飞腾S2500 | +| 鲲鹏920 | +| Intel(R) Xeon(R) Gold 6330H | + + +### 资料测试 + +资料测试主要是对版本交付的资料进行测试,重点是保证各个资料描述说明的清晰性和功能的正确性,另外openEuler作为一个开源社区,除提供中文的资料还有英文文档也需要重点测试。资料交付清单如下: + +| **手册名称** | **覆盖策略** | **中英文测试策略** | +| -------------- | ------------------------------------ | ------------------ | +| NestOS DOC文档 | 安装步骤的准确性及各特性使用的正确性 | 支持中文、英文 | + +# 测试执行策略 + +NestOS 软件包原则上取用 openEuler-22.03-LTS-SP2 分支,部分软件包如gnutls、sssd、libpsl、release等为已修改未合入软件包,相关pr已提交,待社区合入。 + +经与sig-QA商讨,NestOS测试以功能测试为主,优先保证NestOS所有功能特性正常,制定测试计划如下: + +### 测试计划 + +NestOS_22.03_LTS_SP2.20230928 版本按照社区开发模式进行运作,结合与QA团队制定的版本计划规划相应的测试活动。 + +| Stange name | Begin time | End time | Days | Note | +| :----------- | :--------- | :--------- | ---- | --------------------------------------- | +| Branch | 2023/07/17 | 2023/07/23 | 7 | 从22.03 LTS-SP2分支拉取软件包,本地构建 | +| Build | 2023/07/24 | 2023/08/09 | 14 | 版本DailyBuild & 开发自验证 | +| Test round 1 | 2023/08/10 | 2023/08/13 | 4 | 版本启动测试,ign用例编写 | +| Test round 2 | 2023/08/14 | 2023/08/16 | 3 | 主要特性与功能测试验证 | +| Test round 3 | 2023/08/17 | 2023/08/23 | 7 | 应用场景测试、性能测试与长稳测试 | +| Test round 4 | 2023/09/24 | 2023/09/28 | 7 | 发布版本构建,进行各功能特性回归测试 | +### 测试重点 + +测试阶段1: + +1. 虚拟化平台与硬件适配安装验证 +2. 测试用例编写 + +测试阶段2: + +1. 基础OS质量保障 + +5. 主要功能特性测试验证 + + +测试阶段3: + +1. 问题单回归 +2. 应用场景测试验证 + +### 入口标准 + +1. 上个阶段无block问题遗留 + +2. 转测版本的冒烟无阻塞性问题 + +### 出口标准 + +1. 策略规划的测试活动涉及测试用例100%执行完毕 + +2. 发布特性/新需求/性能基线等满足版本规划目标 + +3. 版本无block问题遗留,其它严重问题要有相应规避措施或说明 + +# 附件 + +无 \ No newline at end of file