From d9d20c6de2cd7374641395436c2898cb68fc217a Mon Sep 17 00:00:00 2001
From: panpingsheng <panpingsheng@hygon.cn>
Date: Wed, 11 Dec 2024 11:46:48 +0800
Subject: [PATCH] Add https docker private image repository Reference process

---
 ...72\345\257\206\345\256\271\345\231\250.md" |   4 +-
 ...72\345\257\206\345\256\271\345\231\250.md" | 171 +++++++++++++++++-
 2 files changed, 172 insertions(+), 3 deletions(-)

diff --git "a/sig/Hygon Arch/content/2-CSV\346\265\213\350\257\225\346\226\207\346\241\243/4-KATA-3/2-\346\265\213\350\257\225CSV\346\234\272\345\257\206\345\256\271\345\231\250.md" "b/sig/Hygon Arch/content/2-CSV\346\265\213\350\257\225\346\226\207\346\241\243/4-KATA-3/2-\346\265\213\350\257\225CSV\346\234\272\345\257\206\345\256\271\345\231\250.md"
index 3fc9f1bc..d792af78 100644
--- "a/sig/Hygon Arch/content/2-CSV\346\265\213\350\257\225\346\226\207\346\241\243/4-KATA-3/2-\346\265\213\350\257\225CSV\346\234\272\345\257\206\345\256\271\345\231\250.md"	
+++ "b/sig/Hygon Arch/content/2-CSV\346\265\213\350\257\225\346\226\207\346\241\243/4-KATA-3/2-\346\265\213\350\257\225CSV\346\234\272\345\257\206\345\256\271\345\231\250.md"	
@@ -71,7 +71,9 @@ nginx   1/1     Running   0          3m50s
     2.如果没有代理，需要购买企业版本阿里云容器，本地制作好容器镜像push到阿里云仓库，企业版地址：
     https://www.aliyun.com/product/acr?spm=5176.21213303.J_qCOwPWspKEuWcmp8qiZNQ.30.3f952f3d26uzeU&scm=20140722.S_product@@%E4%BA%91%E4%BA%A7%E5%93%81@@88099._.RL_%E4%BC%81%E4%B8%9A%E7%89%88%E5%AE%B9%E5%99%A8-LOC_search~UND~product~UND~item-OR_ser-V_3-RE_productNew-P0_4
 
-    3.**机密容器镜像是虚拟机通过image 模块直接从远端仓库获取的镜像，image 模块是社区为虚拟机定制的镜像管理模块，不支持类似主机端docker 在/etc/docker/daemon.json 文件中配置国内加速器的方式获取dockerhub仓库镜像**
+    3.**如果上述两个条件都不满足，请搭建私有仓库**，搭建流程参考[2-9-3-机密容器](https://openanolis.cn/sig/Hygon-Arch/doc/1121587123561305791?lang=zh)中 **https私有仓库搭建** 章节
+
+    4.**机密容器镜像是虚拟机通过image 模块直接从远端仓库获取的镜像，image 模块是社区为虚拟机定制的镜像管理模块，不支持类似主机端docker 在/etc/docker/daemon.json 文件中配置国内加速器的方式获取dockerhub仓库镜像**
 
 
 - 启动POD
diff --git "a/sig/Hygon Arch/content/2-CSV\346\265\213\350\257\225\346\226\207\346\241\243/9-FAQ/3-\346\234\272\345\257\206\345\256\271\345\231\250.md" "b/sig/Hygon Arch/content/2-CSV\346\265\213\350\257\225\346\226\207\346\241\243/9-FAQ/3-\346\234\272\345\257\206\345\256\271\345\231\250.md"
index 47e91433..0ac5fdb3 100644
--- "a/sig/Hygon Arch/content/2-CSV\346\265\213\350\257\225\346\226\207\346\241\243/9-FAQ/3-\346\234\272\345\257\206\345\256\271\345\231\250.md"	
+++ "b/sig/Hygon Arch/content/2-CSV\346\265\213\350\257\225\346\226\207\346\241\243/9-FAQ/3-\346\234\272\345\257\206\345\256\271\345\231\250.md"	
@@ -71,5 +71,172 @@ $ sudo /opt/confidential-containers/bin/kata-runtime exec b66feaa98fcacfa8fe0b40
 
 访问阿里云等国内仓库kernel_params 配置参数 不要设置agent.https_proxy 和agent.no_proxy 等代理地址
 
-#### Q: 是否可以搭建私有仓库
-A: 可以，必须使用公网的CA证书，自签名的不行
\ No newline at end of file
+#### Q: 拉取较大镜像时，需要将内存配置较大以适应较大的镜像
+配置方法如下：
+
+```
+$ sudo sed -i "s/^default_memory *=.*\$/default_memory = 10240/g" /opt/confidential-containers/share/defaults/kata-containers/configuration-qemu-csv-dcu.toml
+```
+**10240** 为设置内存的大小，客户根据实际情况调整 
+
+#### Q: https私有仓库搭建
+如下步骤作为搭建私有仓库参考，主机系统Anolis OS 8.4
+
+- 拉取镜像
+    ```
+    sudo docker pull registry:2.7.0
+    ```
+- 生成密码文件
+    user passord 为仓库账号密码，根据需求自行调整
+    ```
+    # mkdir -p /docker/registry/auth
+    # docker run --entrypoint htpasswd registry:2.7.0 -Bbn user passord >> /docker/registry/auth/htpasswd
+    ```
+- 设置配置文件
+```
+    # mkdir -p /docker/registry/config
+    # cat > /docker/registry/config/config.yml <<EOF
+version: 0.1
+log:
+  fields:
+    service: registry
+storage:
+  delete:
+    enabled: true
+  cache:
+    blobdescriptor: inmemory
+  filesystem:
+    rootdirectory: /var/lib/registry
+http:
+  addr: :5000
+  headers:
+    X-Content-Type-Options: [nosniff]
+health:
+  storagedriver:
+    enabled: true
+    interval: 10s
+threshold: 3
+EOF
+```
+
+- 准备证书私钥
+
+证书可以是公网可信证书，或自己构造自签名证书，自签名证书需要将证书**打包放入initrd里的信任证书中**。
+
+1、自签名证书构建(**公网可信证书不需要该步骤**)
+
+构造配置文件
+```
+# cat > openssl.cnf <<EOF
+[req]
+distinguished_name = req_distinguished_name
+req_extensions = v3_req
+prompt = no
+
+[req_distinguished_name]
+C = ch
+ST = shanghai
+L = shanghai
+O = xx
+OU = xx
+CN = docker.xx.cn
+
+[v3_req]
+keyUsage = keyEncipherment, dataEncipherment
+extendedKeyUsage = serverAuth
+subjectAltName = @alt_names
+
+[alt_names]
+DNS.1 = *.xx.cn
+DNS.2 = xx.cn
+EOF
+```
+配置文件中的xx只是作为示例，客户根据自己需求调整，下面对xx相关字符客户做同样的操作即可
+
+生成私钥和自签名证书
+
+```
+# openssl req -x509 -nodes -days 36500 -newkey rsa:2048     -keyout domain.key -out domain.crt -config  openssl.cnf -extensions v3_req
+```    
+2、拷贝证书私钥到合适的位置
+```
+# mkdir -p /opt/docker/registry/public_certs
+# cp domain.crt domain.key /opt/docker/registry/public_certs
+```
+
+- 运行容器仓库
+    ```
+    sudo docker run -d -p 5005:5000 --restart=always --name=registry \
+    -v /docker/registry/config/:/etc/docker/registry/ \
+    -v /docker/registry/auth/:/auth/ \
+    -v /opt/docker/registry/public_certs:/certs \
+    -e "REGISTRY_AUTH=htpasswd" \
+    -e "REGISTRY_AUTH_HTPASSWD_REALM=Registry Realm" \
+    -e REGISTRY_AUTH_HTPASSWD_PATH=/auth/htpasswd \
+    -e "REGISTRY_HTTP_TLS_CERTIFICATE=/certs/domain.crt" \
+    -e "REGISTRY_HTTP_TLS_KEY=/certs/domain.key" \
+    -v /docker/registry/:/var/lib/registry/ \
+    registry:2.7.0
+    ```
+    将需要使用的镜像push到运行的仓库中，加密和签名镜像请参考[2-4-9-制作一个新的加密镜像并部署 ](https://openanolis.cn/sig/Hygon-Arch/doc/865622249784088376?lang=zh)、 [2-4-10-制作一个新的签名镜像并部署](https://openanolis.cn/sig/Hygon-Arch/doc/865622235909330728?lang=zh)
+- 私有仓库在机密容器中应用
+  
+    initid 文件解压打包参考[2-4-5-源码编译机密容器各组件](https://openanolis.cn/sig/Hygon-Arch/doc/865622243115145008?lang=zh) **修改initrd** 章节
+
+    1、请参考[2-4-11-使用身份验证信息下载镜像](https://openanolis.cn/sig/Hygon-Arch/doc/896792319448421882)将私有仓库的账号密码信息添加到对应的配置文件中
+
+    docker_auth_config.json文件示例
+    ```
+    $ cat  docker_auth_config.json
+    {
+        "auths": {
+            "docker.io": {
+                "auth": "bGl1ZGFsaWJqOlBhc3N3MHJkIXFhego="
+            },
+            "quay.io": {
+                "auth": "bGl1ZGFsaWJqOlBhc3N3MHJkIXFhego="
+            },
+            "docker.xx.cn:5005": {
+                "auth": "dXNlcjpwYXNzd29yZAo="
+            }
+        }
+    }
+    ```
+    2、在虚拟机initrd文件系统中建立域名和ip地址映射,host_ip为docker服务器主机地址，docker.xx.cn为服务器的域名
+    ```
+    sed -i '$a\host_ip   docker.xx.cn' $initrd_dir/etc/hosts
+    ```
+    3、initrd 添加自签名证书信任(**公网可信证书不需要该步骤**)
+    
+    1）把自签名证书domain.crt放入initid 中的,构建证书可信<br>
+    ```
+    # cd initrd
+    # mkdir -p usr/local/share/ca-certificates/
+    # cp domain.crt usr/local/share/ca-certificates/
+    # cat usr/local/share/ca-certificates/domain.crt >> etc/ssl/certs/ca-certificates.crt
+    # ln -s usr/local/share/ca-certificates/domain.crt etc/ssl/certs/
+    ```
+    2）重新打包替换原有的镜像
+
+
+    4、请参考[2-4-2-测试CSV机密容器](https://openanolis.cn/sig/Hygon-Arch/doc/896792319448421882)获取启动机密容器，私有仓库不需要在**kernel_params 中添加代理操作**，将其中的dockerhub 仓库中对的镜像地址换成自己的私有仓库地址
+
+    启动私有仓库容器示例
+    ```
+    cat <<-EOF | kubectl apply -f -
+    apiVersion: v1
+    kind: Pod
+    metadata:
+        labels:
+            run: test-csv
+        name: test-csv
+    spec:
+        containers:
+        - image: docker.xx.cn:5005/busybox
+        name: test-csv
+        imagePullPolicy: Always
+        dnsPolicy: ClusterFirst
+        restartPolicy: Never
+        runtimeClassName: kata-qemu-csv
+    EOF
+    ```
-- 
Gitee