diff --git "a/content/zh/docs/AboutopenGauss/\346\225\260\346\215\256\346\240\241\351\252\214gs_datacheck.md" "b/content/zh/docs/AboutopenGauss/\346\225\260\346\215\256\346\240\241\351\252\214gs_datacheck.md" index 6af8e84136c3450cec47dd61f6816e0e2fec7853..a56cfbe84faff5f98fe986915e43c478fbd8daa7 100644 --- "a/content/zh/docs/AboutopenGauss/\346\225\260\346\215\256\346\240\241\351\252\214gs_datacheck.md" +++ "b/content/zh/docs/AboutopenGauss/\346\225\260\346\215\256\346\240\241\351\252\214gs_datacheck.md" @@ -2,7 +2,7 @@ ## 可获得性 -本特性自openGauss 5.0.0版本开始引入。 +本特性自openGauss 3.0.0版本开始引入。 ## 特性简介 @@ -27,7 +27,7 @@ gs_datacheck工具提供数据全量和增量校验功能,可以对MySQL至ope ## 特性增强 -无。 +​ 自gs_datacheck 5.1.0 版本 ,针对表抽取任务分片规则进行优化,实现抽取校验性能的提升。( 在50张表每张表1千万记录场景下,校验性能使用sysbench模型以及t_datacheck_templete模型,校验速率达到20万条/秒,其中使用t_datacheck_templete模型可以达到(150+M/s) ) ## 特性约束 diff --git "a/content/zh/docs/DataMigrationGuide/\346\225\260\346\215\256\346\240\241\351\252\214.md" "b/content/zh/docs/DataMigrationGuide/\346\225\260\346\215\256\346\240\241\351\252\214.md" index 3c334915796baa6acc85804a304ffaef44e55a5b..7bfcbb655f25b572b3ec5f2f7630e330d79e1fec 100644 --- "a/content/zh/docs/DataMigrationGuide/\346\225\260\346\215\256\346\240\241\351\252\214.md" +++ "b/content/zh/docs/DataMigrationGuide/\346\225\260\346\215\256\346\240\241\351\252\214.md" @@ -49,10 +49,13 @@ server: port: 9000 # 为校验服务web端口,默认可不修改 logging: - config: # absolute_path/config/log4j2.xml 设置校验服务日志路径为config/log4j2.xml文件绝对路径 + config: config/log4j2.xml 设置校验服务日志路径为config/log4j2.xml文件绝对路径 spring: kafka: bootstrap-servers: localhost:9092 # 为kafka工作地址,默认安装可不修改 + check: + core-pool-size: 1 # 校验并发线程池-核心线程数 + maximum-pool-size: 4 # 校验并发线程池-最大线程数 data: check: data-path: ./check_result # 校验结果输出地址,默认配置可不修改 @@ -120,10 +123,10 @@ # text: name,height,last_upd_time,last_upd_time # attribute: include # - name: t_test_4 - # text: name,height,last_upd_time + # text: name,height,last_upd_time # attribute: exclude ``` - + - application-source.yml @@ -132,12 +135,15 @@ server: port: 9001 # 为源端抽取服务web端口,默认可不修改 logging: - config: # absolute_path/log4j2source.xml 设置校验服务日志路径为config/log4j2source.xml文件绝对路径 + config: config/log4j2.xml 设置校验服务日志路径为 config/log4j2.xml文件绝对路径 spring: check: server-uri: http://127.0.0.1:9000 # 校验服务请求地址,默认配置可不修改 - max-core-pool-size: 10 # 并发线程数设置,可不修改,默认10,设置为0则系统自动分配 + core-pool-size: 1 # 校验并发线程池-核心线程数 + maximum-pool-size: 5 # 校验并发线程池-最大线程数 + maximum-topic-size: 5 # 校验并发Topic数量 + maximum-table-slice-size: 100000 # 大表分片数量,例如设置为10万,则将含有100万记录的表分割为10个分片,进行独立抽取 max-retry-times: 1000 # 最大尝试次数 retry-interval-times: 10000 # 最大间隔时间单位毫秒 默认10000 @@ -158,16 +164,24 @@ # 数据源配置,工具默认采用druid数据源,用户可以自定义配置连接池参数,可根据当前校验数据库任务数量(表数量)进行调整 datasource: - druid: - dataSourceOne: - driver-class-name: com.mysql.cj.jdbc.Driver - url: jdbc:mysql://127.0.0.1:3306/mysql?useSSL=false&useUnicode=true&characterEncoding=utf-8&serverTimezone=UTC&allowPublicKeyRetrieval=true - username: - password: 'xxxx' # - initialSize: 5 # 默认初始连接大小 - minIdle: 10 # 默认最小连接池数量 - maxActive: 20 # 最大连接数 maxActive 大于query-dop 一般为query-dop 的2-3倍 - validationQuery: SELECT 1 + driver-class-name: com.mysql.cj.jdbc.Driver + url: jdbc:mysql://192.168.0.114:13306/test?useSSL=false&useUnicode=true&characterEncoding=utf-8&serverTimezone=UTC&allowPublicKeyRetrieval=true + username: + password: 'xxxx' # + druid: + initial-size: 5 # 默认初始连接大小 + minIdle: 10 # 默认最小连接池数量 + maxActive: 50 # 最大连接数 maxActive 大于query-dop 一般为query-dop 的2-3倍 + test-while-idle: true + test-on-borrow: true + validation-query: "SELECT 1 FROM DUAL" + validation-query-timeout: 10000 + connection-error-retry-attempts: 0 + break-after-acquire-failure: true + max-wait: 6000 + keep-alive: true + min-evictable-idle-time-millis: 600000 + ``` - application-sink.yml @@ -178,12 +192,15 @@ server: port: 9002 # 为目标端抽取服务web端口,默认可不修改 logging: - config: # absolute_path/log4j2sink.xml 设置校验服务日志路径为config/log4j2sink.xml文件绝对路径 + config: config/log4j2.xml 设置校验服务日志路径为config/log4j2.xml文件绝对路径 spring: check: server-uri: http://127.0.0.1:9000 # 校验服务请求地址,默认配置可不修改 - max-core-pool-size: 10 # 并发线程数设置,可不修改,默认10,设置为0则系统自动分配 + core-pool-size: 1 # 校验并发线程池-核心线程数 + maximum-pool-size: 5 # 校验并发线程池-最大线程数 + maximum-topic-size: 5 # 校验并发Topic数量 + maximum-table-slice-size: 100000 # 大表分片数量,例如设置为10万,则将含有100万记录的表分割为10个分片,进行独立抽取 max-retry-times: 1000 # 最大尝试次数 retry-interval-times: 10000 # 最大间隔时间单位毫秒 默认10000 @@ -203,16 +220,26 @@ bootstrap-servers: localhost:9092 # 为kafka工作地址,默认安装可不修改 # 数据源配置,工具默认采用druid数据源,用户可以自定义配置连接池参数,可根据当前校验数据库任务数量(表数量)进行调整 - datasource: - druid: - dataSourceOne: - driver-class-name: org.opengauss.Driver - url: jdbc:opengauss://xxxxx:xxx/xxxx?useSSL=false&useUnicode=true&characterEncoding=utf-8&serverTimezone=UTC - username: - password: 'xxxx' # - initialSize: 5 # 默认初始连接大小 - minIdle: 10 # 默认最小连接池数量 - maxActive: 20 # 最大连接数 maxActive 大于query-dop 一般为query-dop 的2-3倍 + datasource: + driver-class-name: org.opengauss.Driver + url: jdbc:opengauss://192.168.0.114:25432/test_check?useSSL=false&useUnicode=true&characterEncoding=utf-8&serverTimezone=UTC + username: + password: 'xxxxxx' # The password text may contain special characters, which need to be enclosed in quotation marks + # Configure initialization connection pool size, minimum number of connections, and maximum number of connections + # Users can make appropriate adjustments according to the number of current database tables + druid: + initial-size: 5 # 默认初始连接大小 + min-idle: 10 # 默认最小连接池数量 + max-active: 50 # 最大连接数 maxActive 大于query-dop 一般为query-dop 的2-3倍 + test-while-idle: true + test-on-borrow: true + validation-query: "select 1" + validation-query-timeout: 10000 + connection-error-retry-attempts: 0 + break-after-acquire-failure: true + max-wait: 6000 + keep-alive: true + min-evictable-idle-time-millis: 600000 ``` - 安装