diff --git "a/content/zh/docs/AboutopenGauss/\346\225\260\346\215\256\346\240\241\351\252\214gs_datacheck.md" "b/content/zh/docs/AboutopenGauss/\346\225\260\346\215\256\346\240\241\351\252\214gs_datacheck.md"
index 6af8e84136c3450cec47dd61f6816e0e2fec7853..a56cfbe84faff5f98fe986915e43c478fbd8daa7 100644
--- "a/content/zh/docs/AboutopenGauss/\346\225\260\346\215\256\346\240\241\351\252\214gs_datacheck.md"
+++ "b/content/zh/docs/AboutopenGauss/\346\225\260\346\215\256\346\240\241\351\252\214gs_datacheck.md"
@@ -2,7 +2,7 @@
## 可获得性
-本特性自openGauss 5.0.0版本开始引入。
+本特性自openGauss 3.0.0版本开始引入。
## 特性简介
@@ -27,7 +27,7 @@ gs_datacheck工具提供数据全量和增量校验功能,可以对MySQL至ope
## 特性增强
-无。
+ 自gs_datacheck 5.1.0 版本 ,针对表抽取任务分片规则进行优化,实现抽取校验性能的提升。( 在50张表每张表1千万记录场景下,校验性能使用sysbench模型以及t_datacheck_templete模型,校验速率达到20万条/秒,其中使用t_datacheck_templete模型可以达到(150+M/s) )
## 特性约束
diff --git "a/content/zh/docs/DataMigrationGuide/\346\225\260\346\215\256\346\240\241\351\252\214.md" "b/content/zh/docs/DataMigrationGuide/\346\225\260\346\215\256\346\240\241\351\252\214.md"
index 3c334915796baa6acc85804a304ffaef44e55a5b..7bfcbb655f25b572b3ec5f2f7630e330d79e1fec 100644
--- "a/content/zh/docs/DataMigrationGuide/\346\225\260\346\215\256\346\240\241\351\252\214.md"
+++ "b/content/zh/docs/DataMigrationGuide/\346\225\260\346\215\256\346\240\241\351\252\214.md"
@@ -49,10 +49,13 @@
server:
port: 9000 # 为校验服务web端口,默认可不修改
logging:
- config: # absolute_path/config/log4j2.xml 设置校验服务日志路径为config/log4j2.xml文件绝对路径
+ config: config/log4j2.xml 设置校验服务日志路径为config/log4j2.xml文件绝对路径
spring:
kafka:
bootstrap-servers: localhost:9092 # 为kafka工作地址,默认安装可不修改
+ check:
+ core-pool-size: 1 # 校验并发线程池-核心线程数
+ maximum-pool-size: 4 # 校验并发线程池-最大线程数
data:
check:
data-path: ./check_result # 校验结果输出地址,默认配置可不修改
@@ -120,10 +123,10 @@
# text: name,height,last_upd_time,last_upd_time
# attribute: include
# - name: t_test_4
- # text: name,height,last_upd_time
+ # text: name,height,last_upd_time
# attribute: exclude
```
-
+
- application-source.yml
@@ -132,12 +135,15 @@
server:
port: 9001 # 为源端抽取服务web端口,默认可不修改
logging:
- config: # absolute_path/log4j2source.xml 设置校验服务日志路径为config/log4j2source.xml文件绝对路径
+ config: config/log4j2.xml 设置校验服务日志路径为 config/log4j2.xml文件绝对路径
spring:
check:
server-uri: http://127.0.0.1:9000 # 校验服务请求地址,默认配置可不修改
- max-core-pool-size: 10 # 并发线程数设置,可不修改,默认10,设置为0则系统自动分配
+ core-pool-size: 1 # 校验并发线程池-核心线程数
+ maximum-pool-size: 5 # 校验并发线程池-最大线程数
+ maximum-topic-size: 5 # 校验并发Topic数量
+ maximum-table-slice-size: 100000 # 大表分片数量,例如设置为10万,则将含有100万记录的表分割为10个分片,进行独立抽取
max-retry-times: 1000 # 最大尝试次数
retry-interval-times: 10000 # 最大间隔时间单位毫秒 默认10000
@@ -158,16 +164,24 @@
# 数据源配置,工具默认采用druid数据源,用户可以自定义配置连接池参数,可根据当前校验数据库任务数量(表数量)进行调整
datasource:
- druid:
- dataSourceOne:
- driver-class-name: com.mysql.cj.jdbc.Driver
- url: jdbc:mysql://127.0.0.1:3306/mysql?useSSL=false&useUnicode=true&characterEncoding=utf-8&serverTimezone=UTC&allowPublicKeyRetrieval=true
- username:
- password: 'xxxx' #
- initialSize: 5 # 默认初始连接大小
- minIdle: 10 # 默认最小连接池数量
- maxActive: 20 # 最大连接数 maxActive 大于query-dop 一般为query-dop 的2-3倍
- validationQuery: SELECT 1
+ driver-class-name: com.mysql.cj.jdbc.Driver
+ url: jdbc:mysql://192.168.0.114:13306/test?useSSL=false&useUnicode=true&characterEncoding=utf-8&serverTimezone=UTC&allowPublicKeyRetrieval=true
+ username:
+ password: 'xxxx' #
+ druid:
+ initial-size: 5 # 默认初始连接大小
+ minIdle: 10 # 默认最小连接池数量
+ maxActive: 50 # 最大连接数 maxActive 大于query-dop 一般为query-dop 的2-3倍
+ test-while-idle: true
+ test-on-borrow: true
+ validation-query: "SELECT 1 FROM DUAL"
+ validation-query-timeout: 10000
+ connection-error-retry-attempts: 0
+ break-after-acquire-failure: true
+ max-wait: 6000
+ keep-alive: true
+ min-evictable-idle-time-millis: 600000
+
```
- application-sink.yml
@@ -178,12 +192,15 @@
server:
port: 9002 # 为目标端抽取服务web端口,默认可不修改
logging:
- config: # absolute_path/log4j2sink.xml 设置校验服务日志路径为config/log4j2sink.xml文件绝对路径
+ config: config/log4j2.xml 设置校验服务日志路径为config/log4j2.xml文件绝对路径
spring:
check:
server-uri: http://127.0.0.1:9000 # 校验服务请求地址,默认配置可不修改
- max-core-pool-size: 10 # 并发线程数设置,可不修改,默认10,设置为0则系统自动分配
+ core-pool-size: 1 # 校验并发线程池-核心线程数
+ maximum-pool-size: 5 # 校验并发线程池-最大线程数
+ maximum-topic-size: 5 # 校验并发Topic数量
+ maximum-table-slice-size: 100000 # 大表分片数量,例如设置为10万,则将含有100万记录的表分割为10个分片,进行独立抽取
max-retry-times: 1000 # 最大尝试次数
retry-interval-times: 10000 # 最大间隔时间单位毫秒 默认10000
@@ -203,16 +220,26 @@
bootstrap-servers: localhost:9092 # 为kafka工作地址,默认安装可不修改
# 数据源配置,工具默认采用druid数据源,用户可以自定义配置连接池参数,可根据当前校验数据库任务数量(表数量)进行调整
- datasource:
- druid:
- dataSourceOne:
- driver-class-name: org.opengauss.Driver
- url: jdbc:opengauss://xxxxx:xxx/xxxx?useSSL=false&useUnicode=true&characterEncoding=utf-8&serverTimezone=UTC
- username:
- password: 'xxxx' #
- initialSize: 5 # 默认初始连接大小
- minIdle: 10 # 默认最小连接池数量
- maxActive: 20 # 最大连接数 maxActive 大于query-dop 一般为query-dop 的2-3倍
+ datasource:
+ driver-class-name: org.opengauss.Driver
+ url: jdbc:opengauss://192.168.0.114:25432/test_check?useSSL=false&useUnicode=true&characterEncoding=utf-8&serverTimezone=UTC
+ username:
+ password: 'xxxxxx' # The password text may contain special characters, which need to be enclosed in quotation marks
+ # Configure initialization connection pool size, minimum number of connections, and maximum number of connections
+ # Users can make appropriate adjustments according to the number of current database tables
+ druid:
+ initial-size: 5 # 默认初始连接大小
+ min-idle: 10 # 默认最小连接池数量
+ max-active: 50 # 最大连接数 maxActive 大于query-dop 一般为query-dop 的2-3倍
+ test-while-idle: true
+ test-on-borrow: true
+ validation-query: "select 1"
+ validation-query-timeout: 10000
+ connection-error-retry-attempts: 0
+ break-after-acquire-failure: true
+ max-wait: 6000
+ keep-alive: true
+ min-evictable-idle-time-millis: 600000
```
- 安装