gt-checksum v1.2.4发布 · Pull Request !11 · 万里数据库/gt-checksum

- 支持Oracle=>MySQL的单向数据校验和修复，目前支持NUMBER/CHAR/NCHAR/VARCHAR2/FLOAT/DECIMAL/DATE/TIMESTAMP/CLOB等多个常用类型
- 新增Oracle 随机数据加载工具oracle_random_data_load
- 配置文件中去掉"[DSNs],[Schema]"等一级标签
- 配置文件中存在重复配置参数时，只读取最后一条
- 将fixFileName更名为fixFileDir，用于自定义修复SQL文件存放目录；该目录名以"fixsql-时间戳"，会自动创建；并且当该目录不为空时会报错退出
- 新增参数fixFilePerTable，设置为ON时，针对每个表生成独立的SQL文件，并且按照fixTrxNum切分成多个子文件，便于并行修复；默认值为OFF，即所有修复SQL语句都合并到一个文件中
- 新增repairDB程序，读取gc.conf配置参数，读取fixFileDir目录下所有.sql文件，完成并行修复数据库；也可以自行指定修复SQL文件目录，例如 repairDB ./my-fixsql-dir。在某个测例中，共有1218
个fixsql文件，24301776行SQL语句，所有文件共6.5GB，参数`parallelThds=4/chunkSize=20000/fixTrxNum=20000`，修复耗时9m43.936s，表现相当优异
- 新增sqlWhere参数，用于定义校验数据时的WHERE条件，对于大表中只有小部分数据不一致的场景校验效率有极大提升；默认值为空字符串""，表示不添加WHERE子句条件，校验所有数据行
- 支持没有任何索引（包括隐藏主键my_row_id）的表数据校验和修复
- 程序运行时，检查 logFile 文件是否为空，如果不为空则将其重命名为 logFile-时间戳，例如 gt-checksum.log 重命名为 gt-checksum.log-20230801100000
- 支持读取gc.conf配置文件时,忽略配置参数中的多余空格
- 新增DDL不一致检测功能：当源端与目标端DDL定义不一致时，校验报告的Diffs列显示为"DDL-yes"，准确区分DDL差异和数据差异
- 支持MySQL 8.0 GIPK（自动生成的不可见主键my_row_id）场景下的DDL差异识别
- 新增索引列目标端存在性验证，当索引列（如my_row_id）在目标端不存在时，提前标记DDL不一致并跳过无意义的数据比较
- 优化INSERT和DELETE语句合并方案，分别设置不同上限，避免DELETE语句影响太多行数据而产生太久锁等待，反倒影响修复效率
- 新增参数fixTrxSize（默认4MB）用于限制单个fixsql文件大小；新增insertSqlSize和deleteSqlSize（单位KB）用于分别控制INSERT和DELETE合并SQL大小
- 优化内存使用：当有大量数据存在差异时，运行耗时降低12%的前提下，最高内存使用降低96%，效果显著
- 新增参数showActualRows表示是否统计各表精确行数并优化相应的查询SQL，可设置为 [ON | OFF]，默认值：ON
- 优化fixsql文件写入方式，不再采用临时文件写入，改为流式直接写入目标文件
- 新增对MySQL中的struct, routine两种校验场景的支持，包括 DELIMITER、PROCEDURE/FUNCTION 定义包含COMMENT属性
- 新增支持 MySQL -> MySQL struct 场景下的表级 AUTO_INCREMENT 差异检测与修复
- Bugs fixed
  - 修复了ignoreTables参数无效问题
  - 修复了tables参数不支持%通配符问题，重新支持包括库名映射场景下的%通配符用法，例如"db1.t%:db2.t%"
  - 修复了当数据表没有显式主键，且表中有多行数据是重复的，可能会导致校验结果不准确问题
  - 修复元数据查询链路并发共享状态导致的 DDL-yes 随机漂移问题
  - 修复其他issue #I7IYLD #I6VTMQ #I6OEBB #IB6BM6

类型	指派人员	状态
审查	GreatSQL 已审查通过	已完成 (1/1人)
测试	GreatSQL 已测试通过	已完成 (1/1人)

万里数据库/gt-checksum .gitee-modal { width: 500px !important; }

搜索帮助

万里数据库/gt-checksum