# flinkcdc-mysql-doris

**Repository Path**: jwandbj/flinkcdc-mysql-doris

## Basic Information

- **Project Name**: flinkcdc-mysql-doris
- **Description**: flinkcdc-mysql-doris是利用flinkcdc读取mysql的binlog日志，然后同步到doris里面，实现了业务数据实时的同步到doris。
该项目支持自动根据mysql的表结构自动在doris里面创建表，自动同步表结构的变更。
数据支持全量和增量的拉取；
- **Primary Language**: Unknown
- **License**: GPL-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 8
- **Forks**: 4
- **Created**: 2023-12-15
- **Last Updated**: 2024-11-08

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# flinkcdc-mysql-doris

#### 介绍
flinkcdc-mysql-doris是利用flinkcdc读取mysql的binlog日志，然后同步到doris里面，实现了业务数据实时的同步到doris。
该项目支持自动根据mysql的表结构自动在doris里面创建表，自动同步表结构的变更。
数据支持全量和增量的拉取；Flink的版本是1.16.0

#### 软件架构
底层的架构是基于Flink


#### 安装教程

1.  首先要准备好一个mysql的环境，必须开通读取binlog的权限。
2.  安装doris，可以用docker来安装doris，具体的方法参考：https://blog.csdn.net/jwandbj/article/details/134556940?spm=1001.2014.3001.5501
3.  然后把ZtornCDCApplication里面的FlinkCDCConfig参数修改成你自己的，直接运行main方法就可以了。

#### 使用说明

1.  ztorn-cdc是同步代码
2.  ztorn-common是公共类
3.  ztorn-framework是接口类
4.  ztorn-runner是一个将sql脚本读取出来，在flink-client运行的程序

对于Flink需要了解的可以参考这几篇文章：
1.  https://blog.csdn.net/jwandbj/article/details/134601652?spm=1001.2014.3001.5501
2.  https://blog.csdn.net/jwandbj/article/details/134603119?spm=1001.2014.3001.5501
3.  https://blog.csdn.net/jwandbj/article/details/134644939?spm=1001.2014.3001.5501

#### 有问题加QQ群

![输入图片说明](image.png)