# LiveDataMigrationToPhoenix

**Repository Path**: Shook_project/LiveDataMigrationToPhoenix

## Basic Information

- **Project Name**: LiveDataMigrationToPhoenix
- **Description**: canal采集binlog入kafka，flink实时处理数据并sink到phoenix中
- **Primary Language**: Java
- **License**: GPL-3.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 9
- **Created**: 2020-06-01
- **Last Updated**: 2020-12-17

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# MySQL实时同步数据到Phoenix

---
Canal——>Kafka——>Flink——>Phoenix
---
## 需要关注的问题
- 大量数据在MySQL从库查询慢，改为Phoenix中查询，性能提升显著
- Phoenix中的数据类型与MySQL不完全一致，需要转存合适类型，比如bit在Phoenix中使用tinyint存储
- Phoenix对接了Prestosql，对于Phoenix中的时间戳没有支持，改为了bigint存储
- 同步过程中，处理数据为null问题
- PhoenixSink中，处理表数据类型与Flink-stream中具体数据列的匹配及转化问题

## 功能
- Canal数据格式FlatMessage，Mysql的元数据类型，Phoenix元数据类型三者的数据及类型自动映射，自动填充NULL数据
- 只处理DML，以后增加DDL
- 任意表的同步通用方案，