# data_sync

**Repository Path**: xiwanggit/data_sync

## Basic Information

- **Project Name**: data_sync
- **Description**: 数据实时同步
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 1
- **Created**: 2020-04-15
- **Last Updated**: 2021-05-28

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

###  purpose: 数据同步
*  demo 同步方式
	*  flume + kafka

	*  binlog：[canal](https://github.com/alibaba/canal)
	   *  相关文档
	      *  [ClientAdapter](https://github.com/alibaba/canal/wiki/ClientAdapter)
	   *  注意事项
	      *  install
	         *  canal_deployer start error: I/O error while reading from client socket
	            *  delete  /canal_deployer/conf/example/meta.dat
	         *  canal_adapter start error: Failed to load property source from location 'classpath:/application.yml'
	            *  application.yml语法错误: [check](http://www.yamllint.com/)
	            *  application.yml encode error: should be utf8, delete chinese or transalete to english

*  canal说明
   *  执行前需要下载jdk：jdk1.8.0_191-amd64.tar.gz，放置于文件夹`./ontime_canal`下。
      *  当jdk版本不一致时，请查阅canal官方是否支持该jdk版本。
      *  当jdk文件名不一致时，请修改`./ontime_canal/Dockerfile`：将文件中的jdk替换即可
   *  当需要将MySQL同步至es时，该demo需要在docker start success后，进入docker执行`bash /code/shell/create_es_index.sh`来创建索引
   *  该demo测试的是：将MySQL同时同步至MySQL & es，采用的是组内适配器组串行的方式