# SyncMysqlToElasticsearch

**Repository Path**: OrgXxxx/SyncMysqlToElasticsearch

## Basic Information

- **Project Name**: SyncMysqlToElasticsearch
- **Description**: 利用Binlog和Kafka实时同步mysql数据到Elasticsearch
- **Primary Language**: Java
- **License**: GPL-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 74
- **Forks**: 58
- **Created**: 2019-03-20
- **Last Updated**: 2025-02-17

## Categories & Tags

**Categories**: dbmanager

**Tags**: None

## README

# SyncMysqlToElasticsearch

#### 介绍
利用Binlog和Kafka实时同步mysql数据到Elasticsearch

#### 项目模块
BinlogMiddleware
1、binlog中间件，负责解析binlog，把变动的数据以json形式发送到kafka队列。

KafkaMiddleware
2、kafka中间件，负责消费kafka队列中的Message，把数据写入Elasticsearch中。

#### 基础服务
（1）Mysql
（2）Kafka（用于存放mysql变动消息，存放于Kafka队列）
（3）Elasticsearch

#### 使用说明

1. Demo初始化数据库使用: teemoliu_init.sql
2. Demo初始化ES索引使用：es_build_index.py
3. 教程见：https://www.jianshu.com/p/3ebab93ff075

#### Email:lzhzh825@gmail.com
PS:本demo只是简单示例，有很多可以优化的地方，本人也才疏学浅，欢迎大家提建议。