# DataSynchronism

**Repository Path**: Nbility/data-synchronism

## Basic Information

- **Project Name**: DataSynchronism
- **Description**: 这个数据库数据导入另一个数据库
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 0
- **Created**: 2022-04-15
- **Last Updated**: 2022-04-25

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

## 功能简介
1. 相同数据库之间互相导入导出 oracle -> oracle,mysql -> mysql.
2. hive TO oracle

# 目录结构

```text
└─com
    └─yw
        ├─entity            配置存储实体
        ├─executor           执行器，每一个pipeline是一个线程
        ├─service           数据导入导出的具体实现逻辑
        ├─sink              数据输出源
        ├─source            数据输入源
        └─util              工具类
```

## 使用方法

1. pom文件打包
2. 解压target目录下的gz文件
3. 配置conf/dataflow.xml文件
4. 编辑bin目录下start.py脚本，配置java_home，执行脚本

## dataflow.xml配置方法

配置来源数据库

```xml

<datasources>
    <!-- 数据源1-->
    <datasource>
        <number>1</number>
        <dbType>oracle</dbType>
        <url>jdbc:oracle:thin:@ip:port:servername</url>
        <username>username</username>
        <password>password</password>
    </datasource>
</datasources>
```

配置输出数据库

```xml

<datasinks>
    <!-- 输出源1-->
    <datasink>
        <number>1</number>
        <dbType>oracle</dbType>
        <url>jdbc:oracle:thin:@ip:port:servername</url>
        <username>username</username>
        <password>password</password>
    </datasink>
</datasinks>
```

配置数据流,注意`<sql>`标签和`<table>`标签互相冲突

```xml
 <!-- 数据流向配置-->
<pipelines>
    <pipline>
        <!-- 插入之前先清空表，默认 false-->
        <clean>true</clean>
        <!-- 是否工作-->
        <working>false</working>
        <!-- 每次拉去批次的数量 -->
        <fetchSize>50</fetchSize>
        <input>
            <!-- 选择数据源1-->
            <sourceNumber>1</sourceNumber>
            <sql>SELECT * FROM TABLE1 WHERE time >= to_date('${start_time}','yyyy-mm-dd hh24:mi:ss') and
                time <![CDATA[<]]>  to_date('${end_time}','yyyy-mm-dd hh24:mi:ss')
            </sql>
        </input>
        <output>
            <!-- 选择输出源1 -->
            <sinkNumber>1</sinkNumber>
            <table>TABLE2</table>
        </output>
    </pipline>

    <pipline>
        <!-- 是否工作-->
        <working>false</working>
        <input>
            <!-- 选择数据源1-->
            <sourceNumber>1</sourceNumber>
            <table>TABLE1</table>
        </input>
        <output>
            <!-- 选择输出源1 -->
            <sinkNumber>1</sinkNumber>
            <table>TABLE2</table>
        </output>
    </pipline>
</pipelines>
```
总配置模板
```xml
<?xml version="1.0" encoding="utf-8" ?>
<!-- 数据源配置-->
<syn>
    <!-- 数据源数据库-->
    <datasources>
        <!-- 数据源1-->
        <datasource>
            <number>1</number>
            <dbType>oracle</dbType>
            <url>jdbc:oracle:thin:@ip:port:servername</url>
            <username>username</username>
            <password>password</password>
        </datasource>

    </datasources>
    <!-- 输出数据源配置-->
    <datasinks>
        <!-- 输出源1-->
        <datasink>
            <number>1</number>
            <dbType>oracle</dbType>
            <url>jdbc:oracle:thin:@ip:port:servername</url>
            <username>username</username>
            <password>password</password>
        </datasink>
    </datasinks>
    <!-- 数据流向配置-->
    <pipelines>
        <pipline>
            <!-- 是否工作-->
            <working>true</working>
            <fetchSize>2</fetchSize>
            <input>
                <!-- 选择数据源1-->
                <sourceNumber>1</sourceNumber>
                <sql>SELECT * FROM TABLE1 </sql>
            </input>
            <output>
                <!-- 插入之前先清空表，默认 false-->
                <clean>true</clean>
                <!-- 选择输出源1 -->
                <sinkNumber>1</sinkNumber>
                <table>TABLE2</table>
            </output>
        </pipline>

        <pipline>
            <!-- 是否工作-->
            <working>true</working>
            <input>
                <!-- 选择数据源1-->
                <sourceNumber>1</sourceNumber>
                <table>TABLE1</table>
            </input>
            <output>
                <!-- 选择输出源1 -->
                <sinkNumber>1</sinkNumber>
                <table>TABLE2</table>
            </output>
        </pipline>
    </pipelines>
</syn>

```