# 格创离线处理引擎平台

**Repository Path**: longshiyu/getech-offline-engine

## Basic Information

- **Project Name**: 格创离线处理引擎平台
- **Description**: 格创离线处理引擎平台
- **Primary Language**: Unknown
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 29
- **Created**: 2022-04-29
- **Last Updated**: 2022-04-29

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 介绍

Data-development-job 项目是基于Spark批处理的数据同步组件。该项目由TCL集团孵化的深圳格创东智科技有限公司的数据中台组研发。该组件上手简单，同步速率高，任务运行稳定，已经为TCL集团各产业服务了五年之久，助力于提升工业互联网的大数据计算能力。经过不断的更新迭代，项目已经支持多种数据源，现在开源出来给各位同学们使用。

# 数据源

| 数据源           | 读   | 写   |
|:------------- | --- | --- |
| Kudu          | 支持  | 支持  |
| Hive          | 支持  | 支持  |
| Mysql         | 支持  | 支持  |
| Oracle        | 支持  | 支持  |
| SQL Server    | 支持  | 支持  |
| PostgreSQL    | 支持  | 支持  |
| MongoDB       | 支持  | 支持  |
| ClickHouse    | 支持  | 支持  |
| ElasticSearch | 支持  | 支持  |
| FTP           | 支持  |     |
| SFTP          | 支持  |     |
| SAP           | 支持  |     |
| SAP HANA      | 支持  | 支持  |
| WebService    | 支持  |     |
| OracleNTS     | 支持  | 支持  |
| API 接口        | 支持  |     |

# 快速开始

* 项目打包

> mvn clean scala:compile compile install -DskipTests

   完成后将包上传到环境中

* 任务配置
  
   将任务配置json文件上传到环境中

* 启动任务

> /bin/spark-submit --class cn.getech.data.development.job.DBData2Hive --master yarn --deploy-mode cluster --queue root.users.jituan --driver-memory 1G --driver-cores 1 --executor-cores 2 --executor-memory 4G hdfs:///bdp/sparkLib/data-development-job-1.0.jar 45406 "2020-02-02 11:11:11"

# 页面预览

下面展示我们数据中台-数据同步模块部分页面

![输入图片说明](image/2.png)

![输入图片说明](image/1.jpg)