# ETL数据抽取平台

**Repository Path**: beanxx/etl-platform

## Basic Information

- **Project Name**: ETL数据抽取平台
- **Description**: 代码是基于springcloud+springbatch实现的ETL数据抽取功能，任务调度采用xxl-job框架。前端采用layui,本人是一名java工程师，前端展示非本项目重点，只能勉强凑合用。
- **Primary Language**: Java
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 83
- **Created**: 2022-06-19
- **Last Updated**: 2022-06-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

### ETL数据抽取平台介绍



这是一套小型数据中台处理方案。主要使用场景是解决医院数据收集、统计、使用问题，解决医院数据统计难题，帮助医院更好的熟悉本院数据，更高效的利用本院数据，摆脱对厂商的依赖，实现院内数据的自我闭环管理。其他数据统计场景需评估是否能用，改造代价多大。  
    代码是基于springcloud+springbatch实现的ETL数据抽取功能，任务调度采用xxl-job框架。前端采用layui。借助springbatch批处理框架，可以实现常用数据源的规则化数据抽取。
    本系统主要摘取数据抽取方案做技术分享，不提供行业解决方案。后期会逐渐完善技术文档、视频供有数据抽取需要的同行进行学习、讨论、合作。

### 欢迎加入

有意将这套灵活抽取的概念做大做强，欢迎有志之士加入。日后的开源力度将会更加扩大，产品更加完善，希望对有需要的码农朋友有所帮助。

### 一、技术点介绍

一期（已完成）
- 1.springcloud+springbatch搭建抽取的整体框架
- 2.xxl-job实现任务调度
- 3.layui 前端
- 4.基于数据库的动态数据源切换
- 5.配置库为mysql，数据仓库可以为mysql、oracle、sqlserver、postgreysql

二期 (敬请期待)
- 1.加入对greenplum等分布式数据库的支持
- 2.更完善的多线程运行机制
- 3.实现数据地图更方便的查询数据

### 二、代码介绍

  etl-common 公共模块
  etl-med    元数据管理模块（主要负责基础数据的增删改）
  etl-job    springbatch批处理模块，是数据处理的主战场
  etl-task   定时任务调度管理模块
  etl-auth   功能权限+前端

### 三、服务启动

- 1）dw-etl/doc/*.sql为建表sql， dw-etl/doc/*.docx为介绍文档
- 2）etl-auth/resource/applications.properties中修改数据库等对应配置
- 3）基于mysql创建对应数据库
- 5）启动etl-auth项目中的EtlCoreApplication.java类
- 6）不出意外的话，访问http://127.0.0.1:8085/pages/login.html，恭喜,你可以访问了。 登录账号：admin/password
![输入图片说明](image.png)

### 四、功能介绍

   详见dw-etl/doc/功能使用说明.docx
   视频讲解准备中，稍后开放地址
   
### 五、问题咨询 

   有问题可以加QQ群387738577咨询，也可留言。  有项目合作意向可在群里@群主,本团队支持对产品做各种扩展、也能接受共同合作开发。