# ETL数据处理平台2

**Repository Path**: liujl1990/data-platform-2.0

## Basic Information

- **Project Name**: ETL数据处理平台2
- **Description**: ods层采用datax，dw层采用insert select、stream-load二选一。
系统整体采用若依未分离版，后端核心技术为springboot、xxl-job、datax。前段为bootstrap。
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 5
- **Forks**: 0
- **Created**: 2025-06-04
- **Last Updated**: 2026-01-21

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# ETL数据处理平台

#### 介绍
ods层采用datax，dw层采用insert select、stream-load、sprak三选一, doris作为数仓时可考虑采用stream-load，搭建doris环境需要一定硬件资源，无法本地验证，仅提供方案，可结合db方案自行调试。
系统整体采用若依未分离版，后端核心技术为springboot、xxl-job、datax-web。前段为bootstrap。本项目为基于java数据抽取的系列化数据处理平台，不同系列采用不同的技术框架。
建议开发或使用数据平台前，先深度学习doris数据库。

#### 系列介绍
### 详细可转至CSDN: https://mp.csdn.net/mp_blog/creation/editor/148998684

**系列一：基于springboot2.x+springbatch的ETL数据处理** 
     
- 优点是上手简单，数据流程严谨；缺点是效率不高，适合数据量不大的场景。
- https://gitee.com/liujl1990/etl-platform

 **系列二：基于springboot2.x+datax+insert-select/stream-load/spark的数据抽取** 
     
- 优点是效率高，充分考虑了各层数仓的特殊性采用不同技术方案；缺点是涉及框架多，对新手具有较强挑战性。
- https://gitee.com/liujl1990/data-platform-2.0

 **系列三：springboot3.x+nacos+dubbo的微服务版组件化数据处理** 
     
- 优点是将ETL数据提取、数仓查询、客户端业务组装分开部署，互不影响，可以更大程度兼顾数据提取与数据查询的效率，更好的使用数据仓库，更快速的推进项目交付。
- https://gitee.com/liujl1990/data-platform-3.0

**系列四：AI智能版集成式数据处理** 
- 整体方案同方案三一致，seatunnel替代datax，基于seatunnel-mcp实现AI智能调度
- https://gitee.com/liujl1990/seatunnel-web-ex

![输入图片说明](sql/4fe614d67391e9ac5941e73eac8811e.png)

#### 软件包介绍

- etl-common     公共模块
- etl-config     核心配置模块
- etl-datax-core datax核心模块
- etl-executor   xxl-job执行器 
- sql            脚本文件


#### 安装教程

1.  环境准备
   安装datax、python(2.*)、nacos、redis
2.  nacos配置
   参考配置表config_info
3.  执行sql目录下的所有脚本
4.  启动etl-config/HdpConfigApplication类，启动主程序
   ![输入图片说明](imgimage.png)
   输入用户名 admin 密码 admin123登录
5.  启动etl-executor/HdpExecutorApplication 执行器
6. 参考sql目录下的word文档开始数据提取
![输入图片说明](image.png)
![输入图片说明](sql/image.png)


#### 参考贡献
    感谢若依框架开源者，前段皮肤借用了若依的框架
    若依开源框架: https://gitee.com/y_project/RuoYi?_from=gitee_search
    bootstrap前段框架：https://v4.bootcss.com/docs/getting-started/introduction/
    datax-web: https://gitee.com/WeiYe-Jing/datax-web
#### 完整版方案内容

- 数仓标准接口封装
- 数据标准接口加密发布（含监控，供应第三方）
- 基于echar的自研报表模板
- 基于easy excel的大数据导出
- 流程闭环管理（替代了原有数据权限申请）
- 查询监控（超过1分钟的访问记录日志）
- 数据智能核对
- 数据资产概览
- 行业规则等等
- 一步助力您成为行业数据强者

#### 联系我们
    本项目QQ讨论群：970927379，都是开源框架，详细结构可看相关文档，卡住的地方可发群里，平时上班，下班看到会回复的。
    商务合作：
        仅开源数据提取方案，数据利用方案为公司核心未做开源，，最简单的才用库查询及echars接收也能实现，需要商用微信沟通。
        1）定制各类数据处理方案，费用根据需求协商，可加微bstyl_( **非商业性合作勿加个人微信** ，可QQ群沟通)
        2）想进入医疗行业的，直接提供产品及培训方案。
        3) 承接各类app、海报、后台管理等的开发设计
        4）一对一辅导解加微，300一小时，年包1999。无商务性合作切莫加微。