# Web版ETL工具

**Repository Path**: easy_way/web-etl-tool

## Basic Information

- **Project Name**: Web版ETL工具
- **Description**: 借助于kettle快速实现在线的ETL脚本编辑和定时驱动执行，适用于异构数据库之间的数据同步，还可以作为规则引擎完成数据的采集、转发和处理。
- **Primary Language**: Java
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 6
- **Forks**: 7
- **Created**: 2024-06-18
- **Last Updated**: 2025-04-16

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# Web版ETL工具

#### 介绍
本系统基于两个开源组件进行组合，完成在线ETL规则编排和任务可视化管理。其中tomcat中内置了spoon程序，dataCollection组件基于定时任务的方式，集成了spoon脚本执行的功能。
![输入图片说明](https://foruda.gitee.com/images/1718708738971711622/784dc8c7_14571164.png "2024-06-18_190225.png")
![输入图片说明](https://foruda.gitee.com/images/1718708761578938366/5c975cfd_14571164.png "Springboot结合kettle实现可视化任务编排V2.png")
#### 软件架构
- dataCollection --------------- 定时任务管理模块，驱动spoon脚本定时执行
- apache-tomcat-8.0.39  --------- spoon项目启动容器，启动后编辑脚本，存入资源库
- debug------------准备了1个示例，可以实现数据库之间的同步，一个是job，一个是转换文件，job中自动引用了该转换文件
- sql------------里面有3个sql文件，其中kettle_resource.sql是kettle工具对应的数据库，data_collection.sql是dataCollection对应的数据库，db1.sql是debug测试示例中需要的数据库


#### 安装教程


1. 数据库中新建data_collection和kettle_resource库，导入sql脚本（数据库设置成useSSL=false且大小写不敏感）；
2. Spoon.bat和catalina.bat增加-Dfile.encoding=UTF-8（已加）；
3. 启动tomcat下的spoon项目，访问http://localhost:8080/spoon/spoon连接资源库，输入用户名admin密码admin，新建转换和作业；
4. data_collection导入到idea启动，访问http://localhost:7080/


#### 使用说明
### 1、Kettle-Spoon使用    
大家可以参考网上的示例，创建对应的job和转换文件，本仓库自带的“测试作业.kjb”和“测试一下.ktr”可以实现数据库之间表数据同步。

### 2、定时任务平台操作步骤    
访问http://localhost:7080/后即可进入平台主页，按照以下步骤进行配置

- 1、配置资源库
- 2、配置定时策略
- 3、新建任务，启动
- 4、监控管理查看执行日志


#### 参与贡献

1.  Fork 本仓库
2.  新建 Feat_xxx 分支
3.  提交代码
4.  新建 Pull Request


#### 特技

1.  使用 Readme\_XXX.md 来支持不同的语言，例如 Readme\_en.md, Readme\_zh.md
2.  Gitee 官方博客 [blog.gitee.com](https://blog.gitee.com)
3.  你可以 [https://gitee.com/explore](https://gitee.com/explore) 这个地址来了解 Gitee 上的优秀开源项目
4.  [GVP](https://gitee.com/gvp) 全称是 Gitee 最有价值开源项目，是综合评定出的优秀开源项目
5.  Gitee 官方提供的使用手册 [https://gitee.com/help](https://gitee.com/help)
6.  Gitee 封面人物是一档用来展示 Gitee 会员风采的栏目 [https://gitee.com/gitee-stars/](https://gitee.com/gitee-stars/)