# SLF-BigData

**Repository Path**: wang-xuan-kai/SLF-BigData

## Basic Information

- **Project Name**: SLF-BigData
- **Description**: 数据中台初始版
- **Primary Language**: Java
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 209
- **Created**: 2024-11-08
- **Last Updated**: 2025-04-18

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# SLF-BigData

#### 介绍
本系统集成Datax-web、flink-streaming-platform-web、datax-cloud这三大开源服务
实现数据同步集成、数据开发、元数据管理、数据服务一体化

### 内置功能
* 用户管理：用户是系统操作者，该功能主要完成系统用户配置。
* 部门管理：配置系统组织机构（公司、部门、小组），树结构展现支持数据权限。
* 岗位管理：配置系统用户所属担任职务。
* 菜单管理：配置系统菜单，操作权限，按钮权限标识等。
* 角色管理：角色菜单权限分配、设置角色按机构进行数据范围权限划分。
* 字典管理：对系统中经常使用的一些较为固定的数据进行维护。
* 参数管理：对系统动态配置常用参数。
* 通知公告：系统通知公告信息发布维护。
* 操作日志：系统正常操作日志记录和查询；系统异常信息日志记录和查询。
* 登录日志：系统登录日志记录查询包含登录异常。
* 在线用户：当前系统中活跃用户状态监控。
* 定时任务：在线（添加、修改、删除)任务调度包含执行结果日志。
* 代码生成：前后端代码的生成（java、html、xml、sql）支持CRUD下载 。
* 系统接口：根据业务代码自动生成相关的api接口文档。
* 服务监控：监视当前系统CPU、内存、磁盘、堆栈等相关信息。
* 缓存监控：对系统的缓存查询，删除、清空等操作。
* 在线构建器：拖动表单元素生成相应的HTML代码。
* 连接池监视：监视当前系统数据库连接池状态，可进行分析SQL找出系统性能瓶颈。
* 数据集成：包含调度模板、任务构建、任务批量构建、实例管理、执行日志、资源监控这几个子功能;支持各数据源的相互同步且实现高可用（集成Datax-Web 所有功能 开源地址：https://gitee.com/WeiYe-Jing/datax-web）
* 数据开发：包含任务列表、历史版本、运行日志、告警设置、告警日志、系统设置、Jar包管理这几个子功能;支持flinkSql、flinkCDC、以及相关flink Jar包的任务上传执行并监控任务状态等等（集成flink-streaming-platform-web所有功能  开源地址：https://gitee.com/zhuhuipei/flink-streaming-platform-web）
* 数据资产：包含数据源管理、元数据管理、数据血缘（待和同步任务结合）、Sql工作台、元数据变更记录这几个子功能;管理各数据源的元数据及数据类型等等（集成datax-cloud部分功能 开源地址：https://gitee.com/yuwei1203/datax-cloud）
* 数据标准：包含标准字典、对照表单、字典对照、对照统计这几个子功能;支持按照字典去自动对照元数据的字段标准来统计字段的标准程度
* 数据质量：包含规则配置、问题统计、质量报告这几个子功能;支持通过配置质量规则来自动检测数据的质量并生成相应的质量报告
* 数据API：包含数据服务、数据脱敏、API调用日志;支持SQL取数、整表取数、api限流、api黑白名单、字段脱敏等功能

#### 软件架构
![img.png](img/img.png)


#### DataX使用说明
1. 进入系统的 基础建设 模块下的 执行器管理  添加执行器
![img.png](img/img60.png)
2. 修改上面的 ruoshui-datax-executor---->src--->main--->resources下的application.yml配置文件
![img.png](img/img54.png)
注意：服务端的分组名要和你设置的AppName一致
3. 打包 拷贝 ruoshui-datax-executor 下的 ruoshui-datax-executor.jar 到放有datax的服务器上执行即可

#### Flink使用说明
1. 打包项目 拷贝 ruoshui-flink-core 下的 flink-streaming-core.jar 重名为 ruoshui-flink-core.jar
2. 放到flink集群的机器目录下 （不需要启动）
3. 设置服务端中 数据开发模块中的 系统设置 即可
![img.png](img/img61.png)
![img.png](img/img62.png)
![img.png](img/img63.png)
这是我的flink机器下的目录结构，对照配置
4. 详细使用方法 请依照 flink-streaming-platform-web 参照地址： https://gitee.com/zhuhuipei/flink-streaming-platform-web