# data-platform-open

**Repository Path**: QuARTs/data-platform-open

## Basic Information

- **Project Name**: data-platform-open
- **Description**: 🔥🔥🔥可视化拖拽式大数据集成平台后端、包含数据流、数据源、数据对齐、查询模板、完善的监控等。
- **Primary Language**: Java
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: http://dataplatform.cn/login
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 49
- **Created**: 2025-04-28
- **Last Updated**: 2025-04-28

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 📌可视化拖拽式大数据集成平台后端 📌

#### 以数据为舟，驭流而上，让大数据如流水般自由汇聚、智能流转，零代码构建您的数字未来！

## 预计五月份发布（待专利公示时），关注Star不迷路，我们的目标是在一个平台上完成对数据的所有操作。

官网：https://***/home <br>
前端代码地址：https://gitee.com/shaiwz/data-platform-front-open <br>
项目展示地址：http://dataplatform.cn/login

##### 联系方式：

- QQ：761945125
- Email：761945125@qq.com

## 页面预览

### 首页

综合看板，方便查看系统运行情况，数据一致性，数据源健康率，以及告警信息等。

<img src="https://oss-xuxin.oss-cn-beijing.aliyuncs.com/dp/img/oO9691.png" alt="none" style="width: 60%;height: 60%;border-radius: 6px;">

#### 数据流统计

用来监控数据流的运行情况，数据流的运行情况，以及数据流服务器的压力。

<img src="https://oss-xuxin.oss-cn-beijing.aliyuncs.com/dp/img/mYlRE2.png" alt="none" style="width: 60%;height: 60%;border-radius: 6px;">

点击处理器、或者内存时展示服务器运行信息

<img src="https://oss-xuxin.oss-cn-beijing.aliyuncs.com/dp/img/7Kf1ko.png" alt="none" style="width: 60%;height: 60%;border-radius: 6px;">

同时可以在服务监控中看具体的服务器信息

<img src="https://oss-xuxin.oss-cn-beijing.aliyuncs.com/dp/img/SC1x8z.png" alt="none" style="width: 60%;height: 60%;border-radius: 6px;">

#### 查询模板统计

用来查看查询模板的调用情况，查询服务器运行信息

<img src="https://oss-xuxin.oss-cn-beijing.aliyuncs.com/dp/img/CZHc2H.png" alt="none" style="width: 60%;height: 60%;border-radius: 6px;">

### 数据管理

### 数据流

支持随意构建数据流向，拖拖拽拽完成数据同步，清洗，过滤等任何操作，全程不需要写任何代码。

#### 数据流列表

查看有哪些数据流任务

<img src="https://oss-xuxin.oss-cn-beijing.aliyuncs.com/dp/img/JamJc1.png" alt="none" style="width: 60%;height: 60%;border-radius: 6px;">

#### 数据流画布

待专利全部公示时展示

#### 数据流实时运行日志

<img src="https://oss-xuxin.oss-cn-beijing.aliyuncs.com/dp/img/4EtS6z.png" alt="none" style="width: 60%;height: 60%;border-radius: 6px;">

#### 数据源

支持若干种数据源，插件方式，便于扩展其他数据源

##### 数据源创建

<img src="https://oss-xuxin.oss-cn-beijing.aliyuncs.com/dp/img/QoEp4g.png" alt="none" style="width: 60%;height: 60%;border-radius: 6px;">

##### 数据源控制台

不同数据源支持不同的控制台

###### 数据源创建

支持分表算法、健康检查、脱敏配置

<img src="https://oss-xuxin.oss-cn-beijing.aliyuncs.com/dp/img/CcV9Uf.png" alt="none" style="width: 60%;height: 60%;border-radius: 6px;">

###### MySQL、StarRocks、Doris、Oracle等

<img src="https://oss-xuxin.oss-cn-beijing.aliyuncs.com/dp/img/cq7I6f.png" alt="none" style="width: 60%;height: 60%;border-radius: 6px;">

###### Kafka

<img src="https://oss-xuxin.oss-cn-beijing.aliyuncs.com/dp/img/rN7kLO.png" alt="none" style="width: 60%;height: 60%;border-radius: 6px;">

##### ElasticSearch

<img src="https://oss-xuxin.oss-cn-beijing.aliyuncs.com/dp/img/vGE5zJ.png" alt="none" style="width: 60%;height: 60%;border-radius: 6px;">

等等其他控制台

#### 数据对齐

通过页面简易配置即可能完成两个任意数据源、不同类型数据源数据表、索引等一致性校验，告警、并支持自动化修复！

##### 数据对齐列表

这里方便查看有哪些对齐任务

<img src="https://oss-xuxin.oss-cn-beijing.aliyuncs.com/dp/img/BsQfTK.png" alt="none" style="width: 60%;height: 60%;border-radius: 6px;">

##### 数据对齐创建

配置合适触发，以及策略对齐策略：数量一致、内容一致、随机数量，对比时间范围等等配置。

<img src="https://oss-xuxin.oss-cn-beijing.aliyuncs.com/dp/img/Y66Y0S.png" alt="none" style="width: 60%;height: 60%;border-radius: 6px;">

##### 数据对齐日志

开源快速方便查看任务的运行情况

<img src="https://oss-xuxin.oss-cn-beijing.aliyuncs.com/dp/img/di6jt7.png" alt="none" style="width: 60%;height: 60%;border-radius: 6px;">

##### 数据对齐日志详情

针对某次对齐任务，不一致的数据快速查看，并提示出差异字段等。

<img src="https://oss-xuxin.oss-cn-beijing.aliyuncs.com/dp/img/eqhKvQ.png" alt="none" style="width: 60%;height: 60%;border-radius: 6px;">

#### 等等还有若干功能，待发布后揭晓！