From 05eb575f0fa4d79f090f8daf5dc35efe1bede841 Mon Sep 17 00:00:00 2001 From: gitee-bot Date: Wed, 9 Jul 2025 15:15:01 +0000 Subject: [PATCH] Update README.md --- README.md | 231 ++++++++---------------------------------------------- 1 file changed, 34 insertions(+), 197 deletions(-) diff --git a/README.md b/README.md index c11f85e..c4382e1 100644 --- a/README.md +++ b/README.md @@ -1,199 +1,36 @@ # 📌可视化拖拽式大数据集成平台后端 📌 -#### 以数据为舟，驭流而上，让大数据如流水般自由汇聚、智能流转，零代码构建您的数字未来！ - -## 关注Star不迷路，我们的目标是在一个平台上完成对数据的所有操作。 - -## 本项目已申请外观专利+发明专利，未经明确书面授权，任何单位或个人不得对本软件进行抄袭、复制、修改、分发、逆向工程、商业用途等任何形式的非法使用。违者将面临人民币 100 万元的法定罚款及可能的法律追责。举报侵权行为可获得实际罚款金额 40% 的现金奖励。 - -## 持续公开部分代码中，我们需要从主项目中剥离出来一个开源版本，剥离后还需要进行完整测试，尽请期待，谢谢大家支持，非常抱歉，自己时间实在是太少了，已经把所有的周六日都用完了，每天陪对象的时间都没有。 - -官网：https://shaiwz.com/home
-前端代码地址：https://gitee.com/shaiwz/data-platform-front-open
-项目展示地址：http://dataplatform.cn/login - -##### 举报、咨询联系方式： - -- QQ：761945125 -- Email：761945125@qq.com - -## 页面预览 - -### 首页 - -综合看板，方便查看系统运行情况，数据一致性，数据源健康率，以及告警信息等。 - -none - -#### 数据流统计 - -用来监控数据流的运行情况，数据流的运行情况，以及数据流服务器的压力。 - -none - -点击处理器、或者内存时展示服务器运行信息 - -none - -同时可以在服务监控中看具体的服务器信息 - -none - -#### 查询模板统计 - -用来查看查询模板的调用情况，查询服务器运行信息 - -none - -### 数据管理 - -#### 数据流 - -支持随意构建数据流向，拖拖拽拽完成数据同步，清洗，过滤等任何操作，全程不需要写任何代码。 - -##### 数据流列表 - -查看有哪些数据流任务 - -none - -##### 数据流画布 - -支持在一个画布里面完成数据同步，清洗，过滤、报表数据生成等任何操作，全程不需要写任何代码。 - -none - -下游节点支持指定执行顺序。 - -none - -支持接收FlinkCDC、Canal消息，基于策略模式可以随机接入其他平台的数据，无缝、快速对接，数据发送方不需要任何改动。 - -none - -发布服务器资源可控，自动容错，节点支持动态扩容，服务节点越多，性能越好。支持多版本，支持回滚。 - -none - -##### 数据流实时运行日志 - -none - -##### 数据流发布记录 - -none - -#### 数据源 - -支持若干种数据源，插件方式，便于扩展其他数据源 - -##### 数据源创建 - -支持分表算法、健康检查、脱敏配置 - -none - -##### 数据源控制台 - -不同数据源支持不同的控制台，例如MySQL、StarRocks、Doris、Oracle等控制台样式如下 - -none - -Kafka控制台 - -none - -none - -ElasticSearch控制台 - -none - -等等其他控制台 - -#### 数据对齐 - -通过页面简易配置即可能完成两个任意数据源、不同类型数据源数据表、索引等一致性校验，告警、并支持自动化修复！ - -##### 数据对齐列表 - -这里方便查看有哪些对齐任务 - -none - -##### 数据对齐创建 - -配置何时触发，以及策略对齐策略：数量一致、内容一致、随机数量，对比时间范围等等配置。 - -none - -##### 数据对齐日志 - -开源快速方便查看任务的运行情况 - -none - -##### 数据对齐日志详情 - -针对某次对齐任务，不一致的数据快速查看，并提示出差异字段等。 - -none - -#### 查询模板 - -通过查询模板可以快速创建查询任务，支持多种数据源。不用后端开发再去编写查询报表、对外提供数据查询接口。 - -##### 查询模板列表 - -支持版本控制、密钥、权限配置等 - -none - -##### 查询模板创建 - -支持动态条件 - -none - -支持限流、记录日志、缓存等配置 - -none - -预览页面有示例文档，以及快速测试，测试没问题可以点击发布，外部服务即可调用。 - -none - -##### 查询模板调用日志 - -支持完善的日志记录，日志可跟踪。 - -none - -日志详情 - -none - -#### 等等还有若干功能，欢迎联系作者进行体验 - -## 性能测试 - -| 模式 | 硬件规格 | 实例数量 | 速率（单任务） | -|--------|-------|------|---------| -| 监听-流处理 | 6c12g | 1 | 30058/s | -| 批处理 | 6c12g | 1 | 60268/s | - -## 整体架构 - -所有服务实例均支持动态缩、扩容 - -none - -## 业务价值 - -| 同步方案 | 人员最低要求 | 单表预估工时（同步+过滤+转换） | -|---------------|------------|------------------| -| 硬编码方式查询-过滤-写入 | 中高级开发人员 | 1人天 | -| FlinkCDC | 专业大数据源开发人员 | 0.5人天 | -| Canal | 中高级开发人员 | 0.5人天 | -| DataX | 中高级开发人员 | 0.5人天 | -| 数据流平台 | 初级开发或初级运维 | 10分钟（拖拖拽拽） | +以数据为舟，驭流而上，让大数据如流水般自由汇聚、智能流转，零代码构建您的数字未来！ + +关注Star不迷路，我们的目标是在一个平台上完成对数据的所有操作。 + +本项目已申请外观专利+发明专利，未经明确书面授权，任何单位或个人不得对本软件进行抄袭、复制、修改、分发、逆向工程、商业用途等任何形式的非法使用。违者将面临人民币 100 万元的法定罚款及可能的法律追责。举报侵权行为可获得实际罚款金额 40% 的现金奖励。 + +举报、咨询联系方式： + +页面预览 +首页 +数据流统计 +查询模板统计 +数据管理 +数据流 +数据流列表 +数据流画布 +数据流实时运行日志 +数据流发布记录 +数据源 +数据源创建 +数据源控制台 +数据对齐 +数据对齐列表 +数据对齐创建 +数据对齐日志 +数据对齐日志详情 +查询模板 +查询模板列表 +查询模板创建 +查询模板调用日志 +等等还有若干功能，欢迎联系作者进行体验 +性能测试 +整体架构 +业务价值 \ No newline at end of file -- Gitee