在数据仓库建设中,经常会使用到数据血缘追踪方面的功能,本项目实现了对hql集合进行静态分析,获取hql对应的血缘图(表血缘 + 字段血缘)
完整数据中台,web-kettle-vue 包含数据源,元数据,数据标准,数据质量,建模,数据采集,数据血缘,数据安全,数据服务等。
简洁好用的数据库表结构文档工具,支持MySQL/MariaDB/SqlServer/Oracle/PostgreSQL/TIDB/CacheDB 数据库。
😱 从源码层面,剖析挖掘互联网行业主流技术的底层实现原理,为广大开发者 “提升技术深度” 提供便利。目前开放 Spring 全家桶,Mybatis、Netty、Dubbo 框架,及 Redis、Tomcat 中间件等
基于springboot+springbatch实现的ETL链式数据抽取平台,相比kettle,datax等工具,springbatch具有更强的塑造性,外加链式的执行,为数据中台从ods->dw->dm->app的数据流转提供了很大的方便。
Kettle 是一款国外开源的 ETL 工具,纯 Java 编写,绿色无需安装,数据抽取高效稳定(数据迁移工具)
新一代分布式任务调度与计算框架,支持CRON、API、固定频率、固定延迟等调度策略,提供工作流来编排任务解决依赖关系,使用简单,功能强大,文档齐全,欢迎各位接入使用!
🔥🔥🔥 Apache DolphinScheduler是一个新一代分布式大数据工作流任务调度平台,致力于“解决大数据任务之间错综复杂的依赖关系,整个数据处理开箱即用”。它以 DAG(有向无环图) 的方式将任务连接起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及 Kill 任务等操作。已经有IBM、阿里、腾讯、360 等 1000 多家公司生产上使用,下载安装包请去官网
bboss-datatran 由 bboss 开源的数据采集同步 ETL 工具,提供数据采集、数据清洗转换处理和数据入库以及数据指标统计计算流批一体化处理功能。 https://www.oschina.net/p/elasticsearch-datatran
智数通提供了元数据管理、数据标准管理、数据质量管理、主数据管理、数据集市管理、可视化图表看板、流程管理等微服务,是为数字化建设而生的企业级一站式数据治理平台。
DataBand(数据帮),快速采集清洗,任务管理,实时流和批处理数据分析,数据可视化展现,快速数据模板开发,ETL工具集、数据科学等。是轻量级的一站式的大数据平台。
DBSyncer(简称dbs)是一款开源的数据同步中间件,提供MySQL、Oracle、SqlServer、PostgreSQL、Elasticsearch(ES)、Kafka、File、SQL等同步场景。支持上传插件自定义同步转换业务,提供监控全量和增量数据统计图、应用性能预警等。
SpringBoot 全家桶 —— 本项目对目前Web开发中常用的各个技术,通过和SpringBoot的集成,并且对各种技术通过“一篇博客 + 一个可运行项目”的形式来详细说明。
使用vue3 elementplus minio springboot 实现大文件的分片上传、断点续传、秒传的功能demo