🔥 Apache DolphinScheduler是一个新一代分布式大数据工作流任务调度系统,致力于“解决大数据任务之间错综复杂的依赖关系,整个数据处理开箱即用”。它以 DAG(有向无环图) 的方式将任务连接起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及 Kill任务等操作。目前已经有像IBM、腾讯、美团、360等400多家公司生产上使用,下载安装包请去官网
kubernetes集成外部认证服务的webhook
在数据仓库建设中,经常会使用到数据血缘追踪方面的功能,本项目实现了对hql集合进行静态分析,获取hql对应的血缘图(表血缘 + 字段血缘)
RepChain(Reactive Permissioned Chain)是第一款采用响应式编程实现的自主可控的区块链基础组件。由中国科学院软件研究所、贵阳信息技术研究院、中科软科技股份有限公司和北京连琪科技有限公司共同研发,支持单位有广州软件应用技术研究院、中科嘉速信息技术有限公司和中科金审科技有限公司。RepChain已通过工信部信通院“2019、2020可信区块链”功能测试和性能测试。
混合型科学大数据流水线系统,包含丰富的处理器组件,提供Shell、DSL、Web配置界面、任务调度、任务监控等功能