# jiron-platform

**Repository Path**: sysadm/jiron-platform

## Basic Information

- **Project Name**: jiron-platform
- **Description**: 该项目整合了多款优秀的开源产品，构建了一个功能全面的数据开发平台。平台提供了强大的数据集成、数据开发、数据查询、数据服务、数据质量管理、工作流调度和元数据管理功能。dinky ，dolphinscheduler ，datavines ，flinkcdc ，openmetadata ，flink ，数据开发 ，数据平台 ，数据开发平台 ，大数据
- **Primary Language**: Java
- **License**: MIT
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2024-07-22
- **Last Updated**: 2024-07-22

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 数据开发平台

该项目整合了多款优秀的开源产品，构建了一个功能全面的数据开发平台。平台提供了强大的数据集成、数据开发、数据查询、数据服务、数据质量管理、工作流调度和元数据管理功能。dinky ，dolphinscheduler ，datavines ，flinkcdc ，openmetadata ，flink ，数据开发 ，数据平台 ，数据开发平台 ，大数据
## 目录

- [功能](#功能)
  - [数据质量管理 (Datavines)](#数据质量管理-datavines)
  - [工作流调度 (DolphinScheduler)](#工作流调度-dolphinscheduler)
  - [元数据管理 (OpenMetadata)](#元数据管理-openmetadata)
  - [实时数据处理 (Dinky)](#实时数据处理-dinky)
  - [数据集成（FlinkCDC）](#数据集成)
  - [数据查询（Dataq）](#数据查询)
  - [数据分析（DataAnalysis）](#数据分析)
  - [数据服务（Dataservice）](#数据服务)
- [架构](#架构)
- [安装](#安装)
- [演示](#演示)
- [贡献](#贡献)
- [许可](#许可)
- [联系方式](#联系方式)

## 功能

### 数据质量管理 (Datavines)

- **数据质量监控**：定义和执行数据质量规则，如空值检测、重复值检测、范围检查等，确保数据的准确性和完整性。
- **告警和通知**：当数据质量出现问题时，Datavines 通过电子邮件、短信等方式发送告警通知，确保相关人员能够及时响应和处理问题。
- **数据治理**：支持数据分类、标签和权限管理，确保数据的合规性和安全性。
- **数据质量报告**：生成详细的数据质量报告，帮助用户了解和改进数据质量。

### 工作流调度 (DolphinScheduler)

- **分布式架构**：处理大规模的数据处理任务，确保系统的高可用性和扩展性。
- **任务依赖管理**：定义复杂的任务依赖关系，确保任务按照预定的顺序执行。
- **丰富的任务类型**：支持多种类型的任务，包括 Shell、Python 脚本、SQL、MapReduce、Spark、Flink 等。
- **可视化工作流设计**：提供直观的图形化用户界面，通过拖拽方式设计和配置工作流。
- **任务调度**：支持灵活的调度策略，包括定时调度、依赖触发、手动触发等。
- **任务监控与告警**：实时监控任务的执行状态，并提供告警通知功能，确保问题及时处理。
- **资源管理**：管理任务所需的资源，确保资源合理分配和使用。

### 元数据管理 (OpenMetadata)

- **元数据管理**：捕获和存储各种数据资产的元数据，包括表、列、数据集、仪表板、机器学习模型等。
- **数据发现**：提供强大的数据发现工具，帮助用户搜索和发现企业内的数据资源。
- **数据血缘分析**：支持详细的数据血缘分析，显示数据的来源和流向，提高数据透明度。
- **数据治理**：定义和执行数据治理策略，包括数据分类、标签、访问控制、合规性检查等。
- **数据质量管理**：与 Datavines 集成，监控和管理数据质量，检测数据中的错误和异常。
- **集成与互操作性**：支持与多种数据源和数据工具的集成，适应多样化的数据环境。
- **API 和 SDK**：提供丰富的 API 和 SDK，支持开发者扩展和定制功能。
- **可视化界面**：提供用户友好的可视化界面，便于浏览和管理元数据，查看数据血缘关系图，配置数据治理策略等。

### 实时数据处理 (Dinky)

- **实时数据处理**：Dinky 提供了强大的实时数据处理能力，支持 Flink 等流处理框架。
- **实时计算任务**：用户可以定义和执行实时计算任务，处理实时数据流。
- **数据集成**：支持多种数据源和目标，能够将实时数据流集成到不同的数据系统中。
- **可视化开发**：提供直观的图形化界面，用户可以通过拖拽方式设计和配置实时计算任务。
- **监控与告警**：实时监控数据流处理状态，并在出现异常时提供告警通知。
- **高可用性**：设计了高可用性和容错机制，确保实时数据处理的稳定性和可靠性。

### 数据集成

- **多数据源支持**：支持多种数据源的集成，包括数据库、API、文件系统等，能够灵活应对不同的数据来源。
- **多执行引擎支持**：支持多种执行引擎，包括 DataX、Sqoop、Flink CDC，满足不同场景的数据同步需求。
- **全库同步**：支持整个数据库的同步，方便全面的数据迁移和复制。
- **多表同步**：支持多表同步，简化复杂的数据集成任务。
- **全量和增量同步**：提供全量和增量同步功能，实现数据的一体化同步。
- **断点续传**：支持断点续传机制，确保数据集成过程的可靠性和稳定性。

### 数据查询

- **灵活高效的数据查询**：基于 Kyuubi 提供灵活高效的数据查询功能，支持 SQL 和非 SQL 查询，满足各种数据检索需求。
- **多数据源支持**：支持多种数据源的数据查询，适用于不同的数据存储系统。
- **高性能**：优化的查询引擎，确保数据查询的高性能和低延迟。

### 数据分析

- **集成多种数据分析工具**：集成多种数据分析和可视化工具，帮助用户快速获取洞见。
- **可视化分析**：提供丰富的可视化组件，用户可以通过图表、仪表板等方式展示分析结果。
- **高级分析功能**：支持机器学习模型、统计分析等高级分析功能，满足复杂数据分析需求。

### 数据服务

- **数据服务接口**：提供数据服务接口，支持 RESTful API 和 GraphQL，方便数据的对外提供和集成。
- **灵活的数据访问**：通过 API 提供灵活的数据访问方式，满足不同应用和系统的集成需求。
- **高可用性和安全性**：设计了高可用性和安全性机制，确保数据服务的可靠性和数据的安全性。

## 架构
![架构图](https://github.com/642933588/dataworks/assets/10755257/c2f6a740-dc79-4e5c-8c3b-1a6f499c784b)


## 安装

（详细说明如何安装和配置各组件，包括前置条件、步骤和示例配置文件）

## 演示

#### 首页
![0](https://github.com/642933588/dataworks/assets/10755257/6681dcb9-3720-4762-9a77-76ee755689f9)

#### 系统管理
![0-0](https://github.com/642933588/dataworks/assets/10755257/bb4b7688-a026-4904-8459-59479ea5aa78)

#### 数据开发
![0-0](https://github.com/642933588/dataworks/assets/10755257/fd9bcee3-eaea-47ea-bb0c-a46cb1f70a36)
![0-1](https://github.com/642933588/dataworks/assets/10755257/1ae8f397-23f9-4e01-95b2-bb7bf228900d)
![0-2](https://github.com/642933588/dataworks/assets/10755257/9632219a-c2c7-4734-ac3b-445d152919eb)
![0-3](https://github.com/642933588/dataworks/assets/10755257/334a8977-5397-4625-bb59-f8ddefd538ac)
![1-0](https://github.com/642933588/dataworks/assets/10755257/7027cc32-868a-4231-a8fc-9ef9b525e13e)
![1-1](https://github.com/642933588/dataworks/assets/10755257/aa9cf079-8f5a-43cd-9f06-a9780e98d8e6)
![1-2](https://github.com/642933588/dataworks/assets/10755257/a1d6a53a-6300-4025-9b83-89e5069acf8b)
![2-0](https://github.com/642933588/dataworks/assets/10755257/4fef8c5c-0497-4b95-b654-bae1b574fda6)
![3-0](https://github.com/642933588/dataworks/assets/10755257/f245e4de-ffae-4b1f-afd1-e7a279bb7c9e)
![4-0](https://github.com/642933588/dataworks/assets/10755257/0e81d358-265a-4dab-b668-46462abbe1fc)
![5-0](https://github.com/642933588/dataworks/assets/10755257/12000edc-8ab1-4303-a03a-8e71fd8b0b67)
![5-1](https://github.com/642933588/dataworks/assets/10755257/7c0c6c87-dd13-44a0-a82b-b50123dfb14f)
![5-2](https://github.com/642933588/dataworks/assets/10755257/7e09eb69-eb29-4983-86a6-3cb49642862b)
![6-0](https://github.com/642933588/dataworks/assets/10755257/6677762b-2f3d-455b-9d9e-1f271e8b4936)
![6-1](https://github.com/642933588/dataworks/assets/10755257/9a438ba1-7e17-46a7-9932-196ec6b4c7b9)
![6-2](https://github.com/642933588/dataworks/assets/10755257/afda93bf-7d37-4a11-9cfd-a320df2b05d1)
![6-3](https://github.com/642933588/dataworks/assets/10755257/2544a246-b1ed-4c5a-be87-3532e20e564c)

#### 工作流开发
![0-0](https://github.com/642933588/dataworks/assets/10755257/f3fba1f5-d0a5-4c44-9658-d20a19d04e35)
![0-1](https://github.com/642933588/dataworks/assets/10755257/d85e4640-47de-4a99-9662-0bc86a864fac)
![0-2](https://github.com/642933588/dataworks/assets/10755257/fb354ae4-5ae2-40f6-a9fc-35e23acc1413)
![0-3](https://github.com/642933588/dataworks/assets/10755257/4007b43f-88bf-45d2-b284-3c6c279727f8)
![0-4](https://github.com/642933588/dataworks/assets/10755257/91adb29f-887a-4fa5-9205-fa2dd19cfd12)
![0-5](https://github.com/642933588/dataworks/assets/10755257/17f3909e-00a7-4aa9-a966-f45620796fde)
![1-0](https://github.com/642933588/dataworks/assets/10755257/203c88e5-8dbc-406c-a554-373942ef267b)
![2-0](https://github.com/642933588/dataworks/assets/10755257/fc5b6ac7-21f9-4fee-83e7-a1572e141281)
![3-0](https://github.com/642933588/dataworks/assets/10755257/bdedd0b9-3f05-43e5-8252-15f3745e40ab)
![4-0](https://github.com/642933588/dataworks/assets/10755257/fd493bdd-e673-4929-ae13-430c64a2ae38)

#### 数据质量
![0](https://github.com/642933588/dataworks/assets/10755257/965a1a85-abad-4caf-b754-3792c2a00d72)
![1](https://github.com/642933588/dataworks/assets/10755257/557e5ac9-d641-4eb8-a304-476cdc68be3e)
![2](https://github.com/642933588/dataworks/assets/10755257/6150be5b-1930-4609-8e28-553417c6e7b8)
![3-1](https://github.com/642933588/dataworks/assets/10755257/24cb8837-77a3-4e96-97dd-05689f834d9f)
![3](https://github.com/642933588/dataworks/assets/10755257/3fc98712-492d-49ba-bdcf-7c54c621460c)
![4](https://github.com/642933588/dataworks/assets/10755257/705e090a-69af-4082-b389-18424b57a45e)
![5](https://github.com/642933588/dataworks/assets/10755257/50040d4d-c2da-4db9-8a8e-41f8fa4e9765)
![6](https://github.com/642933588/dataworks/assets/10755257/bf35a1e5-142c-4897-b389-4dc91b2cd9df)
![7](https://github.com/642933588/dataworks/assets/10755257/e818dab4-379b-4c03-83c5-059026b253cb)
![8](https://github.com/642933588/dataworks/assets/10755257/442d9993-ff2f-485c-9cc6-9b171ac5dd90)

#### 数据资产
![0-1](https://github.com/642933588/dataworks/assets/10755257/5bac1d76-ef6f-45c0-9e79-be0f3ff38bec)
![0-2](https://github.com/642933588/dataworks/assets/10755257/78343571-750b-45c9-90bd-e76eedd1dcc3)
![1-1](https://github.com/642933588/dataworks/assets/10755257/6eef3f96-c7b3-4496-8f38-50c2e019ede4)

![1-2](https://github.com/642933588/dataworks/assets/10755257/bb736cf5-f1b8-4afc-8e2a-0efe19309761)
![1-3](https://github.com/642933588/dataworks/assets/10755257/8fb5614a-5807-4726-b674-ea10567ca6fc)
![1-4](https://github.com/642933588/dataworks/assets/10755257/53155fb6-6273-414e-bbc2-8503bd79c88d)
![1-5](https://github.com/642933588/dataworks/assets/10755257/7f605596-242b-4c8d-a08c-50edf5ce75ae)
![1-6](https://github.com/642933588/dataworks/assets/10755257/9dfecbda-7d9c-40e9-b8b7-2340a58db2e4)
![1-8](https://github.com/642933588/dataworks/assets/10755257/f6520567-1da5-4f7b-b12b-ac9e59c8a29b)
![1-9](https://github.com/642933588/dataworks/assets/10755257/f08ea68e-a1b6-48d7-8516-71a8c72cad06)
![1-10](https://github.com/642933588/dataworks/assets/10755257/2ba81950-b09e-4400-84a6-299cdd477c7a)
![1-7](https://github.com/642933588/dataworks/assets/10755257/b5d268de-fb09-4c54-9e49-146540cf1b5a)
![2-1](https://github.com/642933588/dataworks/assets/10755257/6bf835c8-d5fc-4907-bebe-1e27a5917118)
![2-2](https://github.com/642933588/dataworks/assets/10755257/ac553d7f-820a-420a-bed1-b4cbf7dbcaab)
![2-3](https://github.com/642933588/dataworks/assets/10755257/a7c0541e-cc16-419a-83ab-852de94a9b3e)
![3-1](https://github.com/642933588/dataworks/assets/10755257/544b7a0c-b0e1-43ce-9d0e-619ba6dc9967)
![4-1](https://github.com/642933588/dataworks/assets/10755257/4861963d-bbff-4a9e-a332-d5efebebf87d)
![5-1](https://github.com/642933588/dataworks/assets/10755257/45ecc8c5-3170-4fd0-b4e0-e807350cbb41)
![6-1](https://github.com/642933588/dataworks/assets/10755257/15cfa63a-730a-4c1e-80bd-3f27a78a643f)
![9-1](https://github.com/642933588/dataworks/assets/10755257/81f52c8a-0793-49a7-a935-388dd467f19c)
![9-2](https://github.com/642933588/dataworks/assets/10755257/375e8ab1-0748-4e8f-b015-cf2e83a8abc9)

## 贡献指南

我们欢迎任何形式的贡献！如果你有好的建议或发现了问题，请提交一个 Issue 或 Pull Request。
提供或赞助云服务器资源搭建云学习环境。


## 许可

本项目采用 MIT 许可证。详情请参阅 [LICENSE](LICENSE)。

## 联系我们

- 邮箱: 642933588@qq.com（qq同号）
- 加V请注明来意

![WechatIMG182](https://github.com/user-attachments/assets/db0fa36a-9478-49e4-8e15-07b22a8ae376)

![image](https://github.com/642933588/jiron-cloud/assets/10755257/146fa604-986a-4202-ba27-fa7842eb9a20)

##