# data-develop

**Repository Path**: chbchenhongbin/data-develop

## Basic Information

- **Project Name**: data-develop
- **Description**: 数据开发平台,可视化简单重复的数据开发过程。可视化建模、数据抽取、离线异构、元数据可视化、元数据复刻、动态API接口
- **Primary Language**: Unknown
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 4
- **Created**: 2024-04-17
- **Last Updated**: 2024-04-17

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 数据开发平台

#### 功能介绍
数据开发平台,可视化简单重复的数据开发过程。减少复制粘贴解放双手。
1. 可视化建模
于MySQL、Oracle、PostgreSQL、SqlServer数据库可视化配置模型并生成表和CRUD接口
2. 数据抽取
于可操作数据源可视化配置抽取数据异构到其它数据源
3. 离线异构
于可操作数据源可视化配置抽取数据异构到其它数据源
4. 元数据可视化
动态探索数据库结构元数据信息并注册到系统供数据开发使用
5. 元数据复刻
复用现有元数据复制到其它数据源或操作生成数据库表
6. 动态API接口
可视化配置生成API接口在线发布撤销
7. MySQL变更捕获
可视化MySQL binlog CDC任务管理

#### 使用场景
1. 数据源可视化建模。基于可操作数据源动态建模生成模型表。或通过元数据表复刻表结构于可操作数据源,
支持生成MySQL分区表、Elasticsearch数据流/滚动索引。
2. 数据源的数据集市能力。于可操作数据源上动态配置SQL实现API接口。或直接挂在数据源上的元数据表来提供可选的CRUD接口
3. 第三方数据对接。基于第三方开放数据库表或视图元数据探测获取到表/视图结构元数据。
   使用该元数据内容通过可视化于可操作数据源快速异构得到一个相同的表,然后通过离线异构 功能全量/增量同步数据至目标数据源。


#### 软件架构
Java环境: jdk1.8+
软件依赖: SpringBoot 2.7.9, SpringCloud 2021.0.6
第三方组件依赖: MySQL 8+, Redis 4+, Nacos v2.2+, Rabbitmq 
可选的操作组件:

| 组件            | 版本       | 能力     | 
|---------------|----------|--------|
| Elasticsearch | 6.x、7.x  | 读/写/建模 |
| Kafka         | 所有       | 读/写    |
| MySQL         | 5.7+、8.x | 读/写/建模 |
| Oracle        | 11g、12c+ | 读/写/建模 |
| Postgresql    | 9.x+     | 读/写/建模 |
| SqlServer     | 2008+    | 读/写/建模 |
| Mongodb       | 3.x+     | 读/写/建模 |
| Vertica       | 12.x+    | 读      |

#### 演示图

1. 数据源 (支持MySQL、SQLServer、Oracle、PostgreSQL、Elasticsearch、MongoDB、Kafka)
<img src="https://gitee.com/xzh-dev/data-develop/raw/master/doc/assets/metadata_source_list.png" alt="drawing" />
<img src="https://gitee.com/xzh-dev/data-develop/raw/master/doc/assets/metadata_table_column_list.png" alt="drawing" />
2. 动态数据源建模
<img src="https://gitee.com/xzh-dev/data-develop/raw/master/doc/assets/masterdata_model_list.png" alt="drawing" />
<img src="https://gitee.com/xzh-dev/data-develop/raw/master/doc/assets/masterdata_model_data_list.png" alt="drawing" />
3. 动态数据源API发布
<img src="https://gitee.com/xzh-dev/data-develop/raw/master/doc/assets/market_table_api_list.png" alt="drawing" />
<img src="https://gitee.com/xzh-dev/data-develop/raw/master/doc/assets/market_data_api_list.png" alt="drawing" />
4. 数据异构(不同数据源之间异构数据)
<img src="https://gitee.com/xzh-dev/data-develop/raw/master/doc/assets/datawork_reload_list.png" alt="drawing" />
5. 数据库变更捕获(可视化MySQL binlog任务)
<img src="https://gitee.com/xzh-dev/data-develop/raw/master/doc/assets/datawork_debezium_list.png" alt="drawing" />
6. GA/T 1400协议
<img src="https://gitee.com/xzh-dev/data-develop/raw/master/doc/assets/viid_server_list.png" alt="drawing" />

#### 安装教程

1. doc/sql下文件导入数据库, data_cloud.sql基础环境, data_cloud_quartz.sql定时器数据库
2. 打包: mvn clean package -T 1C
3. doc/docker目录下domain-docker.yml部署, .env文件覆盖容器变量
4. 其它依赖组件doc/docker有docker编排文件可供使用

#### 使用说明

1. 新建模块依赖data-platform-starter-web即可提供基础服务security融入nacos注册中心
2. 本地运行需要启动
   run data-auth 统一认证服务
   run system-domain-api 系统核心服务
   run data-gateway-admin 网关管理服务
   run data-gateway-api 网关核心服务

```shell
cd data-ui
npm install
npm run serve
```

#### 打赏和联系

<img src="https://gitee.com/xzh-dev/viid-server/raw/master/assets/payment.jpg" alt="drawing" width="200" height="200"/>
<img src="https://gitee.com/xzh-dev/viid-server/raw/master/assets/information.jpg" alt="drawing" width="200" height="200"/>