# data-develop

**Repository Path**: zgg1024/data-develop

## Basic Information

- **Project Name**: data-develop
- **Description**: 数据开发平台,可视化简单重复的数据开发过程。可视化建模、数据抽取、离线异构、元数据可视化、元数据复刻、动态API接口、GA/T 1400协议上下级对接
- **Primary Language**: Unknown
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 4
- **Created**: 2023-09-17
- **Last Updated**: 2023-09-17

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 数据开发平台

#### 介绍
数据开发平台,可视化简单重复的数据开发过程。
1. 可视化建模
   于MySQL、Oracle、PostgreSQL、SqlServer数据库可视化配置模型并生成表和CRUD接口
2. 数据抽取
   于可操作数据源可视化配置抽取数据异构到其它数据源
3. 离线异构
   于可操作数据源可视化配置抽取数据异构到其它数据源
4. 元数据可视化
   动态探索数据库结构元数据信息并注册到系统供数据开发使用
5. 元数据复刻
   复用现有元数据复制到其它数据源或操作生成数据库表
6. 动态API接口
   可视化配置生成API接口在线发布撤销
7. GA/T 1400 协议上下级对接
   GA/T1400协议对接,下游对接抓拍机设备上游对接应用视图库交互结构化数据

#### 软件架构
Java环境: jdk1.8+
软件依赖: SpringBoot 2.7.9, SpringCloud 2021.0.6
第三方组件依赖: MySQL 8+, Redis 4+, Nacos v2.2+, Rabbitmq
可选的操作组件:
Elasticsearch 6.x/7.x
Kafka
MySQL
Oracle
Postgresql
SqlServer
Mongodb

#### 安装教程

1. doc/sql下文件导入数据库, data_cloud.sql基础环境, data_cloud_quartz.sql定时器数据库
2. 打包: mvn clean package -T 1C
3. doc/docker目录下domain-docker.yml部署, .env文件覆盖容器变量
4. 其它依赖组件doc/docker有docker编排文件可供使用

#### 使用说明

1. 新建模块依赖data-platform-starter-web即可提供基础服务security融入nacos注册中心
2. 本地运行需要启动
   run data-auth 统一认证服务
   run system-domain-api 系统核心服务
   run data-gateway-admin 网关管理服务
   run data-gateway-api 网关核心服务

cd data-ui
npm install && npm run serve

#### 演示图

1. 数据源 (支持MySQL、SQLServer、Oracle、PostgreSQL、Elasticsearch、MongoDB、Kafka)
<img alt="drawing" src="https://gitee.com/xzh-dev/data-develop/raw/master/doc/assets/metadata_source_list.png"/>
<img src="https://gitee.com/xzh-dev/data-develop/raw/master/doc/assets/metadata_table_column_list.png" alt="drawing" />
2. 动态数据源建模
<img src="https://gitee.com/xzh-dev/data-develop/raw/master/doc/assets/masterdata_model_list.png" alt="drawing" />
<img src="https://gitee.com/xzh-dev/data-develop/raw/master/doc/assets/masterdata_model_data_list.png" alt="drawing" />
3. 动态数据源API发布
<img src="https://gitee.com/xzh-dev/data-develop/raw/master/doc/assets/market_table_api_list.png" alt="drawing" />
<img src="https://gitee.com/xzh-dev/data-develop/raw/master/doc/assets/market_data_api_list.png" alt="drawing" />
4. 数据异构(不同数据源之间异构数据)
<img src="https://gitee.com/xzh-dev/data-develop/raw/master/doc/assets/datawork_reload_list.png" alt="drawing" />
5. 数据库变更捕获(可视化MySQL binlog任务)
<img src="https://gitee.com/xzh-dev/data-develop/raw/master/doc/assets/datawork_debezium_list.png" alt="drawing" />
6. GA/T 1400协议
<img src="https://gitee.com/xzh-dev/data-develop/raw/master/doc/assets/viid_server_list.png" alt="drawing" />

#### 打赏和联系

<img src="https://gitee.com/xzh-dev/viid-server/raw/master/assets/payment.jpg" alt="drawing" width="200" height="200"/>
<img src="https://gitee.com/xzh-dev/viid-server/raw/master/assets/information.jpg" alt="drawing" width="200" height="200"/>