# 数据智能平台V

**Repository Path**: ccddtomato/data-intelligence-platform---v

## Basic Information

- **Project Name**: 数据智能平台V
- **Description**: 数据智能平台软件基于vue2、webpack、javaScript、Spring Cloud Gateway、SpringBoot、RocketMQ、Xxl-Jobb、Nacos、Redis、flink等最新技术开发的智能全域数据管理软件。它可以对数据资产进行统一管理，把数据采集、汇聚后形成数据仓库，并对数据进行统一编目，形成数据资产目录，在此基础上对数据进行共享、挖掘、分析及数据可视化。
- **Primary Language**: Unknown
- **License**: AGPL-3.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 6
- **Forks**: 2
- **Created**: 2023-10-27
- **Last Updated**: 2025-05-28

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 数据智能平台V

#### 介绍
数据智能平台软件基于vue2、webpack、javaScript、Spring Cloud Gateway、SpringBoot、RocketMQ、Xxl-Jobb、Nacos、Redis、flink等最新技术开发的智能全域数据管理软件。它可以对数据资产进行统一管理，把数据采集、汇聚后形成数据仓库，并对数据进行统一编目，形成数据资产目录，在此基础上对数据进行共享、挖掘、分析及数据可视化。

#### 功能模块说明
![输入图片说明](image1.png)
1. 数据集成
- 数据连接管理
支持多种数据仓库引擎配置，包括oracle、mysql、sqlserver、hbase、es、hive等数十种。
- 数据源管理
提供在线数据源连接配置，可以同时配置多种数据源连接。
- 数据表集成
数据表集成用于建立与管理相关数据源的连接关系，基于需求加载相应采集数据表单，采集相关数据表到数据中台的数据仓库中。
- 自定义SQL集成
通过自定义查询的方式灵活组装数据集，支持动态参数功能按需接入数据。
- Excel数据集成
通过上传文件的方式，支持Excel数据集导入数据到数据仓库中。
2. 数据仓库
- 数仓编目
1）支持根据不同的业务类型、数据来源等创建数据目录，方便用户快速查找定位数据集。
2）提供数据目录的移动、重命名、删除功能。
- 数据表详情
支持查看数据表的详情信息展示。包括数据表的来源相关信息，表自身信息（名称、类型、创建者、创建时间、连接模式等），支持查看数据表的数据集中字段名称、类型等。
- 数据预览
支持预览查看各个数据集的数据样本。
- 自定义SQL查询
支持自定义SQL查询展示数据或结果集。
- 数据表维护
重命名表明中文名称，字段中文名称。
3. 数据资产
- 数据目录
支持按照数据分层管理和API分层管理进行展示数据和API，并提供数据预览、数据样例下载、API接口详情和API接口调用测试等功能。
- 数据发布管理
数据分层管理：支撑数据自定义分层分类管理功能，并支持已经发布的数据绑定分层分类。
数据发布：提供数据在线发布功能，提供样例数据、数据控制到字段，，支撑标签绑定功能。
- API发布管理
API分层管理：支持API自定义分层分类管理功能，并支持已经发布的API绑定分层分类。
API发布：支持对数据表进行API接口发布，支撑标签绑定功能。
- 标签管理
提供自定义创建标签管理功能。
4. 数据分析
- 模型算子
算子组件：生成结果集组件、自定义条件过滤组件、关联碰撞分析组件、分组统计分析组件、高级分组统计分析组件等。其中关联碰撞分析中包括对数据集的交集分析、合并结果集分析、差集分析、自连接分析。自定义条件过滤中包括对结果集的二次过滤，函数有等于、小于、大于、区间、模糊查询、精确包含、精确不包含、模糊包含、模糊不包含、自定义正则表达式、字符串截取等函数库。
- 模型工厂
支持模型资源生产、管理、应用全过程的模型资源工具集，为管理资源体系提供统一的，规范的模型可视化开发和管理功能。
1）模型分类，支持根据不同的业务类型创建模型分类。提供模型分类的检索、移动、重命名、删除功能。
2）模型管理，支持模型的检索、创建、删除、编辑、重命名操作
3）模型设计器,画布功能：支持拖拽式的流程编辑功能，提供算子节点选择、复制、移除、剪切等快捷操作按钮；调试执行：提供模型整体执行、单个执行、向后执行等多种调试方式，提供执行日志输出、执行结果数据查看功能。全局变量：提供模型关键参数的统一定义管理。
4）版本管理，通过版本管理，用户可发布模型副本，避免模型开发和运行的版本冲突。
- 应用超市
1）创建应用，支持将模型发布为一个业务应用，供最终用户使用。
2）应用列表，提供模型应用的分类、检索功能；
3）申请审核，最终用户可向管理员申请模型应用的使用权限，管理员进行申请审批。
4）应用执行，提供应用执行功能，用户可创建应用执行任务，并查看、下载模型应用的执行结果。
- 应用管理
提供模型发布应用后的维护管理功能，支持上下架应用超市中的应用。
- 调度中心
统一管理系统的定时任务，提供任务创建、删除、时间管理、执行、暂停、日志查看功能；模型任务监控：监控定时运行的模型后台任务执行情况；应用任务监控：监控用户发起的应用调用任务执行情况。
5. 数据大屏
- 项目管理
提供创建大屏或表格项目功能，并可通过编辑器进行大屏设计，支持各种表格图表功能等。
- 数据集
提供在线可视化编辑SQL自定义数据集功能，为报表、表格提供数据支撑。
- 大屏设计器
提供可拖拽式仪表板布局、组件大小调整、组件排列样式等功能，组件数据绑定功能，最终生成数据仪表板。
- 表格设计器
提供excel表格编辑设计、数据源绑定等功能，最终生成满足需求的数据报表
- 大屏组件
系统提供30多种常用图表组件，包括：文本、图片、饼图、柱状图、折线图、漏斗图、仪表盘、百分比图、气泡图、词云图、热力图、折线对比图、柱状对比图、表格、时间、图片、视频、超链接等多种类型的图表组件。
- 大屏报表
能够查看所有发布后的大屏报表数据项目，并可以预览最终效果；
- 表格报表
能够查看所有发布后的表格报表数据项目，并可以预览最终效果；
6. 系统管理
系统管理提供用户管理、角色管理、机构管理、岗位管理、字典管理、参数设置、日志管理、个人中心、布局设置等功能。

#### 系统架构

1.  总体架构
![输入图片说明](image2.png)
2.  数仓架构
![输入图片说明](image3.png)
我们的数仓的架构,选择轻量级的数仓概念。最核心的特点，引入了虚拟ODS层。
- 1）虚拟ODS，只同步了生产库表基础信息，后续的分析、应用场景，都是通过数据引擎直接连接生产库进行分析和取数据。
- 2）ODS层，由于业务需要，可通过ETL，同步原始数据到ODS。
3.  实时&离线数据
![输入图片说明](image4.png)
- 1）数据中台体系中离线数据分析
对于离线数据分析，在数据中台体系内，有离线数据引擎做支撑，通过离线数据引擎可以与任意第三方存储资源实体库进行打通，数据中台体系内构建的数据分析模型，可以有两种方式进行工作：
- 第一种，可以把模型算法推送给第三方实体库对应的计算资源进行数据分析，分析后的成果返回数据中台；
- 第二种，先从第三方拉离线数据到数据中台体系内，然后利用数据中台自己的计算资源执行分析任务。
- 2）数据中台体系中实时数据计算分析
对于实时数据分析，在数据中台体系，同样对应有实时数据计算引擎支撑，由实时计算引擎打通fink\spark等流式计算组件，同样，也可以实现本地计算资源计算和第三方计算资源计算两种场景。

#### 核心技术栈

1.  前台
Vue2
webpack
javaScript
element-plus
element-ui
Pinia
echarts
....
2.  后台
Spring Cloud Alibaba
SpringSecurity
Spring Cloud Gateway
SpringBoot
RocketMQ
Xxl-Jobb
Nacos
Redis
Mybatis-Plus
mysql8.0
tidb
doris
flink
flink cdc
flink sql
....

#### 系统展示
![输入图片说明](image5.png)
![输入图片说明](image6.png)
![输入图片说明](image7.png)
![输入图片说明](image8.png)
![输入图片说明](image9.png)
![输入图片说明](image10.png)
![输入图片说明](image11.png)
![输入图片说明](image12.png)
![输入图片说明](image13.png)
![输入图片说明](image14.png)
![输入图片说明](image15.png)
![输入图片说明](image16.png)
![输入图片说明](image17.png)
![输入图片说明](image18.png)
![输入图片说明](image19.png)

#### 版本说明
2023-10-23     数据智能平台V2.0版本正式发布。
注释：后续版本会在此版本基础上陆续更新。

#### 项目演示地址
加入我的知识星球“橙Bird.数据中台”（星球号73674292），提供演示地址、账号及其他学习资料。

#### 技术交流
关注微信公众号 【数据分析小兵】，单击联系我们，获取微信后，加我拉你到微信群，并为你提供全程免费服务，你也可以与其他伙伴交流大数据技术，如果觉得项目不错，可以star关注
![输入图片说明](%E5%9B%BE%E7%89%871.png)