# 数据质量管理平台

**Repository Path**: gtnotgod/Data-Quality-Management

## Basic Information

- **Project Name**: 数据质量管理平台
- **Description**: 数据质量管理平台
- **Primary Language**: Java
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 19
- **Forks**: 19
- **Created**: 2024-03-01
- **Last Updated**: 2025-05-13

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 数据质量管理平台

#### 介绍
数据质量管理平台
![输入图片说明](https://foruda.gitee.com/images/1709263066236019761/5d668d1d_7342361.png "屏幕截图")
#### 首页：
![输入图片说明](https://foruda.gitee.com/images/1709263151916743307/a43eb81d_7342361.png "屏幕截图")
#### 数据质量标准管理
![输入图片说明](https://foruda.gitee.com/images/1709263194327553242/dee1375b_7342361.png "屏幕截图")
标准会关联目录：
![输入图片说明](https://foruda.gitee.com/images/1709264160986509509/1166a551_7342361.png "屏幕截图")
#### 数据标准已发布正式：
![输入图片说明](https://foruda.gitee.com/images/1709263227374647179/f2b92a8f_7342361.png "屏幕截图")
#### 数据质量规则管理:
![输入图片说明](https://foruda.gitee.com/images/1709263257457191960/29eb2e8d_7342361.png "屏幕截图")
#### 数据质量规则使用模板管理:
![输入图片说明](https://foruda.gitee.com/images/1709263290240971548/0c35f150_7342361.png "屏幕截图")
#### 数据标准审核
![输入图片说明](https://foruda.gitee.com/images/1709263313082554478/0c0b4b3f_7342361.png "屏幕截图")
#### 数据标准执行与生产工单和执行记录管理
![输入图片说明](https://foruda.gitee.com/images/1709263354585372390/ba459a8b_7342361.png "屏幕截图")
#### 工单管理
![输入图片说明](https://foruda.gitee.com/images/1709263377512828678/ab077443_7342361.png "屏幕截图")
#### 数据源管理
![输入图片说明](https://foruda.gitee.com/images/1709263404071754038/568de707_7342361.png "屏幕截图")
#### 软件架构
软件架构说明:
基于原开源项目--Qualitis魔改：使用底层Linkis计算引擎做数据质量检测
原Qualitis项目开源地址：https://gitee.com/WeBank/Qualitis.git
业务底层重构换血：使用其思想调度Linkis执行数据校验任务。加入业务层的模块
原先gradle换血--Maven|数据库升级为Mysql-8；简单上手！！！！
调用Linkis也比较简单，只完成了基于SQL的调度。
主要都是台账增删查改的魔改；
#### 安装教程

Maven刷新工程：
1.datasource:数据库导入你的系统
在application-dev：修改你的数据源
spring:
  datasource:
    username: qualitis
    password: qualitis
    url: jdbc:mysql://10.130.1.75:3306/qualitis?createDatabaseIfNotExist=true&useUnicode=true&characterEncoding=utf-8&useSSL=false
    driver-class-name: com.mysql.jdbc.Driver
    type: com.zaxxer.hikari.HikariDataSource
然后进入代码启动：
![输入图片说明](https://foruda.gitee.com/images/1709263743962971700/e38d2fbc_7342361.png "屏幕截图")
2.要执行数据质量检测任务：需要打通你的Linkis：
qualitis_config_cluster_info 表增加你的Linkis配置信息：
例如：
INSERT INTO qualitis.qualitis_config_cluster_info (cluster_name,cluster_type,hive_server2_address,linkis_address,linkis_token,skip_data_size) VALUES
	 ('ClusterName1.3','ClusterType',NULL,'http://10.130.1.37:8188/','QUALITIS-752e2bcf7825f15b4f828150a6be2788',NULL),
	 ('NewClusterName1.3','NewClusterType',NULL,'http://10.130.1.37:8188/','QUALITIS-752e2bcf7825f15b4f828150a6be2788',NULL);
3.执行任务你需要配置Linkis的用户和密码
linkis:
  datasource:
    username: hadoop
    password: f45b9a1af

#### 使用说明

安装依赖的时候可能会缺少：部分依赖：国内阿里云Maven镜像估计不好弄；这里直接提供了依赖包解压导入本地仓

Data-Quality-Management/forgerock.zip

run --运行：访问地址 ：http://localhost:8090/qa/menuIndex

执行数据校验：在这里查看
![输入图片说明](https://foruda.gitee.com/images/1709264051517666320/999f763f_7342361.png "屏幕截图")

![输入图片说明](https://foruda.gitee.com/images/1709264068915746816/bdc55e4e_7342361.png "屏幕截图")

或者导出结果World查看：
![输入图片说明](https://foruda.gitee.com/images/1709264113097403933/00754d43_7342361.png "屏幕截图")

#### 逻辑：
标准目录-->数据质量标准（草稿|正式）--->执行规则---->规则模板：
标准目录-->数据质量标准--->执行规则======执行的任务----->工单
数据质量标准（草稿）-- 审批 ----数据质量标准（正式） --->执行规则
#### 参与贡献

1.  Fork 本仓库
2.  新建 Feat_xxx 分支
3.  提交代码
4.  新建 Pull Request


#### 特技

1.  使用 Readme\_XXX.md 来支持不同的语言，例如 Readme\_en.md, Readme\_zh.md
2.  Gitee 官方博客 [blog.gitee.com](https://blog.gitee.com)
3.  你可以 [https://gitee.com/explore](https://gitee.com/explore) 这个地址来了解 Gitee 上的优秀开源项目
4.  [GVP](https://gitee.com/gvp) 全称是 Gitee 最有价值开源项目，是综合评定出的优秀开源项目
5.  Gitee 官方提供的使用手册 [https://gitee.com/help](https://gitee.com/help)
6.  Gitee 封面人物是一档用来展示 Gitee 会员风采的栏目 [https://gitee.com/gitee-stars/](https://gitee.com/gitee-stars/)