# huaweicloud-solution-lightweight-offline-big-data-solution

**Repository Path**: HuaweiCloudDeveloper/huaweicloud-solution-lightweight-offline-big-data-solution

## Basic Information

- **Project Name**: huaweicloud-solution-lightweight-offline-big-data-solution
- **Description**: 该解决方案通过华为云DGC、DLI、RDS等服务的组合，快速构建一个轻量化离线数据分析平台，帮助企业实现业务数据洞察。

- **Primary Language**: Unknown
- **License**: Apache-2.0
- **Default Branch**: master-dev
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2022-11-30
- **Last Updated**: 2025-06-16

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

[TOC]


**解决方案介绍**
===============

此解决方案通过华为云数据治理中心 DataArts Studio、数据湖探索服务 DLI等服务的组合，可以快速构建一个轻量化离线数据分析平台，一站式完成业务数据采集、分析，指标展示、查询等工作，帮助企业实现业务数据洞察。

解决方案实践详情页面：

**架构图**
---------------

![](./document/lightweight-offline-big-data-solution.png)

**架构描述**
---------------

该解决方案会部署如下资源：

1.数据迁移服务 CDM：高效、易用的批量/增量数据迁移和同步服务，提供了40+数据源到数据湖仓的集成能力；

2.数据治理中心 DataArts Studio：提供数据标准和数据模型的规范设计，以及数据分析流程的在线开发、任务编排调度等的一站式数据治理能力；

3.数据湖探索服务 DLI：是一个完全兼容Spakr、FLink生态，支持流处理、批处理、交互式分析的Serverless大数据分析分析服务；

**组织结构**
---------------

```
huaweicloud-solution-lightweight-offline-big-data-solution
├── lightweight-offline-big-data-solution.tf.json -- 资源编排模板
```

**开始使用**
---------------

说明：本解决方案以真实数据（脱敏后）为基础，为用户提供配置样例，供用户借鉴参考

***数据迁移示例***

1.登录华为云云数据库RDS控制台，进入RDS列表，选择业务数据源登录。

图1 登录RDS

![](document/readme-image-001.png)

2.查看业务数据源"cyz_test"数据库，"t_trade_order"和"t_user_store_info"两张表的基本信息（数据已提前导入），执行SQL获取对应需要在DLI中创建表的语句。

图2 数据库的基本信息

![](document/readme-image-002.png)

图3 建表结果

![](document/readme-image-003.png)
3.登录数据湖探索 DLI服务控制台，选择SQL编辑->编辑SQL语句->选择模板自动创建的dgc_dli_test队列->default数据库->单击执行，确保左侧SQL编辑器数据库中表创建成功。

图4 在default数据库中建表

![](document/readme-image-004.png)

4.登录云数据迁移服务 CDM控制台，选择模板自动创建的集群，单击右侧的作业管理。选择连接管理，单击新建连接，选择数据湖探索（DLI）单击 下一步。

图5 作业管理

![](document/readme-image-005.png)

图6 连接管理

![](document/readme-image-006.png)

图7 数据湖探索

![](./document/readme-image-007.png)

5.填写名称“dli-link”，输入华为云ak、sk（如何获取AK/SK），单击保存。

图8 新建连接

![](./document/readme-image-008.png)

6.单击新建连接，选择“云数据库 MySQL”，填写名称“rds-link”，选择“rds-dgc”源端业务数据库实例，端口“3306”，数据库名称“cyz_test”，用户名/密码，单击保存。
图9 数据库连接

![](./document/readme-image-009.png)

注意：
1. 首次连接RDS需要上传驱动，点击图中上方的蓝色字体“驱动管理”进行驱动上传，驱动版本参考驱动下载地址。
2. RDS和CDM在同一个VPC时可以直接连接，否则RDS和CDM均需绑定EIP后使用公网ip，同时RDS安全组添加CDM的入方向规则，放开22号端口，安全组规则添加参考添加安全组规则。

7.(a)选择表/文件迁移，点击新建作业，输入作业名称“t_user_store_info”，作业信息按照下图进行填写。配置完成后单击下一步，字段会自动映射，无需修改，单击下一步，单击保存。

(b)选择表/文件迁移，点击新建作业，输入作业名称“t_trade_order”，作业信息按照下图进行填写。配置完成后单击下一步，字段会自动映射，无需修改，单击下一步，单击保存。

图10 表1作业配置

![](./document/readme-image-010.png)

图11 表2作业配置

![](./document/readme-image-011.png)

8.登录数据治理中心 DataArts Studio控制台，选择模板自动创建的实例，选择default工作空间，单击数据开发，在“作业”目录右键，单击新建作业，输入作业名称“dgc_test”作业信息默认即可，单击确定。

图12 新建作业

![](./document/readme-image-012.png)

9.在弹出的界面中选择“节点库”，拖动1个Dummy节点、2个CDM Job节点，按下图填写配置。

图13 CDM job节点1配置

![](./document/readme-image-013.png)

图14 CDM job节点2配置

![](document/readme-image-014.png)

10.按照截图填好信息后，修改调度信息。单击“保存并提交版本”，单击“执行调度”，单击“测试运行”。

图15 调度配置

![](document/readme-image-015.png)

图16 执行调度后测试运行

![](document/readme-image-016.png)

11.执行CDM作业，将RDS的两张表“t_user_store_info”、“t_trade_order”的数据同步到DLI的表中。

图17 数据迁移成功

![](document/readme-image-017.png)

图18 在DLI查看数据迁移结果

![](document/readme-image-018.png)

----结束

***数据分析处理示例***

1.在完成数据迁移基础上，拖动1个DLI SQL节点到右侧的画布中，按下图填写配置。

图19 DLI SQL节点配置

![](document/readme-image-019.png)

2.按照截图填好信息后，修改调度信息。单击“保存并提交版本”，单击“执行调度”，单击“测试运行”。

图20 调度配置

![](document/readme-image-020.png)

图21 执行调度后测试运行

![](document/readme-image-021.png)

3.执行CDM作业，将RDS的两张表“t_user_store_info”、“t_trade_order”的数据更新到DLI的表中，并做分析处理，作业执行成功。

图22 执行成功

![](document/readme-image-022.png)执行成功

图23 在DLI查看数据分析处理结果

![](document/readme-image-023.png)

----结束