# big-data-parent

**Repository Path**: ITKnow/big-data-parent

## Basic Information

- **Project Name**: big-data-parent
- **Description**: 大数据体系，存储，计算，相关组件，分析引擎等
- **Primary Language**: Unknown
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 29
- **Created**: 2023-05-06
- **Last Updated**: 2023-05-06

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# big-data

## 1、仓库说明

Hadoop框架，大数据组件，数据服务

## 2、分类文档

- **Hadoop框架**

    - [单服务下伪分布式集群搭建](https://gitee.com/cicadasmile/butte-java-note/blob/master/doc/bigdata/hadoop/H01、单服务集群搭建.md)
    - [集群模式下分布式环境搭建](https://gitee.com/cicadasmile/butte-java-note/blob/master/doc/bigdata/hadoop/H02、集群模式环境搭建.md)
    - [HDFS简介与Shell管理命令](https://gitee.com/cicadasmile/butte-java-note/blob/master/doc/bigdata/hadoop/H03、HDFS与管理命令.md)
    - [HDFS读写机制与API详解](https://gitee.com/cicadasmile/butte-java-note/blob/master/doc/bigdata/hadoop/H04、HDFS读写机制.md)
    - [NameNode工作机制详解](https://gitee.com/cicadasmile/butte-java-note/blob/master/doc/bigdata/hadoop/H05、NameNode机制.md)
    - [DataNode工作机制详解](https://gitee.com/cicadasmile/butte-java-note/blob/master/doc/bigdata/hadoop/H06、DataNode机制.md)
    - [HDFS高可用环境配置](https://gitee.com/cicadasmile/butte-java-note/blob/master/doc/bigdata/hadoop/H07、HDFS高可用配置.md)
    - [MapReduce基本原理和入门案例](https://gitee.com/cicadasmile/butte-java-note/blob/master/doc/bigdata/hadoop/H08、MapReduce原理.md)
    - [Yarn基本结构和运行原理](https://gitee.com/cicadasmile/butte-java-note/blob/master/doc/bigdata/hadoop/H09、Yarn资源调度器.md)

- **常用组件**

    - [Hive环境搭建和基础用法](https://gitee.com/cicadasmile/butte-java-note/blob/master/doc/bigdata/B01、Hive搭建与应用.md)
    - [HBase集群环境搭建和应用案例](https://gitee.com/cicadasmile/butte-java-note/blob/master/doc/bigdata/B02、HBase集群与应用.md)
    - [Flume基础用法和Kafka集成](https://gitee.com/cicadasmile/butte-java-note/blob/master/doc/bigdata/B03、Flume日志采集.md)
    - [Sqoop管理数据导入和导出](https://gitee.com/cicadasmile/butte-java-note/blob/master/doc/bigdata/B04、Sqoop数据搬运.md)
    - [DataX同步数据和源码分析](https://gitee.com/cicadasmile/butte-java-note/blob/master/doc/bigdata/B05、DataX数据同步.md)
    - [Azkaban协调时序任务执行](https://gitee.com/cicadasmile/butte-java-note/blob/master/doc/bigdata/B06、Azkaban协调任务.md)
    - [ClickHouse集群，高性能查询](https://gitee.com/cicadasmile/butte-java-note/blob/master/doc/bigdata/B07、ClickHouse集群应用.md)
    - [Cassandra集群，分布式NoSQL系统](https://gitee.com/cicadasmile/butte-java-note/blob/master/doc/bigdata/B08、Cassandra集群应用.md)
    - [Druid组件，数据统计分析](https://gitee.com/cicadasmile/butte-java-note/blob/master/doc/bigdata/B09、Druid统计分析.md)
    - [Presto组件，跨数据源分析](https://gitee.com/cicadasmile/butte-java-note/blob/master/doc/bigdata/B10、Presto跨数据源分析.md)
    
- **实时计算**

    - [Spark集群搭建与入门案例](https://gitee.com/cicadasmile/butte-java-note/blob/master/doc/bigdata/B11、Spark集群与应用.md)
    - [Flink集群搭建与运行机制](https://gitee.com/cicadasmile/butte-java-note/blob/master/doc/bigdata/B12、Flink集群与应用.md)

- **数据服务**

    - [数据管理流程，基础入门简介](https://gitee.com/cicadasmile/butte-java-note/blob/master/doc/bigdata/data/D01、数据管理基础简介.md)
    - [业务场景下数据采集机制和策略](https://gitee.com/cicadasmile/butte-java-note/blob/master/doc/bigdata/data/D02、数据采集流程策略.md)
    - [数据全景洞察业务概念简介](https://gitee.com/cicadasmile/butte-java-note/blob/master/doc/bigdata/data/D03、数据全景洞察概念.md)
    - [数据应用场景之标签管理体系](https://gitee.com/cicadasmile/butte-java-note/blob/master/doc/bigdata/data/D04、数据标签化管理.md)
    - [标签管理体系之业务应用](https://gitee.com/cicadasmile/butte-java-note/blob/master/doc/bigdata/data/D05、基于标签圈选数据.md)
    - [用户画像分析与场景应用](https://gitee.com/cicadasmile/butte-java-note/blob/master/doc/bigdata/data/D06、用户画像标签分析.md)
    - [基于业务和平台理解数字营销概念](https://gitee.com/cicadasmile/butte-java-note/blob/master/doc/bigdata/data/D07、数字化营销简介.md)
    - [业务数据清洗，落地实现方案](https://gitee.com/cicadasmile/butte-java-note/blob/master/doc/bigdata/data/D08、业务数据清洗策略.md)
    - [数据服务基础能力之元数据管理](https://gitee.com/cicadasmile/butte-java-note/blob/master/doc/bigdata/data/D09、元数据管理策略.md)
    - [CDP客户数据管理平台体系化搭建](https://gitee.com/cicadasmile/butte-java-note/blob/master/doc/bigdata/data/D10、CDP系统架构设计.md)

## 3、关于作者

| 有问题加：微信号↓ | 支持关注：公众号↓ |
|----|-----|
| <img width="300px" height="300px" src="https://images.gitee.com/uploads/images/2021/0828/182311_7c8ff7e3_5064118.jpeg"/>   |   <img width="300px" height="300px" src="https://images.gitee.com/uploads/images/2021/0828/182332_f1b13009_5064118.jpeg"/>  |

## 4、仓库整合

| 仓库 | 描述 |
|:---|:---|
| [butte-java](https://gitee.com/cicadasmile/butte-java-note) |Java编程文档整理，基础、架构，大数据 |
| [butte-frame](https://gitee.com/cicadasmile/butte-frame-parent) |微服务组件，中间件，常用功能二次封装 |
| [butte-flyer](https://gitee.com/cicadasmile/butte-flyer-parent) |butte-frame二次浅封装，实践案例 |
| [butte-auto](https://gitee.com/cicadasmile/butte-auto-parent) |Jenkins+Docker+K8S实现自动化持续集成 |
| [java-base](https://gitee.com/cicadasmile/java-base-parent) | Jvm、Java基础、Web编程，JDK源码分析 |
| [model-struct](https://gitee.com/cicadasmile/model-arithmetic-parent) | 设计模式、数据结构、算法 |
| [data-manage](https://gitee.com/cicadasmile/data-manage-parent) | 架构设计，实践，数据管理、工具 |
| [spring-mvc](https://gitee.com/cicadasmile/spring-mvc-parent) | Spring+Mvc框架基础总结 |
| [spring-boot](https://gitee.com/cicadasmile/spring-boot-base) | SpringBoot2基础，应用、配置等 |
| [middle-ware](https://gitee.com/cicadasmile/middle-ware-parent) | SpringBoot2进阶，整合常用中间件 |
| [spring-cloud](https://gitee.com/cicadasmile/spring-cloud-base) | Spring+Ali微服务基础组件用法|
| [cloud-shard](https://gitee.com/cicadasmile/cloud-shard-jdbc) | SpringCloud实现分库分表实时扩容 |
| [husky-cloud](https://gitee.com/cicadasmile/husky-spring-cloud) | SpringCloud综合入门案例 |
| [big-data](https://gitee.com/cicadasmile/big-data-parent) | Hadoop框架，大数据组件，数据服务 |
| [mysql-base](https://gitee.com/cicadasmile/mysql-data-base) | MySQL数据库基础、进阶总结 |
| [linux-system](https://gitee.com/cicadasmile/linux-system-base) | Linux系统基础，环境搭建、配置 |