# BigDataTechnicalPai

**Repository Path**: ddxygq/bigdata-technical-pai

## Basic Information

- **Project Name**: BigDataTechnicalPai
- **Description**: 大数据技术派，分享优质文章，技术资料，包括但不限于主流的大数据技术：Hadoop、Kafka、Hbase、Flink、Spark等。
- **Primary Language**: Java
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: https://www.ikeguang.com/
- **GVP Project**: No

## Statistics

- **Stars**: 30
- **Forks**: 16
- **Created**: 2021-12-30
- **Last Updated**: 2025-06-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: hadoop, Spark, flink, 数据仓库

## README

# 大数据技术派

大数据技术派，分享优质文章，技术资料，包括但不限于主流的大数据技术：Hadoop、Kafka、Hbase、Flink、Spark等。



## 大数据组件安装大全

![](https://kingcall.oss-cn-hangzhou.aliyuncs.com/blog/img/2022/01/06/22:36:40-bigdata-install.png)

获取方式：关注公众号`大数据技术派`，回复关键字`大数据组件安装`即可获得。



## 大数据技术

[干货，主流大数据技术总结](https://mp.weixin.qq.com/s/T1HFfKkpQHH7w6-wlAwF9A)

[学习建议，大数据组件那么多，可以重点学习这几个。](https://mp.weixin.qq.com/s/4redHF0e7vCWFqv8t20Rjg)

[大数据SQL中的Join【谓词下推】讲解](https://mp.weixin.qq.com/s/Up_0Vp_Ug3W-MBReBoE8Xg)



## 一、Hadoop
1. [Hadoop 数据迁移用法详解](https://mp.weixin.qq.com/s/L8k0lO_ZbQy7G_46eshnCw)
1. [Hbase修复工具Hbck](https://mp.weixin.qq.com/s/L2Nvi0HSCbG8pH-DK0cG1Q)
1. [HDFS的快照](https://mp.weixin.qq.com/s/ooYIcHQ5V9x2fh3G7ZhCxg)
1. [Hadoop3数据容错技术（纠删码）](https://mp.weixin.qq.com/s/mznZZo-vqjYdFXN2z5DpPA)
1. [Hadoop 核心 - HDFS 分布式文件系统详解](https://mp.weixin.qq.com/s/emhsVTnmaizmei_uilXq3A)
1. [大数据组件重点学习这几个](https://mp.weixin.qq.com/s/4redHF0e7vCWFqv8t20Rjg)
1. [YARN调度器(Scheduler)详解](https://mp.weixin.qq.com/s/jMvWKCuB-U0wri6ZwqqhMg)

## 二、Hbase
1. [Hbase修复工具Hbck](https://mp.weixin.qq.com/s/L2Nvi0HSCbG8pH-DK0cG1Q)
1. [Hbase构建二级索引的一些解决方案](https://mp.weixin.qq.com/s/u98Dr-AW2_6ZREtn20cEzw)
1. [Hbase集群挂掉的一次惊险经历](https://mp.weixin.qq.com/s/YAEiMuC61W7HgBcckiaOJA)
1. [面试必问 | HBase最新面试总结](https://mp.weixin.qq.com/s/E2hNaRa1LlJHTsCFW88B3Q)
1. [深入理解HBase Memstore](https://mp.weixin.qq.com/s/hhKhaEJEqmczc80qfqa8wg)
1. [Hbase统计表的行数的3种方法](https://mp.weixin.qq.com/s/0XsqTV6arVRDSG-iiJkRbw)
1. [Hbase修复工具Hbck与Hbck2，异常定位和修复](https://mp.weixin.qq.com/s/L2Nvi0HSCbG8pH-DK0cG1Q)

## 三、Flink
1. [彻底搞清Flink中的Window](https://mp.weixin.qq.com/s/buisx4A7otcnIAJwb3pbyQ)
1. [Flink之Watermark详解](https://mp.weixin.qq.com/s/DpUzWFDawviNWN7AGHD3ww)
1. [Flink状态管理与状态一致性](https://mp.weixin.qq.com/s/hZeO7LtUwzZl0yK8eC8nmQ)
1. [Flink实时计算topN热榜](https://mp.weixin.qq.com/s/9K3oclvWDt0y14DIkDmQrw)
1. [Flink计算pv和uv的通用方法](https://mp.weixin.qq.com/s/6nApSSK-xDAwnXp1r2m-ug)
1. [Flink的处理背压原理及问题](https://mp.weixin.qq.com/s/Cnd0QoLXLsocVEDg6xmwsQ)
1. [基于Flink+ClickHouse打造轻量级点击流实时数仓](https://mp.weixin.qq.com/s/4FP82MN07Lw00UtLcRnDSQ)
1. [Flink 是如何统一批流引擎的](https://mp.weixin.qq.com/s/vpqjSnyMmcFHeW_8-Mj5Tw)
1. [flink sql 知其所以然（二）| 自定义 redis 数据维表（附源码）](https://mp.weixin.qq.com/s/0EH0idfWTZqJX6bZvnmI-w)

## 四、Spark
1. [Spark开发常用参数（最全）](https://mp.weixin.qq.com/s/Xww_5jFtdJryF6WLG8b1vQ)
1. [Spark性能优化指南——基础篇](https://mp.weixin.qq.com/s/ni2sXTNgdBawVuKZHQBwzQ)
1. [Spark性能优化指南——高级篇](https://mp.weixin.qq.com/s/-HRK9BkGSC1jiw6T5ZLBJQ)
1. [Spark调优 | 不可避免的 Join 优化](https://mp.weixin.qq.com/s/yEPh7uQK6ZOvizA6MyUOvw)
1. [SparkStreaming项目实战，实时计算pv和uv](https://mp.weixin.qq.com/s/e0hdRpWPIq2hxzQpkc-GqQ)
1. [Spark调优 | Spark OOM问题常见解决方式](https://mp.weixin.qq.com/s/T8iK4gQUCr-mHLvo8jhDnQ)
1. [Spark SQL知识点与实战](https://mp.weixin.qq.com/s/q4L7hnUpab7rnEwCA5yRUQ)
1. [干货|Spark优化之高性能Range Join](https://mp.weixin.qq.com/s/4Bm8awRNojR7v_sAZzNCZg)

## 五、数据仓库
1. [数仓架构发展史](https://mp.weixin.qq.com/s/lwv1P8PiTcQWhInw_G7X5Q)
2. [数仓建模方法论](https://mp.weixin.qq.com/s/CTyynCUCLB2lq9S1ujRNaQ)
3. [数仓建模分层理论](https://mp.weixin.qq.com/s/8rpDyo41Kr4r_2wp5hirVA)
4. [数仓建模—宽表的设计](https://mp.weixin.qq.com/s/Jsi55C4eHE-O69e3JwwIcg)
5. [数仓建模—指标体系](https://mp.weixin.qq.com/s/H3vbulk3gavIvV40LrIagA)
6. [一文搞懂ETL和ELT的区别](https://mp.weixin.qq.com/s/v2U771fOvm3n0JOaF_K5_g)
7. [数据湖知识点](https://mp.weixin.qq.com/s/5U32VJJfQo5RTa1zORzGsQ)
8. [技术选型 | OLAP大数据技术哪家强？](https://mp.weixin.qq.com/s/6MXcmk9158iiqe0jXKJqBQ)
9. [数仓相关面试题](https://mp.weixin.qq.com/s/Yu3pWkcJBpH23628bThxGw)
10. [从 0 到 1 学习 Presto，这一篇就够了！](https://mp.weixin.qq.com/s/Vj7bA-lgl3kfgGHbykN0lQ)
11. [元数据管理在数据仓库的实践应用](https://mp.weixin.qq.com/s/MKqRFtjEPBA-9E8VD8YXhg)
12. [做中台2年多了，中台到底是什么呢？万字长文来聊一聊中台](https://mp.weixin.qq.com/s/2xRk72eezOhQ6GCKDaLhCg)

## 六、Hive
1. [Hive表的基本操作(必会)](https://mp.weixin.qq.com/s/2lQl6CIxAtF6SZE5AcTpLg)
1. [Hive中的集合数据类型](https://mp.weixin.qq.com/s/v5iyk5dqrRCDsSiJOL-Gag)
1. [Hive动态分区详解](https://mp.weixin.qq.com/s/IINwzRE84fgv1vm7TpnPpA)
1. [Hive 中的四种排序详解，再也不会混淆用法了。](https://mp.weixin.qq.com/s/gVvsTt0wtUY3uaVvFHkrkg)
1. [Hive窗口函数row number的用法， 你肯定都会吧！](https://mp.weixin.qq.com/s/LAR0JhfCMkhthWSvkG2VZg)
1. [Hive必会SQL语法explode 和 lateral view](https://mp.weixin.qq.com/s/h22gF5KufJFEggkFNi-SFA)
1. [Hive进阶—抽样的各种玩法](https://mp.weixin.qq.com/s/tERqA_r310Qpg_e1fW0E2w)
1. [Hive整合Hbase](https://mp.weixin.qq.com/s/glRyDRUwnDh1JV35JEdYJA)
1. [Impala一文详解及与hive简单对比](https://mp.weixin.qq.com/s/x-Y-sAoG40AI4XICur4uMQ)
1. [一文搞懂Hive的数据存储与压缩](https://mp.weixin.qq.com/s/90MuP3utZx9BlgbwsfDsfw)
1. [彻底解决Hive小文件问题](https://mp.weixin.qq.com/s/V56pPo6LogRMD_CHp9zHGA)
1. [Hive计算最大连续登陆天数](https://mp.weixin.qq.com/s/2Z2Y7QsA_eZRblXfYbHjxw)
1. [Hive实战UDF 外部依赖文件找不到的问题](https://mp.weixin.qq.com/s/AFLuIVrc_Eh8uRtaPCLBLg)
1. [Hive实战—时间滑动窗口计算](https://mp.weixin.qq.com/s/Jr_-df7QpBWDiP0lZaJtAg)

## 七、Kafka
1. [2万文字，一文搞懂Kafka](https://mp.weixin.qq.com/s/Ey1Eh_zJmnuXdr7ENWk6aw)
1. [面试官问: kafka 重试机制原理](https://mp.weixin.qq.com/s/IgtTH7d7Xzmi2ra1y3MB_g)

## 八、Docker

1. [5分钟安装docker教程](https://mp.weixin.qq.com/s/1sIU98maSWR-5WvX5zrIBQ)
1. [Docker 安装 wordpress，通过nginx反向代理，绑定域名，配置https](https://mp.weixin.qq.com/s/1orARxo7-F5xuw7YINmLtw)

## 九、数据库
1. [大数据中使用Redis计算UV的4种方法](https://mp.weixin.qq.com/s/r4S3yCIOa0gqM4F0EY9KIQ)

## 十、程序人生
1. [工作三年的一些感悟](https://mp.weixin.qq.com/s/QpyRuXcbAg7o8g-oZqxnqQ)

## 十一、微信公众号
我的微信：`ddxygq`，公众号：大数据技术派。
![](https://kingcall.oss-cn-hangzhou.aliyuncs.com/blog/img/2021/12/29/22:38:47-ikeguang2.jpg)

## 十二、知识星球
![](https://kingcall.oss-cn-hangzhou.aliyuncs.com/blog/img/2021/11/21/19:27:22-%E5%B0%8F%E5%9B%BE.jpg)