# geektime-Flink

**Repository Path**: ansergen/geektime-Flink

## Basic Information

- **Project Name**: geektime-Flink
- **Description**: 极客时间《Flink核心技术与实战》课程课件及代码
- **Primary Language**: Java
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 188
- **Created**: 2021-05-03
- **Last Updated**: 2021-05-03

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 极客时间-Flink核心技术与实战
极客时间《Flink核心技术与实战》课程课件及代码

### 第一章：Apache Flink介绍
- 1.0 课程介绍
- 1.1 内容综述
- 1.2 流处理技术概览
- 1.2 Flink发展历史与应用场景 
- 1.4 Flink核心特性

### 第二章：Flink部署与应用
- 2.1 Flink集群架构（6）
- 2.2 Flink集群运行模式（7）
- 2.3 Flink集群资源管理器支持（8）
- 2.4 Standalone原理讲解与实操演示（9）
- 2.5 Flink On Yarn部署讲解（10）
- 2.6 Flink On Yarn实操演示（11）
- 2.7 Flink On Kubernetes部署讲解（12）
- 2.8 Flink On Kubernetes实操-Session模式（13）
- 2.9 Flink On Kubernetes实操-Per-Job模式14
- 3.0 Flink On Kubernetes Native部署讲解15
- 3.1 Flink On Kubernetes Native实操演示16
- 3.2 Flink高可用配置原理讲解17
- 3.3 Flink高可用配置实操演示18

### 第三章：Flink DataStream API实践原理
- 3.1 分布式流处理模型19
- 3.2 DataStream API 实践原理20
- 3.3 Flink 时间概念21
- 3.4 Watermark实践原理22
- 3.5 Watermark与Window的关系23
- 3.6 Watermark Generator（24）
- 3.7 Windows窗口计算（25）
- 3.8 Window Assigner（26）
- 3.9 Window Trigger（27）
- 3.10 Window Evictors（28）
- 3.11 Window Function
- 3.12 Windows多流合并
- 3.13 Process Function应用
- 3.14 SideOutput旁路输出
- 3.15 Asynchronous I/O异步操作
- 3.16 Pipeline与StreamGraph转换
- 3.17 项目实战：基于DataStream API实现PV，UV统计

### 第四章：Flink状态管理和容错
- 4.1 有状态计算概念
- 4.2 状态类型及应用
- 4.3 KeyedState与OperatorState
- 4.4 RuntimeContext与RichFunction实现
- 4.5 StateBackends状态管理器
- 4.6 状态序列化操作
- 4.7 Querable State介绍与使用
- 4.8 Checkpoints与Savepoints应用
- 4.9 Checkpoints实现原理
- 4.10 项目实战：基于状态计算实现用户画像指标统计

### 第五章：Flink Table & SQL实践原理
- 5.1 Flink Table API/SQL介绍与使用
- 5.2 TableEnviroment 原理与实践
- 5.3 TableConnector注册与实现
- 5.4 TimeStamp与Watermark原理实践
- 5.5 Temporal Tables原理实践
- 5.6 维表关联实践
- 5.7 Catalog原理与使用
- 5.8 Apache Hive集成
- 5.9 自定义Scalar/Table/AggregationFunction
- 5.10 自定义TableSource/TableSink/TableFactory
- 5.11 Flink SQL数据类型系统
- 5.12 项目实战：基于Flink SQL实现Top 10商品统计

### 第六章：Flink Runtime设计与实现
- 6.1 Runtime整体架构
- 6.2 ResourceManager资源管理
- 6.3 Execution Environment分类
- 6.4 JobGraph提交与运行
- 6.5 ExecutionGraph生成与执行
- 6.6 SchedulerNG调度器
- 6.7 Excution调度执行
- 6.8 Task重启策略与容错
- 6.9 StreamTask线程模型
- 6.10 集群高可用实现

### 第七章：Flink监控与性能优化
- 7.1 Metric指标分类与采集
- 7.2 Flink RestAPI介绍与使用
- 7.3 日志配置与问题定位
- 7.4 Checkpoint监控与调优
- 7.5 反压监控与原理
- 7.6 Flink内存配置与调优
- 7.7 窗口与事件时间调试
- 7.8 HistoryServer服务

### 第八章：Flink组件栈介绍与使用
- 8.1 PyFlink实践与应用
- 8.2 SQL Client实践与应用
- 8.3 Flink复杂事件处理：Complex event process
- 8.4 Flink图计算支持：Gelly graph process
- 8.5 Alink机器学习框架介绍与使用
- 8.6 Stateful Function介绍与使用

### 第九章：项目实战-使用Flink构建推荐系统实时数据流
- 9.1 实时推荐系统架构设计与实现
- 9.2 基于Flink SQL构建用户画像
- 9.3 基于Flink DataStream API样本归因与拼接
- 9.4 基于Elastic Search存储用户物料画像数据
- 9.5 推荐系统实时物料召回
- 9.6 结束语

### 代码编译

mvn clean package -DskipTests