# Bigdata

**Repository Path**: wenfengSAT/Bigdata

## Basic Information

- **Project Name**: Bigdata
- **Description**: 大数据处理相关技术学习之路(持续更新中...)。        Bigdata整理  -->  慢慢滴~ 大数据相关技术包括离线处理，实时处理，OLAP等，如hadoop、spark、flink、hive、hbase、oozie...以及大数据项目，如用户画像、数据仓库等，欢迎感兴趣的小伙伴一起来开发...
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 6
- **Created**: 2024-08-09
- **Last Updated**: 2024-09-10

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

#### 大数据分析处理相关框架
    常用的大数据相关处理技术框架

## 1、Hadoop
    Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
* [1.1、Hadoop学习入口](bigdata-hadoop)  
* [1.2、MapReduce相关API操作](bigdata-hadoop/src/main/java/com/libin/api/mapreduce)  
* [1.3、HDFS相关API操作](bigdata-hadoop/src/main/java/com/libin/api/hdfs) 
* [1.4、YARN资源调度器](bigdata-hadoop/src/main/java/com/libin/doc/yarn) 
    
## 2、Spark
    Spark是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序
* [Spark-Core](spark-core)  
* [Spark-Streaming](bigdata-spark-streaming)  
* [Spark-Sql](bigdata-spark-sql)  
* [Spark-GraphX](spark-graphx)  
* [Spark-MLlib](spark-mllib)  

## 3、Flink
    Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。
    Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。
* [Flink](bigdata-flink)  

## 4、Hadoop生态圈一些其它技术框架
* [Hive](bigdata-hive/README.md)  
* [Hbase](bigdata-hbase/README.md)  
* [Kafka](bigdata-kafka/README.md)  
* [Doris](bigdata-doris/README.md)  
* [Druid](bigdata-druid/README.md)  
* [Talos](bigdata-info/src/main/java/com/libin/talos/README.md) 
* [Pegasus](bigdata-info/src/main/java/com/libin/pegasus/README.md) 
* [Griffin](bigdata-info/src/main/java/com/libin/griffin/README.md)
* [ElasticSearch](bigdata-info/src/main/java/com/libin/elasticsearch/README.md)
* [Oozie](bigdata-info/src/main/java/com/libin/oozie/README.md)  

## 5、大数据相关技能前奏
* [Scala]()  
* [Java]()  
* [SQL]()  
* [Maven]()  
* [Git]()  
* [Linux Shell]()  
* [大数据算法]()  
* [大数据相关计算机理论知识]()  
* [大数据产品技能]()  
* [大数据应用场景]()  
* [大数据相关硬件知识]()  

## 6、大数据一些相关项目
* [用户画像](bigdata-project/src/main/java/userProfile/readme.md)  
* [Id-Mapping](bigdata-project/src/main/java/idmapping/readme.md)  
* [数据仓库](bigdata-project/src/main/java/dataWarehouse/readme.md)  
* [实时仓库](bigdata-project/src/main/java/realTimeWarehouse/readme.md)  
* [特征系统](bigdata-project/src/main/java/featureEngineering/readme.md)  

## 7、数据相关知识点
* [数据产生]()  
* [数据收集]()
* [数据压缩]()
* [数据加解密]()
* [数据计算处理]()
* [数据存储]()
* [数据延迟]()
* [数据质量]()
* [数据治理]()
* [数据监控]()
* [数据可视化]()
* [数据字典]()
* [数据血缘]()      
* [数据分析]()      
* [数据建模]()      
* [数据集市]()       
* [数据仓库]()           

## 8、大数据学习相关资料
#####  8.1、大数据学习网站
* [Apache官网](http://www.apache.org/)
* [DataFunTalk知乎](https://www.zhihu.com/org/datafuntalk/posts)
* [美团大数据](https://tech.meituan.com/tags/%E5%A4%A7%E6%95%B0%E6%8D%AE.html)
* [InfoQ大数据](https://www.infoq.cn/topic/bigdata)

##### 8.2、大数据学习书籍       
* [Hadoop权威指南]()       
* [Hadoop技术内幕（3本）]()       
* [Hadoop实战]()

##### 8.3、大数据论文
* [The Google File System (HDFS)]()
* [BigTable (HBase)]()
* [MapReduce]()
* [Spark]()