一起学习hadoop生态圈下常用大数据组件 已有 Flink Kafka Hbase Scala Solr ES Kerberos (项目包含hadoop思维导图 印象笔记 Scala版本简单demo 工具类 持续更新!!!)
大数据实践项目 Hadoop、Spark、Kafka、Hbase、Flink.....
使用Flink开发的实时ETL,数据从MySQL到Greenplum。使用canal解析MySQL的binlog,投放进kafka,使用Flink消费kafka并把数据组装进Greenplum,后续将会添加更多的数据源和目标源。
基于 kafka, Angular, Spring Boot, Flink, Elasticsearch, Kibana, Docker, Kubernetes的在线实时全球推特话题热度趋势图
实时数仓的一些数据处理(mysql、canal、kafka、flink、hbase、kudu等等),以及一堆Flink的练习
:whale:基于 Flink 的商品实时推荐系统。使用了 redis 缓存热点数据。当用户产生评分行为时,数据由 kafka 发送到 flink,根据用户历史评分行为进行实时和离线推荐。实时推荐包括:基于行为和实时热门,离线推荐包括:历史热门、历史优质商品和 itemcf 。
项目名称: 电商指标分析 开发语言: Java、scala 开发框架: Spring Boot、Hadoop、HBase、Kafka、Flink、Canal 子模块: 上报服务系统、实时分析系统、数据库同步系统、实时同步系统、离线分析系统
采用Nginx+Flume+kafka实现日志收集,Flink进行实时流处理。兼容神策埋点SDK、友盟埋点SDK和其他终端埋点包,完整产品模块包括用户行为分析、用户画像、智能营销和智能推荐。