一个完善的Spark Streaming二次封装开源框架,包含:实时流任务调度、kafka偏移量管理,web后台管理,web api启动、停止spark streaming,宕机告警、自动重启等等功能支持,用户只需要关心业务代码,无需关注繁琐的技术细节,大大提高实时流开发效率和难度(附demo)。
最近更新: 5年多前基于spark流处理,模拟数据,统计数据,分析数据。大致架构:python脚本产生模拟数据(数据源),flume采集数据并且缓存到kafka中存储,接着spark消费并处理kafka中的数据,将结果存放至hbase(底层是hdfs)中。最后将数据进行可视化编程,javaweb项目,使用了springboot框架和echarts。
ES数据导出工具,ES data export tool,elasticsearch data export tool,elasticsearch数据导出,目前已支持全部的6.x的版本,后续跟进更低的版本。
Springboot2.1.1+elasticsearch6.5.3搭建的企业级搜索平台,支持PB级数据(elasticsearch分布式部署),目前已经支持中文分词,检索关键词高亮操作,如果帮到您,麻烦点下Star,谢谢。
Springboot2.1+Solr7.5搭建的企业级搜索平台,项目目前支持文档内容和数据库检索,已经集成分词技术。支持文档内容检索类型包含:pdf、doc、docx、ppt、pptx、txt、log等 数据库已支持MySQL增量自动建立索引,如果帮到您,麻烦点下Star,谢谢。