闲来无事,使用Processing作为开发平台开发了简易温度采集上位机,实现动态更新曲线。并使用Socket助手,模拟Socket通信,当然也可以改为串口通信啦,后期再改了传上来。目前手头上没有下位机硬件,所以用软件模拟了数据发送。
最近更新: 5年多前一个完善的Spark Streaming二次封装开源框架,包含:实时流任务调度、kafka偏移量管理,web后台管理,web api启动、停止spark streaming,宕机告警、自动重启等等功能支持,用户只需要关心业务代码,无需关注繁琐的技术细节,大大提高实时流开发效率和难度(附demo)。
最近更新: 5年多前从Json配置里面读取并创建Spark任务并生成DAG流程图,不用再根据不同的需求,开发不同的Spark程序。 目前支持的业务有,指定HDFS文件目录,过滤行,过滤列。Join操作,Union操作,Group分组汇聚操作(max,min,count,sum,avg)。 可自定义输出目录和文件格式。
最近更新: 7年前