实战多种网站、电商数据爬虫。包含：淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:
打通了多个计算存储引擎如：Spark、TiSpark、Hive、Python和HBase等，对外提供统一REST/WebSocket/JDBC接口，提交执行SQL、Pyspark、HiveQL、Scala等脚本的计算中间件。
将平常开发中非常常用的功能做成轮子，减少开发时间，让开发者拥有更多的时间能够处理其他事情，如果本项目给你提供了帮助，请给予支持(star一下，或者推荐给你的朋友)！
最近更新: 2年多前开源java区块链平台，可做联盟链、私链使用，不适用于公链。各节点已知IP，维持长连接。共识机制采用PBFT。无虚拟货币，可用于存储各种类型的数据，无需挖矿。不仅仅可以用来做账本，还可以做各种定制化的存储需求。理念来自于腾讯的trustsql。加密、公钥私钥、网络模块、存储模块等。
