大数据互联网公司高并发分布式爬虫系统,简单使用,高级配置。可扩展,减轻开发量,能docker化,适应各种急切需求核心框架:WebMagic, Spring Boot ,MongoDB, ActiveMQ ,Spring + Quartz,Spring Jpa , Druid,Redis, Ehcache ,SLF4J、Log4j2, Bootstrap + Jquary 等,不详细列举了
最近更新: 接近9年前已经实现web界面和ZK集群,直接查看《MySQL-Binlog使用文档.doc》根据指示一步步操作即可。---使用过程中有问题或者bug,请进入官方群: 398822659 : 连接到MySQL数据库,基于Netty框架,实时解析MySQL的二进制日志binlog而非定时查询数据库,提取出用户级感兴趣的事件:INSERT,UPDATE,DELETE,供后续分析如事件抛到大数据系统进行分析。目前支持的事件包括:ROTATE, FORMAT_DESCRIPTION, QUERY,TABLE_MAP, [WRITE_ROWS,EXT_WRITE_ROWS] [UPDATE_ROWS,EXT_UPDATE_ROWS] [DELETE_ROWS,EXT_DELETE_ROWS] XID ROWS_QUERY --- JDK版本:1.8 MySQL版本:【5.6.12,5.6.20、5.6.27、5.7.12】、MariaDB【10.0.16】【5.5.5-10.1.8-MariaDB-log】通过测试,其它版本未进行兼容性测试。
最近更新: 接近9年前用于excel与javaBean转换的orm框架,旨在简化excel读取和写出,使普通开发人员通过几行代码就可以读取或者生成excel文件。另外处理掉excel大数据读写时候的问题
最近更新: 9年前一款Java开发的数据同步软件,支持mysql,sqlserver,oracle之间的数据同步,理论上支持任何jdbc可访问的关系数据库。本软件是由实际项目驱动而开发,之后抽取成为单独项目并开源。 支持定时同步与固定频率同步,全量同步和增量同步,以及分页查询同步。 主要使用技术:spring boot,spring jdbc,cron定时表达式 数据同步策略:全量同步,增量同步
最近更新: 9年前