# CrawlerDemon

**Repository Path**: turbin-private_admin/CrawlerDemon

## Basic Information

- **Project Name**: CrawlerDemon
- **Description**: 垂直应用爬虫，基于akka+okHttp+spring+jsoup ，配置简单，上手容易，支持配置动态参数，动态代理，http自动重试。


当前项目akka spring 管理
 代码参考 https://github.com/sabomichal/akka-java-springfactory   


             

- **Primary Language**: Unknown
- **License**: LGPL-3.0
- **Default Branch**: Crawler
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 72
- **Created**: 2015-09-30
- **Last Updated**: 2020-12-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

#Crawler

1 基于akka 高性能分布式框架
2 使用 spring 配置请求参数
3 自动管理代理地址Ip，http请求重试， 超过重复次数丢弃请求
4 针对任务请求，任务响应实现过滤(需要根据自己业务实现过滤逻辑)
5 配置多数据源存储 抓取数据自由选择入库