# MuChongSpider

**Repository Path**: hlog/MuChongSpider

## Basic Information

- **Project Name**: MuChongSpider
- **Description**: WebMagic实现的爬虫，使用selenium自动登录小木虫论坛，并破解简单的计算验证，可使用mysql存储爬取到的用户个人信息。不用代理一天可以爬取该网站1万个用户，使用代理可以一天爬取800万个用户信息。
- **Primary Language**: Java
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 7
- **Created**: 2021-07-21
- **Last Updated**: 2021-11-03

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# MuChongSpider
WebMagic实现的爬虫，使用selenium自动登录小木虫论坛，并破解简单的计算验证，可使用mysql存储爬取到的用户个人信息（因为该网站反爬比较变态，在不适用代理的情况下，一天只能爬取1w左右的用户）。