# GuaZi_Spider

**Repository Path**: bbzhengcheng/GuaZi_Spider

## Basic Information

- **Project Name**: GuaZi_Spider
- **Description**: GuaZi_Spider 瓜子二手车 scrapy 爬虫，突破瓜子网反爬实践。
- **Primary Language**: Python
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 9
- **Created**: 2019-09-11
- **Last Updated**: 2020-12-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# GuaZi_Spider 瓜子二手车 scrapy 爬虫，突破瓜子网反爬实践。

#### 介绍
本项目在python3.6环境开发，代码中包含常见的几种方式的爬虫实现：
- [x] Spider 方式
- [x] CrawlSpider 方式
- [x] scrapy + selenium 方式
- [x] RedisSpider 分布式
- [x] RedisCrawlSpider 方式

#### 使用说明

1. Git Clone 项目
2. PyCharm 打开项目，设置 GuaZi_Spider Sources Root
3. 若爆红目录或文件，先安装未安装的包
4. 查看 Program.py 介绍，使用哪一种方式运行，就把其他方式注释掉。

#### 注意
1. 瓜子网的反爬机制分析见 spiders guazi.py。
2. mysql、redis 连接地址见 utils settings。
3. 代理IP, 使用的是[代理精灵](http://http.zhiliandaili.com)，自己调试运行时，请修改 utils proxy_helper.py 中的链接地址。

#### 交流群
- QQ交流群：[![加入QQ群](https://img.shields.io/badge/QQ群-132941648-blue.svg)](http://shang.qq.com/wpa/qunwpa?idkey=43619cbe3b2a10ded01b5354ac6928b30cc91bda45176f89a191796b7a7c0e26) ，推荐点击按钮入群，当然如果无法成功操作，请自行搜索群号132941648进行添加 ），欢迎入群交流！