# scrapy-demo

**Repository Path**: web6pace/scrapy-demo

## Basic Information

- **Project Name**: scrapy-demo
- **Description**: 爬取试题demo
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 4
- **Created**: 2014-12-09
- **Last Updated**: 2020-12-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# scrapy-demo是什么？

scrapy-demo是针对[某试题网站](http://www.jyeoo.com/)的单机版爬虫，
其基于[开源爬虫框架scrapy](https://scrapy-chs.readthedocs.org/zh_CN/0.22/)而实现。


# 核心模块

- 爬取策略模块
    - 初始化url构造
    - 目标url构造
    
- 解析模块
    - 选择题解析
    - 填空题解析
    - 解答题解析
 
- 模拟登陆模块


# 如何使用？

1. 搭建scrapy环境

2. 运行scrapy crawl alpha