# scrapy-network

**Repository Path**: personal_items/scrapy-network

## Basic Information

- **Project Name**: scrapy-network
- **Description**: Scrapy网络爬虫实战
- **Primary Language**: Python
- **License**: MIT
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2021-11-13
- **Last Updated**: 2021-11-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# scrapy-network

#### 介绍
Scrapy网络爬虫实战

#### 软件架构
1. Python 3.6.8

#### 安装教程

1. 导出项目依赖
```shell script
pip freeze > requirements.txt
```

2. 安装项目依赖
```shell script
pip install -r requirements.txt
```

#### 项目目录介绍
* Chapter02 - 爬虫基础知识
    * demo01.py - urllib发送GET请求
    * demo02.py - urllib发送GET请求有参数
    * demo03.py - urllib发送POST请求
    * demo04.py - requests发送GET请求
    * demo05.py - requests请求超时
    * demo06.py - requests请求设置代理
    * demo07.py - requests会话对象
    * cnBeta - Scrapy抓取cnBeta网站科技类文章
* Chapter04 - Scrapy爬虫
    * quotes - 爬取名人名言
* Chapter05 - Scrapy管道
    * jobbole_articel  - scrapy抓取并存储伯乐在线最新文章
    * downloadimage - scrapy图片管道抓取七点小说网小说简介与封面图片