# ScrapyStudyDemo

**Repository Path**: zhang-tenglong/scrapy-study-demo

## Basic Information

- **Project Name**: ScrapyStudyDemo
- **Description**: 本项目适用新人小白用来学习 Scrapy 分布式爬虫框架。该项目会针对Scrapy 采集流程进行详细描述，包括Pipeline， Middleware等数据处理的实用技巧以及数据库连接封装；针对经典加密网站进行逆向学习分享，项目中涉及到一切有关js逆向, 验证码破解, 以及安卓脱壳等技术内容均用于学习分享,不涉及商业行为，如有雷同纯属巧合，与博主无关。
- **Primary Language**: Python
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2024-06-14
- **Last Updated**: 2024-06-22

## Categories & Tags

**Categories**: Uncategorized

**Tags**: Scrapy, Python, MySQL

## README

# ScrapyStudyDemo

## 介绍
本项目适用新人小白用来学习 Scrapy 分布式爬虫框架。该项目会针对Scrapy 采集流程进行详细描述，包括Pipeline， Middleware等数据处理的实用技巧以及数据库连接封装；针对经典加密网站进行逆向学习分享，项目中涉及到一切有关js逆向, 验证码破解, 以及安卓脱壳等技术内容均用于学习分享,不涉及商业行为，如有雷同纯属巧合，与博主无关。

## 技术栈
Python、Scrapy、MySQL

## 安装教程

1.  <a href="#python_download">安装 Python</a>
2.  <a href="#scrapy_download">安装 Scrapy</a>
3.  <a href="#mysql_download">安装 MySQL</a>

## 使用说明

1.  <a href="#scrapy_init">如何搭建一个 Scrapy 项目</a>

## 更新记录

- 2024.6.14 init project
- 2024.6.16 配置环境, 更新文档
- 2024.6.22 更新项目设置

### <a id="python_download">安装 Python</a>

python 下载地址(window): https://www.python.org/downloads/windows/

根据自己的需求下载指定版本的python, 本项目使用的是 python3.9; 

安装Python时注意更改安装路径, 默认是在C盘下; 不会安装和配置环境变量的小伙伴可以参考一下网上的安装教程。

安装完成后, 进入 `cmd` 输入 `python` 看到下图界面表示安装成功
<img src="./img/python_01.png">

输入 `python --version` 查看版本号
<img src="./img/python_02.png">

### <a id="scrapy_download">安装 Scrapy </a>

Scrapy 安装命令 `pip install scrapy`

<img src="./img/Scrapy_01.png">

看到下图界面则表示安装成功

<img src="./img/Scrapy_02.png">

查看 Scrapy 版本 `scrapy version`

<img src="./img/Scrapy_03.png">

### <a id="mysql_download">安装 MySQL</a>

MySQL 下载地址: https://dev.mysql.com/downloads/installer/

点击 `download` 下载即可
<img src="./img/mysql_01.png">

这边会提示我们登录,我们选择无视登录直接下载
<img src="./img/mysql_02.png">

打开 MySQL 安装程序, 选择自定义安装
<img src="./img/mysql_03.png">

选择我们需要安装的服务, 点击箭头; MySQL 的默认安装目录是C盘, 点击下面的 `Advanced Options` 按钮更改安装路径
<img src="./img/mysql_04.png">
<img src="./img/mysql_05.png">

我这里选择安装到E盘目录下, 这边会提示目录已存在, 忽略它。
<img src="./img/mysql_06.png">

进入下一步, 这边的每个设置默认即可, 不要更改
<img src="./img/mysql_07.png">

进入下一步选择默认配置就好, 一直到设置你的 MySQL Root 用户密码这一步, 可以设置简单一些方便记忆
<img src="./img/mysql_08.png">

这里我们把服务名称改为 MySQL 方便启动服务
<img src="./img/mysql_09.png">

这边我们选择最后一个选项
<img src="./img/mysql_10.png">

最后我们安装好, 点击 `finish` 结束安装
<img src="./img/mysql_11.png">

设置环境变量, 复制我们刚安装好的 MySQL bin 目录
<img src="./img/mysql_12.png">
<img src="./img/mysql_13.png">

设置好环境变量后打开 cmd, 输入 `mysql --version` 查看 MySQL 版本号, 
输入 `mysql -uroot -p`, 接着输入刚才设置的 Root 用户密码, 进入 MySQL
<img src="./img/mysql_14.png">

### <a id='scrapy_init'>如何搭建一个 Scrapy 项目</a>

打开 cmd, 输入 `scrapy startproject project_name` (project_name: 你的项目名称, 项目名称不允许使用数字开头, 也不能包含中文)

注意: cmd 打开默认是在 C:\Users\... 这个目录下, 自行切换到对应的文件下。

<img src="./img/Scrapy_04.png">