# Python爬虫 **Repository Path**: da_c/python-crawler ## Basic Information - **Project Name**: Python爬虫 - **Description**: No description available - **Primary Language**: Unknown - **License**: Not specified - **Default Branch**: master - **Homepage**: None - **GVP Project**: No ## Statistics - **Stars**: 0 - **Forks**: 0 - **Created**: 2021-12-27 - **Last Updated**: 2021-12-27 ## Categories & Tags **Categories**: Uncategorized **Tags**: None ## README # 网络爬虫实践 ## 一、安装环境/工具 ### 1. 前期准备 * Python/VsCode:[https://www.cnblogs.com/xiaojwang/p/11331202.html](https://www.cnblogs.com/xiaojwang/p/11331202.html) ### 2. 基本流程 ### * 模拟请求 ### * 数据整理 ### * 数据保存 ### 3. 基础知识 ### * 模拟请求-http请求原理、Python基础语法、Requests使用 ### * 数据整理-前端html、Json格式 ### * 数据保存-数据库 ## 二、http/https ### 1\. 基础概念篇 #### 1.1 介绍 HTTP是Hyper Text Transfer Protocol（超文本传输协议）的缩写。它的发展是万维网协会（World Wide Web Consortium）和Internet工作小组IETF（Internet Engineering Task Force）合作的结果，（他们）最终发布了一系列的RFC，RFC 1945定义了HTTP/1.0版本。其中最著名的就是RFC 2616。RFC 2616定义了今天普遍使用的一个版本——HTTP 1.1。 HTTP协议（HyperText Transfer Protocol，超文本传输协议）是用于从WWW服务器传输超文本到本地浏览器的传送协议。它可以使浏览器更加高效，使网络传输减少。它不仅保证计算机正确快速地传输超文本文档，还确定传输文档中的哪一部分，以及哪部分内容首先显示(如文本先于图形)等。 HTTP是一个应用层协议，由请求和响应构成，是一个标准的客户端服务器模型。HTTP是一个无状态的协议。 #### 1.2 在TCP/IP协议栈中的位置 HTTP协议通常承载于TCP协议之上，有时也承载于TLS或SSL协议层之上，这个时候，就成了我们常说的HTTPS。如下图所示： ![image](images/0.058116895257764374.png) 默认HTTP的端口号为80，HTTPS的端口号为443 #### 1.3 HTTP的请求响应模型 HTTP协议永远都是客户端发起请求，服务器回送响应。见下图： ![image](images/0.38118928438811117.png) 这样就限制了使用HTTP协议，无法实现在客户端没有发起请求的时候，服务器将消息推送给客户端。 HTTP协议是一个无状态的协议，同一个客户端的这次请求和上次请求是没有对应关系。 #### 1.4 工作流程 一次HTTP操作称为一个事务，其工作过程可分为四步： 1）首先客户机与服务器需要建立连接。只要单击某个超级链接，HTTP的工作开始。 2）建立连接后，客户机发送一个请求给服务器，请求方式的格式为：统一资源标识符（URL）、协议版本号，后边是MIME信息包括请求修饰符、客户机信息和可能的内容。 3）服务器接到请求后，给予相应的响应信息，其格式为一个状态行，包括信息的协议版本号、一个成功或错误的代码，后边是MIME信息包括服务器信息、实体信息和可能的内容。 4）客户端接收服务器所返回的信息通过浏览器显示在用户的显示屏上，然后客户机与服务器断开连接。 如果在以上过程中的某一步出现错误，那么产生错误的信息将返回到客户端，有显示屏输出。对于用户来说，这些过程是由HTTP自己完成的，用户只要用鼠标点击，等待信息显示就可以了。 ### 2\. 协议详解篇 #### 2.1 状态响应码 状态响应码100 (Continue) 状态代码的使用，允许客户端在发request消息body之前先用request header试探一下server，看server要不要接收request body，再决定要不要发request body。 客户端在Request头部中包含 **10X：请求收到，继续处理** 100——客户必须继续发出请求 101——客户要求服务器根据请求转换HTTP协议版本 **20X：操作成功收到，分析、接受** 200——交易成功 201——提示知道新文件的URL 202——接受和处理、但处理未完成 203——返回信息不确定或不完整 204——请求收到，但返回信息为空 205——服务器完成了请求，用户代理必须复位当前已经浏览过的文件 206——服务器已经完成了部分用户的GET请求 **30X：完成此请求必须进一步处理** 300——请求的资源可在多处得到 301——删除请求数据 302——在其他地址发现了请求数据 303——建议客户访问其他URL或访问方式 304——客户端已经执行了GET，但文件未变化 305——请求的资源必须从服务器指定的地址得到 306——前一版本HTTP中使用的代码，现行版本中不再使用 307——申明请求的资源临时性删除 **40X：请求包含一个错误语法或不能完成** 400——错误请求，如语法错误 401——未授权 HTTP 401.1 - 未授权：登录失败 　　HTTP 401.2 - 未授权：服务器配置问题导致登录失败 　　HTTP 401.3 - ACL 禁止访问资源 　　HTTP 401.4 - 未授权：授权被筛选器拒绝 HTTP 401.5 - 未授权：ISAPI 或 CGI 授权失败 402——保留有效ChargeTo头响应 403——禁止访问 HTTP 403.1 禁止访问：禁止可执行访问 　　HTTP 403.2 - 禁止访问：禁止读访问 　　HTTP 403.3 - 禁止访问：禁止写访问 　　HTTP 403.4 - 禁止访问：要求 SSL 　　HTTP 403.5 - 禁止访问：要求 SSL 128 　　HTTP 403.6 - 禁止访问：IP 地址被拒绝 　　HTTP 403.7 - 禁止访问：要求客户证书 　　HTTP 403.8 - 禁止访问：禁止站点访问 　　HTTP 403.9 - 禁止访问：连接的用户过多 　　HTTP 403.10 - 禁止访问：配置无效 　　HTTP 403.11 - 禁止访问：密码更改 　　HTTP 403.12 - 禁止访问：映射器拒绝访问 　　HTTP 403.13 - 禁止访问：客户证书已被吊销 　　HTTP 403.15 - 禁止访问：客户访问许可过多 　　HTTP 403.16 - 禁止访问：客户证书不可信或者无效 HTTP 403.17 - 禁止访问：客户证书已经到期或者尚未生效 404——没有发现文件、查询或URl 405——用户在Request-Line字段定义的方法不允许 406——根据用户发送的Accept拖，请求资源不可访问 407——类似401，用户必须首先在代理服务器上得到授权 408——客户端没有在用户指定的饿时间内完成请求 409——对当前资源状态，请求不能完成 410——服务器上不再有此资源且无进一步的参考地址 411——服务器拒绝用户定义的Content-Length属性请求 412——一个或多个请求头字段在当前请求中错误 413——请求的资源大于服务器允许的大小 414——请求的资源URL长于服务器允许的长度 415——请求资源不支持请求项目格式 416——请求中包含Range请求头字段，在当前请求资源范围内没有range指示值，请求也不包含If-Range请求头字段 417——服务器不满足请求Expect头字段指定的期望值，如果是代理服务器，可能是下一级服务器不能满足请求长。 **50X：服务器执行一个完全有效请求失败** 　　HTTP 500 - 内部服务器错误 　　HTTP 500.100 - 内部服务器错误 - ASP 错误 　　HTTP 500-11 服务器关闭 　　HTTP 500-12 应用程序重新启动 　　HTTP 500-13 - 服务器太忙 　　HTTP 500-14 - 应用程序无效 　　HTTP 500-15 - 不允许请求 global.asa 　　Error 501 - 未实现 HTTP 502 - 网关错误 #### 2.2 请求方式 HTTP1.1增加了OPTIONS, PUT, DELETE, TRACE, CONNECT这些Request方法. Method = "OPTIONS" ; Section 9.2 | "GET" ; Section 9.3 | "HEAD" ; Section 9.4 | "POST" ; Section 9.5 | "PUT" ; Section 9.6 | "DELETE" ; Section 9.7 | "TRACE" ; Section 9.8 | "CONNECT" ; Section 9.9 | extension-method extension-method = token #### #### 2.4 常用的请求方式 ```Plain Text 常用的请求方式是GET和POST. ``` l GET方式：是以实体的方式得到由请求URI所指定资源的信息，如果请求URI只是一个数据产生过程，那么最终要在响应实体中返回的是处理过程的结果所指向的资源，而不是处理过程的描述。 l POST方式：用来向目的服务器发出请求，要求它接受被附在请求后的实体，并把它当作请求队列中请求URI所指定资源的附加新子项，Post被设计成用统一的方法实现下列功能： 1：对现有资源的解释； 2：向电子公告栏、新闻组、邮件列表或类似讨论组发信息； 3：提交数据块； 4：通过附加操作来扩展数据库 。 从上面描述可以看出，Get是向服务器发索取数据的一种请求；而Post是向服务器提交数据的一种请求，要提交的数据位于信息头后面的实体中。 GET与POST方法有以下区别： （1） 在客户端，Get方式在通过URL提交数据，数据在URL中可以看到；POST方式，数据放置在HTML HEADER内提交。 （2） GET方式提交的数据最多只能有1024字节，而POST则没有此限制。 （3） 安全性问题。正如在（1）中提到，使用 Get 的时候，参数会显示在地址栏上，而 Post 不会。所以，如果这些数据是中文数据而且是非敏感数据，那么使用 get；如果用户输入的数据不是中文字符而且包含敏感数据，那么还是使用 post为好。 （4） 安全的和幂等的。所谓安全的意味着该操作用于获取信息而非修改信息。幂等的意味着对同一 URL 的多个请求应该返回同样的结果。完整的定义并不像看起来那样严格。换句话说，GET 请求一般不应产生副作用。从根本上讲，其目标是当用户打开一个链接时，她可以确信从自身的角度来看没有改变资源。比如，新闻站点的头版不断更新。虽然第二次请求会返回不同的一批新闻，该操作仍然被认为是安全的和幂等的，因为它总是返回当前的新闻。反之亦然。POST 请求就不那么轻松了。POST 表示可能改变服务器上的资源的请求。仍然以新闻站点为例，读者对文章的注解应该通过 POST 请求实现，因为在注解提交之后站点已经不同了（比方说文章下面出现一条注解）。 #### 2.5 请求头 HTTP最常见的请求头如下： l Accept：浏览器可接受的MIME类型； l Accept-Charset：浏览器可接受的字符集； l Accept-Encoding：浏览器能够进行解码的数据编码方式，比如gzip。Servlet能够向支持gzip的浏览器返回经gzip编码的HTML页面。许多情形下这可以减少5到10倍的下载时间； l Accept-Language：浏览器所希望的语言种类，当服务器能够提供一种以上的语言版本时要用到； l Authorization：授权信息，通常出现在对服务器发送的WWW-Authenticate头的应答中； l Connection：表示是否需要持久连接。如果Servlet看到这里的值为“Keep-Alive”，或者看到请求使用的是HTTP 1.1（HTTP 1.1默认进行持久连接），它就可以利用持久连接的优点，当页面包含多个元素时（例如Applet，图片），显著地减少下载所需要的时间。要实现这一点，Servlet需要在应答中发送一个Content-Length头，最简单的实现方法是：先把内容写入ByteArrayOutputStream，然后在正式写出内容之前计算它的大小； l Content-Length：表示请求消息正文的长度； l Cookie：这是最重要的请求头信息之一； l From：请求发送者的email地址，由一些特殊的Web客户程序使用，浏览器不会用到它； l Host：初始URL中的主机和端口； l If-Modified-Since：只有当所请求的内容在指定的日期之后又经过修改才返回它，否则返回304“Not Modified”应答； l Pragma：指定“no-cache”值表示服务器必须返回一个刷新后的文档，即使它是代理服务器而且已经有了页面的本地拷贝； l Referer：包含一个URL，用户从该URL代表的页面出发访问当前请求的页面。 l User-Agent：浏览器类型，如果Servlet返回的内容与浏览器类型有关则该值非常有用； l UA-Pixels，UA-Color，UA-OS，UA-CPU：由某些版本的IE浏览器所发送的非标准的请求头，表示屏幕大小、颜色深度、操作系统和CPU类型。 ### 3\. 深入了解篇 #### 3.1 Cookie和Session Cookie和Session都为了用来保存状态信息，都是保存客户端状态的机制，它们都是为了解决HTTP无状态的问题而所做的努力。 Session可以用Cookie来实现，也可以用URL回写的机制来实现。用Cookie来实现的Session可以认为是对Cookie更高级的应用。 3.1.1两者比较 Cookie和Session有以下明显的不同点： 1）Cookie将状态保存在客户端，Session将状态保存在服务器端； 2）Cookies是服务器在本地机器上存储的小段文本并随每一个请求发送至同一个服务器。Cookie最早在RFC2109中实现，后续RFC2965做了增强。网络服务器用HTTP头向客户端发送cookies，在客户终端，浏览器解析这些cookies并将它们保存为一个本地文件，它会自动将同一服务器的任何请求缚上这些cookies。Session并没有在HTTP的协议中定义； 3）Session是针对每一个用户的，变量的值保存在服务器上，用一个sessionID来区分是哪个用户session变量,这个值是通过用户的浏览器在访问的时候返回给服务器，当客户禁用cookie时，这个值也可能设置为由get来返回给服务器； 4）就安全性来说：当你访问一个使用session 的站点，同时在自己机子上建立一个cookie，建议在服务器端的SESSION机制更安全些.因为它不会任意读取客户存储的信息。 3.1.2 Session机制 Session机制是一种服务器端的机制，服务器使用一种类似于散列表的结构（也可能就是使用散列表）来保存信息。 当程序需要为某个客户端的请求创建一个session的时候，服务器首先检查这个客户端的请求里是否已包含了一个session标识 - 称为 session id，如果已包含一个session id则说明以前已经为此客户端创建过session，服务器就按照session id把这个 session检索出来使用（如果检索不到，可能会新建一个），如果客户端请求不包含session id，则为此客户端创建一个session并且生成一个与此session相关联的session id，session id的值应该是一个既不会重复，又不容易被找到规律以仿造的字符串，这个 session id将被在本次响应中返回给客户端保存。 3.1.6 Session的实现方式 3.1.6.1 使用Cookie来实现 服务器给每个Session分配一个唯一的JSESSIONID，并通过Cookie发送给客户端。 当客户端发起新的请求的时候，将在Cookie头中携带这个JSESSIONID。这样服务器能够找到这个客户端对应的Session。 流程如下图所示： ![image](images/0.4620612347525132.png) 3.1.6.2 使用URL回显来实现 URL回写是指服务器在发送给浏览器页面的所有链接中都携带JSESSIONID的参数，这样客户端点击任何一个链接都会把JSESSIONID带会服务器。 如果直接在浏览器输入服务端资源的url来请求该资源，那么Session是匹配不到的。 Tomcat对Session的实现，是一开始同时使用Cookie和URL回写机制，如果发现客户端支持Cookie，就继续使用Cookie，停止使用URL回写。如果发现Cookie被禁用，就一直使用URL回写。jsp开发处理到Session的时候，对页面中的链接记得使用response.encodeURL() 。 3.1.5Cookie的流程 服务器在响应消息中用Set-Cookie头将Cookie的内容回送给客户端，客户端在新的请求中将相同的内容携带在Cookie头中发送给服务器。从而实现会话的保持。 流程如下图所示： ![image](images/0.940223445765597.png) #### 3.2 缓存的实现原理 3.2.1什么是Web缓存 WEB缓存(cache)位于Web服务器和客户端之间。 缓存会根据请求保存输出内容的副本，例如html页面，图片，文件，当下一个请求来到的时候：如果是相同的URL，缓存直接使用副本响应访问请求，而不是向源服务器再次发送请求。 HTTP协议定义了相关的消息头来使WEB缓存尽可能好的工作。 3.2.2缓存的优点 q 减少相应延迟：因为请求从缓存服务器（离客户端更近）而不是源服务器被相应，这个过程耗时更少，让web服务器看上去相应更快。 q 减少网络带宽消耗：当副本被重用时会减低客户端的带宽消耗；客户可以节省带宽费用，控制带宽的需求的增长并更易于管理。 3.2.3与缓存相关的HTTP扩展消息头 q Expires：指示响应内容过期的时间，格林威治时间GMT q Cache-Control：更细致的控制缓存的内容 q Last-Modified：响应中资源最后一次修改的时间 q ETag：响应中资源的校验值，在服务器上某个时段是唯一标识的。 q Date：服务器的时间 q If-Modified-Since：客户端存取的该资源最后一次修改的时间，同Last-Modified。 q If-None-Match：客户端存取的该资源的检验值，同ETag。 3.2.4客户端缓存生效的常见流程 服务器收到请求时，会在200OK中回送该资源的Last-Modified和ETag头，客户端将该资源保存在cache中，并记录这两个属性。当客户端需要发送相同的请求时，会在请求中携带If-Modified-Since和If-None-Match两个头。两个头的值分别是响应中Last-Modified和ETag头的值。服务器通过这两个头判断本地资源未发生变化，客户端不需要重新下载，返回304响应。常见流程如下图所示： ![image](images/0.4124124182952224.png) 3.2.5 Web缓存机制 HTTP/1.1中缓存的目的是为了在很多情况下减少发送请求，同时在许多情况下可以不需要发送完整响应。前者减少了网络回路的数量；HTTP利用一个“过期（expiration）”机制来为此目的。后者减少了网络应用的带宽；HTTP用“验证（validation）”机制来为此目的。 HTTP定义了3种缓存机制： 1）Freshness：允许一个回应消息可以在源服务器不被重新检查，并且可以由服务器和客户端来控制。例如，Expires回应头给了一个文档不可用的时间。Cache-Control中的max-age标识指明了缓存的最长时间； 2）Validation：用来检查以一个缓存的回应是否仍然可用。例如，如果一个回应有一个Last-Modified回应头，缓存能够使用If-Modified-Since来判断是否已改变，以便判断根据情况发送请求； 3）Invalidation： 在另一个请求通过缓存的时候，常常有一个副作用。例如，如果一个URL关联到一个缓存回应，但是其后跟着POST、PUT和DELETE的请求的话，缓存就会过期。 #### 3.3 断点续传和多线程下载的实现原理 q HTTP协议的GET方法，支持只请求某个资源的某一部分； q 206 Partial Content 部分内容响应； q Range 请求的资源范围； q Content-Range 响应的资源范围； q 在连接断开重连时，客户端只请求该资源未下载的部分，而不是重新请求整个资源，来实现断点续传。 分块请求资源实例： Eg1：Range: bytes=306302- ：请求这个资源从306302个字节到末尾的部分； Eg2：Content-Range: bytes 306302-604047/604048：响应中指示携带的是该资源的第306302-604047的字节，该资源共604048个字节； 客户端通过并发的请求相同资源的不同片段，来实现对某个资源的并发分块下载。从而达到快速下载的目的。目前流行的FlashGet和迅雷基本都是这个原理。 多线程下载的原理： q 下载工具开启多个发出HTTP请求的线程； q 每个http请求只请求资源文件的一部分：Content-Range: bytes 20000-40000/47000； q 合并每个线程下载的文件。 #### 3.4 https通信过程 3.4.1什么是https HTTPS（全称：Hypertext Transfer Protocol over Secure Socket Layer），是以安全为目标的HTTP通道，简单讲是HTTP的安全版。即HTTP下加入SSL层，HTTPS的安全基础是SSL，因此加密的详细内容请看SSL。 见下图： ![image](images/0.6848126107357041.png) https所用的端口号是443。 3.4.2 https的实现原理 有两种基本的加解密算法类型： 1）对称加密：密钥只有一个，加密解密为同一个密码，且加解密速度快，典型的对称加密算法有DES、AES等； 2）非对称加密：密钥成对出现（且根据公钥无法推知私钥，根据私钥也无法推知公钥），加密解密使用不同密钥（公钥加密需要私钥解密，私钥加密需要公钥解密），相对对称加密速度较慢，典型的非对称加密算法有RSA、DSA等。 下面看一下https的通信过程： ![image](images/0.35506696352417166.png) https通信的优点： 1）客户端产生的密钥只有客户端和服务器端能得到； 2）加密的数据只有客户端和服务器端才能得到明文； 3）客户端到服务端的通信是安全的。 ## 三、工具使用/代码实践 ### 3.1、fidder、postman的介绍和使用 #### Fidder介绍 Fiddler是位于客户端和服务器端的HTTP代理，也是目前最常用的http抓包工具之一 。 它能够记录客户端和服务器之间的所有 HTTP请求，可以针对特定的HTTP请求，分析请求数据、设置断点、调试web应用、修改请求的数据，甚至可以修改服务器返回的数据，功能非常强大，是web调试的利器。 #### postman介绍 Postman是一个接口测试工具,在做接口测试的时候,Postman相当于一个客户端,它可以模拟用户发起的各类HTTP请求,将请求数据发送至服务端,获取对应的响应结果, 从而验证响应中的结果数据是否和预期值相匹配;并确保开发人员能够及时处理接口中的bug,进而保证产品上线之后的稳定性和安全性。 它主要是用来模拟各种HTTP请求的(如:get/post/delete/put..等等),Postman与浏览器的区别在于有的浏览器不能输出Json格式,而Postman更直观接口返回的结果。 ### 3.2、python基本语法 https://www.runoob.com/python/python-tutorial.html ### 3.3、python爬虫实践 #### 网页爬虫 1）安装BeautifulSoup4 [Beautiful Soup](https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/) 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式. ```python pip install BeautifulSoup4 ``` 2) 安装requsts [Requests](https://zhuanlan.zhihu.com/p/137649301) 是⽤Python语⾔编写，基于urllib，采⽤Apache2 Licensed开源协议的 HTTP 库。它⽐ urllib 更加⽅便，可以节约我们⼤量的⼯作，完全满⾜HTTP测试需求。 3）Json解析库 用于解析Post请求回来的Json，清洗数据 ## 四、扩展 ### 4.1 Anaconda介绍 1）Anaconda 附带了一大批常用数据科学包，它附带了 conda、Python 和 150 多个科学包及其依赖项。因此你可以立即开始处理数据。 2）管理包 Anaconda 是在 conda（一个包管理器和环境管理器）上发展出来的。 在数据分析中，你会用到很多第三方的包，而conda（包管理器）可以很好的帮助你在计算机上安装和管理这些包，包括安装、卸载和更新包。 3）管理环境 为什么需要管理环境呢？ 比如你在A项目中用了 Python 2，而新的项目B老大要求使用Python 3，而同时安装两个Python版本可能会造成许多混乱和错误。这时候 conda就可以帮助你为不同的项目建立不同的运行环境。 还有很多项目使用的包版本不同，比如不同的pandas版本，不可能同时安装两个 Numpy 版本，你要做的应该是，为每个 Numpy 版本创建一个环境，然后项目的对应环境中工作。这时候conda就可以帮你做到。 ### 4.2 Jupyter Notebook介绍 Jupyter Notebook是一个开源的web应用程序,一个交互式笔记本，支持运行 40 多种编程语言。它允许您创建和共享文档,包含代码,方程,可视化和叙事文本。用途包括:数据清洗和转换,数值模拟,统计建模、数据可视化、机器学习等等。支持以网页的形式分享，GitHub 中天然支持 Notebook 展示，也可以通过 nbviewer 分享你的文档。当然也支持导出成 HTML、Markdown 、PDF 等多种格式的文档。不仅可以输出图片、视频、数学公式，甚至可以呈现一些互动的可视化内容，比如可以缩放的地图或者是可以旋转的三维模型。