# learn_python3_spider **Repository Path**: bxqtee/learn_python3_spider ## Basic Information - **Project Name**: learn_python3_spider - **Description**: python爬虫教程系列、从0到1学习python爬虫，包括浏览器抓包，手机APP抓包，如 fiddler、mitmproxy，各种爬虫涉及的模块的使用，如：requests、beautifulSoup、selenium、appium、scrapy等，以及IP代理，验证码识别，Mysql，MongoDB数据库的python使用，多线程多进程爬虫的使用，css 爬虫加密逆向破解，JS爬虫逆向，爬虫项目实战实例等 - **Primary Language**: Python - **License**: MIT - **Default Branch**: master - **Homepage**: None - **GVP Project**: No ## Statistics - **Stars**: 12 - **Forks**: 7 - **Created**: 2019-08-16 - **Last Updated**: 2024-08-20 ## Categories & Tags **Categories**: Uncategorized **Tags**: None ## README # learn_python3_spider 接下来就是，学习python的正确姿势！ peace. # python爬虫教程从0到1 ## python爬虫前，抓包 - [python爬虫系列教程00 | 什么是爬虫，怎么玩爬虫？](https://mp.weixin.qq.com/s/XJ4Jb5KU0Mf0PIeiSpdC7Q) - [python爬虫系列教程01 | 教你在 Chrome 浏览器轻松抓包](https://mp.weixin.qq.com/s/aqOuCZKxpEW2_P2fkfWReg) - [python爬虫系列教程02 | 教你通过 Fiddler 进行手机抓包？](https://mp.weixin.qq.com/s/NGOUtPIW8n1whOYwR-LQYA) ## python爬虫库的使用 - [python爬虫系列教程03 | 那个叫做 Urllib 的库让我们的 python 假装是浏览器](https://mp.weixin.qq.com/s/rJ8bt4HjYU36MrsDejHLZA) - [python爬虫系列教程04 | 长江后浪推前浪，Reuqests库把urllib库拍在沙滩上](https://mp.weixin.qq.com/s/dYtF8ydJtqub0QkK1cGVjA) - [python爬虫系列教程05 | 年轻人，不会正则表达式你睡得着觉？有点出息没有？](https://mp.weixin.qq.com/s/t4hXKK-pjA8rIVmJuiyQcw) - [python爬虫系列教程06 | 你的第一个爬虫，爬取当当网 Top 500 本五星好评书籍](https://mp.weixin.qq.com/s/ET9HP2n3905PxBy4ZLmZNw) - [python爬虫系列教程07 | 有了 BeautifulSoup ，妈妈再也不用担心我的正则表达式了](https://mp.weixin.qq.com/s/X8BT4sRp7_a4NHXa9ZSzCg) - [python爬虫系列教程08 | 你的第二个爬虫，要过年了，爬取豆瓣最受欢迎的250部电影慢慢看](https://mp.weixin.qq.com/s/zzTRw4w6SFSeUDGlUCvXGw) - [python爬虫系列教程09 | 上来，自己动 ！这就是 selenium 的牛逼之处](https://mp.weixin.qq.com/s/pNs5VBLadYQbe8RjsR4x1g) - [python爬虫系列教程10 | 这次，将带你使用 selenium+ phantomJS 爬取b站上的NBA形象大使蔡徐坤和他的球友们](https://mp.weixin.qq.com/s/pGyFYpAoMtgGtD4uxBSCig) - [python爬虫系列教程11 | python爬虫的时候对Json数据的解析](https://mp.weixin.qq.com/s/57W2axrqEB9hbIA9mgpP0g) - [python爬虫系列教程12 | 秒爬，python爬虫中的多线程，多进程，协程](https://mp.weixin.qq.com/s/2kYWX8xOjdwifJZAkOlNjA) - [python爬虫系列教程13 | 就这么说吧，如果你不懂python多线程和线程池，那就去河边摸鱼！](https://mp.weixin.qq.com/s/v8qlA1cOIhCwYmFgO6YrMg) - [python爬虫系列教程14 | 害羞，用多线程秒爬那些万恶的妹纸们，纸巾呢？](https://mp.weixin.qq.com/s/cv_QREP2Gu6FzMrRb8F6XQ) - [python爬虫系列教程15 | 你，快去试试用多进程的方式重新去爬取豆瓣上的电影](https://mp.weixin.qq.com/s/X15LNTgXMWV-I224NJ_U1A) - [python爬虫系列教程16 | 听说你又被封 ip 了，你要学会伪装好自己，这次说说伪装你的头部](https://mp.weixin.qq.com/s?__biz=MzU2ODYzNTkwMg==&mid=2247484251&idx=1&sn=b10a5aedb633a051178fac8a1a800542&scene=19#wechat_redirect) - [python爬虫系列教程17 | 就算你被封了也能继续爬，使用IP代理池伪装你的IP地址，让IP飘一会](https://mp.weixin.qq.com/s?__biz=MzU2ODYzNTkwMg==&mid=2247484261&idx=1&sn=2d839d004d592be3c98d1356d6710a69&scene=19#wechat_redirect) - [python爬虫系列教程18 | 遇到需要的登录的网站怎么办？用这3招轻松搞定！](https://mp.weixin.qq.com/s?__biz=MzU2ODYzNTkwMg==&mid=2247484267&idx=1&sn=53486a7f41d9f57d14b10b7a21bfbb1e&scene=19#wechat_redirect) - [python爬虫系列教程19 | 小帅b教你如何识别图片验证码](https://mp.weixin.qq.com/s?__biz=MzU2ODYzNTkwMg==&mid=2247484292&idx=1&sn=1d948f56e57a6586f11aabc0f0f6b3af&scene=19#wechat_redirect) - [python爬虫系列教程20 | 对于b站这样的滑动验证码，不好意思，照样自动识别](https://mp.weixin.qq.com/s?__biz=MzU2ODYzNTkwMg==&mid=2247484321&idx=1&sn=4bc73324acfacda7d3bc82120b19d11a&scene=19#wechat_redirect) - [python爬虫系列教程21 | 以后我再讲「模拟登录」我就是狗](https://mp.weixin.qq.com/s?__biz=MzU2ODYzNTkwMg==&mid=2247484326&idx=1&sn=05fe9e83b0ffc4b401a45f5a272bee0b&scene=19#wechat_redirect) - [python爬虫系列教程22 | 手机，这次要让你上来自己动了。这就是 Appium+Python 的牛x之处](https://mp.weixin.qq.com/s?__biz=MzU2ODYzNTkwMg==&mid=2247484358&idx=1&sn=23e920d7a8d43dafd7607c8d30eeb946&scene=19#wechat_redirect) - [python爬虫系列教程23 | 搞事情了，用 Appium 爬取你的微信朋友圈。](https://mp.weixin.qq.com/s?__biz=MzU2ODYzNTkwMg==&mid=2247484386&idx=1&sn=7f0545f27f095f20d69deedfa9f606a1&scene=19#wechat_redirect) - [python爬虫系列教程24 |爬取下来的数据怎么保存？ CSV 了解一下](https://mp.weixin.qq.com/s?__biz=MzU2ODYzNTkwMg==&mid=2247484441&idx=1&sn=f814247c9307e4ed4bb58cdff279d410&scene=19#wechat_redirect) - [python爬虫系列教程25 | 把数据爬取下来之后就存储到你的MySQL数据库。](https://mp.weixin.qq.com/s?__biz=MzU2ODYzNTkwMg==&mid=2247484510&idx=1&sn=316cec6eab70fcd8005cc580a66e02aa&scene=19#wechat_redirect) - [python爬虫系列教程26 | 当Python遇到MongoDB的时候，存储av女优的数据变得如此顺滑爽～](https://mp.weixin.qq.com/s?__biz=MzU2ODYzNTkwMg==&mid=2247484520&idx=1&sn=5e2adaa2accb7fd9af35cbe7ceef945e&scene=19#wechat_redirect) - [python爬虫系列教程27 | 你爬下的数据不分析一波可就亏了啊，使用python进行数据可视化](https://mp.weixin.qq.com/s?__biz=MzU2ODYzNTkwMg==&mid=2247484538&idx=1&sn=d9b614201c96ad283bbad8a867d42082&scene=19#wechat_redirect) - [python爬虫系列教程28 | 使用scrapy爬取糗事百科的例子，告诉你它有多厉害！](https://mp.weixin.qq.com/s?__biz=MzU2ODYzNTkwMg==&mid=2247484571&idx=1&sn=e9b1b3cf6e5401ce5bfa0dd3d29f9305&scene=19#wechat_redirect) - [python爬虫系列教程29 | 使用scrapy爬取糗事百科的例子，告诉你它有多厉害！](https://fxxkpython.com/python3-web-fxxkpython-spider-tutorial-29.html) - [python爬虫系列教程30 | scrapy后续，把「糗事百科」的段子爬下来然后存到数据库中](https://fxxkpython.com/python3-web-fxxkpython-spider-tutorial-30.html) - [mitmproxy | 那个站在中间的男人，使用Python就能直接操控你的上网请求](https://mp.weixin.qq.com/s?__biz=MzU2ODYzNTkwMg==&mid=2247485104&idx=1&sn=5ee4a04e6ce2854e5507cd320517fd0d&chksm=fc8bbe21cbfc373738d926e0ca3250f44079449a85c1fe88f307805e28a3cc4ada07d9e322bb&token=2085568099&lang=zh_CN#rd) - [mitmproxy | 如何使用 mitmproxy 监控你的手机](https://mp.weixin.qq.com/s?__biz=MzU2ODYzNTkwMg==&mid=2247485117&idx=1&sn=3819b0d55ec071164b7cabe2477ddc13&scene=19#wechat_redirect) ## python爬冲进阶：python爬虫反爬 - [python爬虫反爬 | 对方是如何丧心病狂的通过 css 加密让你爬不到数据的](http://mp.weixin.qq.com/s?__biz=MzU2ODYzNTkwMg==&mid=2247484810&idx=1&sn=ed3297773c1eeb741bdabfb31c3ea00e&chksm=fc8bbd1bcbfc340d6ae0166e035dd8c8e106afae8adc5fc32162a17b68916b69383b0ab67265&scene=27#wechat_redirect) - [python爬虫反反爬 | 看完这篇，你几乎可以横扫大部分 css 字体加密的网站！](http://mp.weixin.qq.com/s?__biz=MzU2ODYzNTkwMg==&mid=2247484921&idx=1&sn=72a707c5bc67eede144947829cab4dc6&chksm=fc8bbd68cbfc347eca6727ff90f85ef58a4fdd7c2f75a962aee3ccd5e9c4266dbe5f4e6e2262&scene=27#wechat_redirect) - [python爬虫反反爬 | 像有道词典这样的 JS 混淆加密应该怎么破](http://mp.weixin.qq.com/s?__biz=MzU2ODYzNTkwMg==&mid=2247484997&idx=1&sn=b304304aacb3cba31f5f7a6c6bb1ba69&chksm=fc8bbed4cbfc37c29db631c187295757c164ae75ff3e0381dbbf685a9f3d1410098e5b751e33&scene=27#wechat_redirect) ## 爬虫实战教程 - [python爬取 20w 表情包之后，从此你就成为了微信斗图届的高手](https://fxxkpython.com/python-pa-qu-biao-qing-bao.html) - [python爬取你喜欢的公众号的所有原创文章，然后搞成PDF慢慢看](http://mp.weixin.qq.com/s?__biz=MzU2ODYzNTkwMg==&mid=2247484657&idx=1&sn=998bfcce6cd22b7fedff29e68a46fe3f&chksm=fc8bbc60cbfc3576f117d3566fbea8a042ee573d840bbe6a3d4ec9bffef815c691b7f9a59711&scene=27#wechat_redirect) - [当 python 遇到你的微信的时候，你才发现原来你的微信好友是这样的](http://mp.weixin.qq.com/s?__biz=MzU2ODYzNTkwMg==&mid=2247484710&idx=1&sn=cf17f2e87405ebffb20edd0ca0a7315b&chksm=fc8bbdb7cbfc34a1389e17d4485b677d5ada497a404dc8f14107914e50382c640e7bd3cb93a4&scene=27#wechat_redirect) - [高考要来了，扒一扒历年高考录取分数来压压惊](http://mp.weixin.qq.com/s?__biz=MzU2ODYzNTkwMg==&mid=2247484745&idx=1&sn=24362e73605d30e06ebe05d1fe7225f2&chksm=fc8bbdd8cbfc34ce100b9461f46c8a1c0008172f101b34b38e146f56323bc40bbd373a127ee8&scene=27#wechat_redirect) - [随着身子的一阵颤抖，Python爬取抖音上的小姐姐突然变得索然无味](https://mp.weixin.qq.com/s?__biz=MzU2ODYzNTkwMg==&mid=2247485150&idx=1&sn=b813993925a1031d4e85eb8841ccdb37&scene=19#wechat_redirect) ## 爬虫实例源代码 图文教程 | 相关源码 ---- | --- [1、爬取当当网 Top 500 本五星好评书籍](https://mp.weixin.qq.com/s?__biz=MzU2ODYzNTkwMg==&mid=2247484142&idx=1&sn=d4893c734e44a16db871f7904910bdcb&scene=19#wechat_redirect) | [源码](https://github.com/wistbean/learn_python3_spider/blob/master/dangdang_top_500.py) [2、爬取豆瓣最受欢迎的250部电影慢慢看](https://mp.weixin.qq.com/s?__biz=MzU2ODYzNTkwMg==&mid=2247484156&idx=1&sn=dc732b380d162f39ff63d55cac5a0dd6&scene=19#wechat_redirect) | [源码](https://github.com/wistbean/learn_python3_spider/blob/master/douban_top_250_books.py) [3、爬取b站上的NBA形象大使蔡徐坤和他的球友们](https://mp.weixin.qq.com/s?__biz=MzU2ODYzNTkwMg==&mid=2247484182&idx=1&sn=1b1c0058e402a9dc559d16ab37a30e98&scene=19#wechat_redirect) | [源码](https://github.com/wistbean/learn_python3_spider/blob/master/ikun_basketball.py) [4、用多线程秒爬那些万恶的妹纸们，纸巾呢？](https://mp.weixin.qq.com/s?__biz=MzU2ODYzNTkwMg==&mid=2247484225&idx=1&sn=077fba66aaa1d806193403ce51e75279&scene=19#wechat_redirect) | [源码](https://github.com/wistbean/learn_python3_spider/blob/master/meizitu.py) [5、自动识别b站滑动验证码](https://mp.weixin.qq.com/s?__biz=MzU2ODYzNTkwMg==&mid=2247484321&idx=1&sn=4bc73324acfacda7d3bc82120b19d11a&scene=19#wechat_redirect) | [源码](https://github.com/wistbean/learn_python3_spider/blob/master/fuck_bilibili_captcha.py) [6、搞事情了，用 Appium 爬取你的微信朋友圈](https://mp.weixin.qq.com/s?__biz=MzU2ODYzNTkwMg==&mid=2247484386&idx=1&sn=7f0545f27f095f20d69deedfa9f606a1&scene=19#wechat_redirect) | [源码](https://github.com/wistbean/learn_python3_spider/blob/master/wechat_moment.py) [7、scrapy爬取糗事百科段子到MongoDB（上）](https://fxxkpython.com/python3-web-fxxkpython-spider-tutorial-29.html)、[scrapy爬取糗事百科段子到MongoDB(下)](https://fxxkpython.com/python3-web-fxxkpython-spider-tutorial-30.html) | [源码](https://github.com/wistbean/learn_python3_spider/tree/master/qiushibaike) [8、python爬取 20w 表情包之后，从此你就成为了微信斗图届的高手](https://fxxkpython.com/python-pa-qu-biao-qing-bao.html) | [源码](https://github.com/wistbean/learn_python3_spider/tree/master/biaoqingbao) > 未完待续... ## 爬虫技巧 - [给你们说几点鲜有人知的爬虫技巧](https://mp.weixin.qq.com/s?__biz=MzU2ODYzNTkwMg==&mid=2247485129&idx=1&sn=56a9aecafa73162c639a873b5bbdf534&chksm=fc8bbe58cbfc374e5c033a37a82b94e8391855d85f1db26975579ddb3cf0882f1157e37f224c&token=2111372640&lang=zh_CN#rd) ## python爬虫段子 - [网站维护人员：真的求求你们了，不要再来爬取了！！](https://mp.weixin.qq.com/s/3IyGi0F6xnD_uMKpez5AaA) ## python相关 - [python如何赚钱？ python爬虫如何进阶？ python就业？ 如何快速入门python？ .....](http://mp.weixin.qq.com/s?__biz=MzU2ODYzNTkwMg==&mid=2247484770&idx=1&sn=16427865c7b2785594acfbcf4505e26f&chksm=fc8bbdf3cbfc34e5856dd36dd825f9b89b05a4ab3def08dac48b760771e4ee0454fdf9ddee72&scene=27#wechat_redirect) - [ 如何自学 Python 高效一些](http://mp.weixin.qq.com/s?__biz=MzU2ODYzNTkwMg==&mid=2247484608&idx=1&sn=0ebde7cbfea6e42e9e8e316bbec35b2b&chksm=fc8bbc51cbfc35475daa15a026c44727bc7954bd722b24870eab567ef937a8f175369c546962&scene=27#wechat_redirect) - [python教程资源](https://wistbean.github.io/categories/python/) - [吐血分享这两个爬虫用到的 Chrome 牛逼插件](http://mp.weixin.qq.com/s?__biz=MzU2ODYzNTkwMg==&mid=2247484859&idx=1&sn=b5f91ab1dc027d06e34dea1b37091b34&chksm=fc8bbd2acbfc343ce3123fb3e3aec1fa1e34c96b15e998a34e01a75f4ca90b0089e1692f5a31&scene=27#wechat_redirect) ## python公众号 微信搜索id：fxxkpython 名称：学习python的正确姿势 ![扫一扫关注学习python的正确姿势](https://fxxkpython.com/images/wxgzh.jpeg) ## 通往Python高手之路 小帅b手把手带你：[通往Python高手之路](http://vip.fxxkpython.com/?page_id=18)