# OpenSpiders **Repository Path**: chengrongkai/OpenSpiders ## Basic Information - **Project Name**: OpenSpiders - **Description**: 这是一个众多爬虫项目的代码合集,包含常见的各种网站的爬虫，持续更新，欢迎start - **Primary Language**: Python - **License**: MulanPSL-2.0 - **Default Branch**: master - **Homepage**: None - **GVP Project**: No ## Statistics - **Stars**: 70 - **Forks**: 21 - **Created**: 2020-06-12 - **Last Updated**: 2025-05-20 ## Categories & Tags **Categories**: Uncategorized **Tags**: None ## README # OpenSpiders #### 介绍 这是一个众多爬虫项目的代码合集，持续更新，欢迎start #### 软件架构 本项目是基于python框架开发的，其内容包含百度贴吧爬虫、新浪微博爬虫、知乎爬虫、前程无忧爬虫等常见的爬虫项目 多种电商商品数据🐍爬虫，整理收集爬虫练习。每个项目都是我亲手写的。通过实战项目练习解决一般爬虫中遇到的问题。 通过每个项目的readme，了解爬取过程分析。 对于精通爬虫的pyer，这将是一个很好的例子减少重复收集轮子的过程。项目经常更新维护，确保即下即用，减少爬取的时间。 对于小白通过✍️实战项目，了解爬虫的从无到有。爬虫可能是一件非常复杂、技术门槛很高的事情，但掌握正确的方法，在短时间内做到能够爬取主流网站的数据，其实非常容易实现，但建议从一开始就要有一个具体的目标。 在目标的驱动下，你的学习才会更加精准和高效。那些所有你认为必须的前置知识，都是可以在完成目标的过程中学到的😁😁😁。 本项目的部分项目借鉴了另一个项目的代码，欢迎大家去star支持 https://gitee.com/AJay13/ECommerceCrawlers 项目列表 - [x] [baidutiebaSpider](https://gitee.com/chengrongkai/OpenSpiders/tree/master/DianpingCrawler):百度贴吧 - [x] [blogSpider](https://gitee.com/chengrongkai/OpenSpiders/tree/master/blogSpider):技术博客网站(博客园、CSDN等等) - [x] [dingxiangyuanSpider](https://gitee.com/chengrongkai/OpenSpiders/tree/master/dingxiangyuanSpider):丁香园(肺炎疫情) - [x] [dongfangcaifu](https://gitee.com/chengrongkai/OpenSpiders/tree/master/dongfangcaifu):东方财富网 - [x] [jingdongSpider](https://gitee.com/chengrongkai/OpenSpiders/tree/master/jingdongSpider):京东 - [x] [kongqizhiliang](https://gitee.com/chengrongkai/OpenSpiders/tree/master/kongqizhiliang):空气质量数据 - [x] [maijiaxiumote](https://gitee.com/chengrongkai/OpenSpiders/tree/master/maijiaxiumote):买家秀模特 - [x] [moguzufang](https://gitee.com/chengrongkai/OpenSpiders/tree/master/moguzufang):蘑菇租房 - [x] [qianchengwuyouSpider](https://gitee.com/chengrongkai/OpenSpiders/tree/master/qianchengwuyouSpider):前程无忧 - [x] [qiantuwang](https://gitee.com/chengrongkai/OpenSpiders/tree/master/qiantuwang):千图网 - [x] [schoolNewsAnhuiSpider](https://gitee.com/chengrongkai/OpenSpiders/tree/master/schoolNewsAnhuiSpider):学校新闻 - [x] [tonghuashun](https://gitee.com/chengrongkai/OpenSpiders/tree/master/tonghuashun):同花顺 - [x] [weiboSpider](https://gitee.com/chengrongkai/OpenSpiders/tree/master/weiboSpider):新浪微博 - [x] [xiechengjipiao](https://gitee.com/chengrongkai/OpenSpiders/tree/master/xiechengjipiao):携程 - [x] [yituquanjingSpider](https://gitee.com/chengrongkai/OpenSpiders/tree/master/yituquanjingSpider):亿图全景图库 - [x] [zhen800](https://gitee.com/chengrongkai/OpenSpiders/tree/master/zhen800):zhen800 - [x] [zhihu](https://gitee.com/chengrongkai/OpenSpiders/tree/master/zhihu):知乎 - [x] [doubanSpider](https://gitee.com/chengrongkai/OpenSpiders/tree/master/doubanSpider):豆瓣影评 - [x] [proxy_pool](https://gitee.com/chengrongkai/OpenSpiders/tree/master/proxy_pool):IP代理池 欢迎大家对本项目的不足加以指正，⭕️Issues或者🔔Pr 如果想了解更多，欢迎访问我的个人网站或者添加我的微信 个人网站 ![Image text](https://gitee.com/chengrongkai/uploads/raw/master/images/bizhibihui.png) 个人微信 ![Image text](https://gitee.com/chengrongkai/uploads/raw/master/images/weixin.png)