动态线路规划 Dynamic route planning

动态线路规划 Dynamic route planning

Website login model 收集了一些各大网站登陆方式， 和一些网站的爬虫程序，有的是通过selenium登录，有的是通过抓包直接模拟登录，有的是利用scrapy,希望对小白有所帮助,本项目用于研究和分享各大网站的模拟登陆方式，和爬虫程序，会持续更新. 模拟登陆基本采用的是直接登录或者使用selenium+webdriver的方式，有的网站直接登录难度很大，比如qq空间，bilibili等如果采用selenium就相对轻松一些。 虽然在登录的时候采用的是selenium,为了效率，我们可以在登录过后得到的cookie维护起来，然后调用requests或者scrapy等进行数据采集，这样数据采集的速度可以得到保证。

使用scrapy模拟浏览器cookies，跳过登录。。

scrapy豆瓣影评爬虫+cookie模拟登陆+mysql入库

使用scrapy抓取微博关键字搜索，mongodb存储 利用网上开源方案自己搭建了一个cookies池服务，随机返回一个可用的微博cookie来模拟登陆