# facebook_post_scraper **Repository Path**: evoup/facebook_post_scraper ## Basic Information - **Project Name**: facebook_post_scraper - **Description**: 整合facebook-scraper到scrapy,仅测试和研究用 - **Primary Language**: Unknown - **License**: Not specified - **Default Branch**: master - **Homepage**: None - **GVP Project**: No ## Statistics - **Stars**: 0 - **Forks**: 0 - **Created**: 2020-12-05 - **Last Updated**: 2021-05-25 ## Categories & Tags **Categories**: Uncategorized **Tags**: None ## README ### facebook爬虫
### 免责说明 本程序仅用于研究,如果你在商业中使用本人不承担责任。
### 调试 修改run文件,name指向project的名字,在settings的DOWNLOADER_MIDDLEWARES中反注释,然后在middlewares的ProxyMiddleware中配置代理即可。
### 运行 ```bash scrapy crawl facebook_profile ```
### 部署 如果使用scrpayd作为服务端,可以直接scrapyd deploy,但不推荐,虽然有认证,但是http basic的认证。 最好采用运维工具,先运到服务端,然后ssh的方式部署。 还有一种方式,就是用scrpayd的addversion的api,这样可以和调度结合,非常适合结合apscheduler一起打造调度模块。这种方式需要先打包成egg文件,使用如下命令: ```bash python3.7 setup.py bdist_egg ```