# facebook_post_scraper

**Repository Path**: evoup/facebook_post_scraper

## Basic Information

- **Project Name**: facebook_post_scraper
- **Description**: 整合facebook-scraper到scrapy，仅测试和研究用
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2020-12-05
- **Last Updated**: 2021-05-25

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

### facebook爬虫

<hr>

### 免责说明
本程序仅用于研究，如果你在商业中使用本人不承担责任。
<hr>

### 调试

修改run文件，name指向project的名字，在settings的DOWNLOADER_MIDDLEWARES中反注释，然后在middlewares的ProxyMiddleware中配置代理即可。
<hr>

### 运行
```bash
scrapy crawl facebook_profile
```
<hr>

### 部署

如果使用scrpayd作为服务端，可以直接scrapyd deploy，但不推荐，虽然有认证，但是http basic的认证。

最好采用运维工具，先运到服务端，然后ssh的方式部署。

还有一种方式，就是用scrpayd的addversion的api，这样可以和调度结合，非常适合结合apscheduler一起打造调度模块。这种方式需要先打包成egg文件，使用如下命令：
```bash
python3.7 setup.py bdist_egg
```