# crawler

**Repository Path**: xiaomeng79/crawler

## Basic Information

- **Project Name**: crawler
- **Description**: 爬虫项目
- **Primary Language**: JavaScript
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2018-06-08
- **Last Updated**: 2020-12-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

#爬虫项目
##目标
采集散文网的分类和按照分类获取文章
http://www.sanwen.net
##初始化项目

    npm install express-generator -g
    express -e crawler //使用ejs模板生成项目
    cd crawler && npm install //切换到项目,安装依赖
    SET DEBUG=crawler:* & npm start //配置debug,启动项目
    //浏览器访问 localhost:3000
##配置mysql数据库
1. 在model下的mysql.js文件中配置正确的数据库地址
2. 并在数据库执行crawler.sql中的语句
##编写数据采集规则
在task目录下面完成分类和文章的采集规则

##使用子进程采集
在task目录下面完成子进程采集和定时任务，每各30s采集一次