# PhpCollection

**Repository Path**: thinkphpbox/PhpCollection

## Basic Information

- **Project Name**: PhpCollection
- **Description**: 基于 QueryList 的多线程采集器，内置 19 个规则模板，以新罗免税店内容实战采集，支持 js 动态渲染页面内容采集
- **Primary Language**: PHP
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 3
- **Created**: 2020-10-30
- **Last Updated**: 2024-06-15

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

## PHP 多线程采集器 By:QueryList
#### 新罗免税店数据采集示例,内置 19 种不同页面模板规则
1. 采集失败日志记录
2. 多线程采集并解决内存溢出问题
3. 支持动态渲染页面的内容采集
4. 支持本地化图片
5. 详细采集过程提示,快速排查报错
6. 解决 tp5 日志写入可能造成的内存溢出

#### 使用说明
* 访问地址 http://域名/caiji.php?page=0&category_id=1&area=10  
* 规则在 Tool 工具类中更改
* 日志存储在运行目录下/public/upload/goods_info.txt
* 本地化图片路径,/public/upload/img
* 数据库模型类/Model/model

#### 系统环境
* 运行环境: CentOS 7.7
* PHP 版本: PHP7.1
* MySQL 版本: 5.6
* 4 核心 15G 内存 40G 硬盘 100M 带宽

#### 要求服务器环境
* 内存不低于 8G
* 核心数不低于 2
* 硬盘不低于 20G