# tender_notes

**Repository Path**: albert_chen/tender_notes

## Basic Information

- **Project Name**: tender_notes
- **Description**: 用来放置爬虫开发时候遇到一些问题
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2016-09-12
- **Last Updated**: 2020-12-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

#爬虫使用注意事项
本文档为日常整理维护的文档, 需要定期更新

##start-url选取

1. 遇到页面中有iframe表现的内容，如果采集的内容在iframe中，start－url需要填写iframe的标签中所指向的url。

## config的问题
1. tbd

## detail_page

1. 源码采用了阈值分析的办法进行。


## webui 的问题

1. 采用分布式的方式部署了webui之后发现，它经常会有卡顿，使用服务器crontab 控制爬虫的每六小时重启
2. 需要经过一段时间的观察和使用查看重启这个方案是否能够有效缓解webui死卡的问题。