# proxy-serve **Repository Path**: robin-wu/proxy-serve ## Basic Information - **Project Name**: proxy-serve - **Description**: No description available - **Primary Language**: NodeJS - **License**: Not specified - **Default Branch**: master - **Homepage**: None - **GVP Project**: No ## Statistics - **Stars**: 0 - **Forks**: 0 - **Created**: 2018-04-17 - **Last Updated**: 2020-12-19 ## Categories & Tags **Categories**: Uncategorized **Tags**: None ## README # proxy-serve ## 使用文档 ### 简介 Spiker是专门为爬虫工程师设计的代理IP工具,它的使用方法简单容易上手。 1. Spiker使用了MITM技术及结合自建的代理IP池,从而解决了爬虫工程师们花费大量周期去建立和维护自己代理IP池的时间。 2. 使用简单,因为MITM技术和代理IP池的结合,我们能使每一个请求可以从一个入口进,不同出口出,从而免去爬虫工程师在使用代理访问时还需附加一层IP切换逻辑。 3. 我们在MITM技术中接入了网页缓存技术,使得爬虫工程师们在抓取某些网页时能够根据各自需求配置的规则去缓存静态资源,从而在下次请求时自动使用缓存资源而减少去请求目标网站的时间,提高页面加载效率及抓取成功率。 ### 使用方法 1. 将代理指向 http://tunnel.spiker.cn 2. 使用您的手机号及AppKey作为HTTP Auth的用户名及密码 3. 如果目标网站使用了SSL,则需使用到我们的CA证书 4. 正常使用的话请求返回的是目标网站的内容 5. 账户余额不足或者鉴权失败则会返回JSON格式的错误信息,如: {"code":10002, "msg":"头部没有 Authorization 信息,无法通过请求"} ### 返回码说明 10001. 不可访问海外网站 10002. 头部没有 Authorization 信息,无法通过请求 10003. Authorization 信息错误,无法通过请求 10004. 无可用套餐且余额不足 ### 相关内容 1. HTTP Auth HTTP Auth是一种基本连接认证。它是通过检测每个请求中有没有"Authorization"的http header来对该请求进行鉴权。而Authorization header的数据格式一般为"Basic jdhaHY0=",其中Basic表示基础认证, jdhaHY0=是base64编码的"user:passwd"字符串。 2. CA证书配置 参考Anyproxy ___ 待处理: 1. 各个节点的错误成功提示 2. 按次扣费逻辑有问题 3. 使用代理IP时记录使用的源IP --- 服务器上更换目标主机脚本 /home/robin/ch.sh