spider--proxies: python爬虫/代理ip获取/代码无隐藏全部展示只需复制稍微修改即可

6月21日 Gitee Talk | 模力方舟 AI 应用沙龙 · 青岛站开放报名，来聊聊 AI+ 应用的多场景落地实践~

加入 Gitee

与超过 1200万开发者一起发现、参与优秀开源项目，私有仓库也完全免费：）

该仓库未声明开源许可证文件（LICENSE），使用请关注具体项目描述及其代码上游依赖。

克隆/下载

Create README.md 1e72ab5

Loading...

README

# 写了个爬虫代理ip的脚本给大家使用

## 一.代码

```python
import requests
from lxml.html import etree


url = 'http://www.kuaidaili.com/free/'
rp =requests.get(url)
rp_html = etree.HTML(rp.text)

#找xpath
ip_xpath = '//*[@id="list"]/table/tbody/tr/td[1]/text()'
port_xpath = '//*[@id="list"]/table/tbody/tr/td[2]/text()'
http_or_https_xpath ='//*[@id="list"]/table/tbody/tr/td[4]/text()'

#匹配内容
ip_list = rp_html.xpath(ip_xpath)
port_list = rp_html.xpath(port_xpath)
http_or_https_list = rp_html.xpath(http_or_https_xpath)

#进行组合
list_zip = zip(ip_list,port_list,http_or_https_list)
proxy_dict= {}
proxy_list = []
for ip,port,http_or_https in list_zip:
    proxy_dict[http_or_https] = f'{ip}:{port}'
    proxy_list.append(proxy_dict)
    proxy_dict = {}
print(proxy_list)
#list就是啦,你们可以用random模块随机选一个进行后续的爬取

#一页不够嘛那我们就爬十写
#先看规则
'''
第一页:https://www.kuaidaili.com/free/inha/1/
第二页: https://www.kuaidaili.com/free/inha/2/
后面就用说了吧
'''
```

`http://www.kuaidaili.com/free/`这个ip代理网站不错哈

喜欢的给颗星星谢谢

python爬虫/代理ip获取/代码无隐藏全部展示只需复制稍微修改即可

README

取消

暂无发行版

马建仓 AI 助手

尝试更多

代码解读

代码找茬

代码优化

1

https://gitee.com/pythonywy/spider--proxies.git

git@gitee.com:pythonywy/spider--proxies.git

pythonywy

spider--proxies

spider--proxies

master