针对淘宝商品销售数据爬虫 未完善 1.自动获取cookies功能 2.身份验证信息令牌超时报错显示 使用教程: 1.先从淘宝使用开发者工具抓包搜索?jsv包,以复制bash格式复制包到https://curlconverter.com/#,获取cookies中的"_m_h5_tk"和"_m_h5_tk_enc"替换掉py脚本中的响应cookies 2.输入需要搜索商品的名称和排序方式
全国建筑市场爬虫案例 针对存在响应数据加密的全国建筑市场进行企业数据的采集,获取企业信息、法人名字、社会信用代码、注册属地等信息保存为json数据。 利用浏览器开发者工具对该网站进行抓包,寻找疑似目标的加密响应数据,利用xhr断点调试找到密文位置,继续追踪找到解密位置,确定加密方法为AES加密,借助第三方网站解密工具解密获取响应数据,最后构造数据对象整理、保存数据。