”当前IP地址可能存在异常访问行为，完成验证后即可正常使用“
在用selenium在chrome进行爬取boss直聘的时候，出现了”当前IP地址可能存在异常访问行为，完成验证后即可正常使用“已经用了headers，如下，是有什么错误吗headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'}url = 'https://www.zhipin.com'
response = requests.get(url=url, headers = headers)
time.sleep(1) 次数多了就不行了要登陆才可以 那个库有特征 或者IP频繁访问 触发waf了 404HT 发表于 2024-3-16 14:16
次数多了就不行了要登陆才可以
那请问有什么方法在不登陆的情况下进行爬取吗 ceciliaaii 发表于 2024-3-16 14:38
那个库有特征 或者IP频繁访问 触发waf了
请问有什么解决办法吗 使用ip代{过}{滤}理池啊，进行ip地址替换 知乎有的时候也有类似的问题 我用了浏览器复用解决了 被检测到你在使用selenium了 Zzxy 发表于 2024-3-16 15:06
那请问有什么方法在不登陆的情况下进行爬取吗
用代{过}{滤}理池，设备型号池，用随机的方法去抽取出来添加到你的cookie里面就可以了，不需要登录，验证无非就是完整ip和设备型号，免费的一些代{过}{滤}理ip很多不能用，我直接用的设备型号池，弄了十几二十个设备型号存在列表里面每次请求的时候随机拿一个加进去再对target 网站进行请求
页:
[1]
2