Scrapy框架爬取boss直聘反爬机制如何解决

zhen211 · 发表于 2023-2-23 21:46

https://gitee.com/chai-chunlong/chai
parse函数的respond参数一直为加载页面

nicaine123 · 发表于 2023-2-23 21:46

随机ip，随机浏览器头，爬完一页暂停时间也随机。这样就没啥问题了。

月光花下 · 发表于 2023-2-24 09:42

时间间隔设置长点 3秒左右看看爬完一条睡眠, 具体你慢慢测, 浏览器请求头类似这种 IP估计不用
User-Agent:Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5

爱思考的草 · 发表于 2023-2-24 09:59

楼主这个想法好，晚上回去看看怎么搞，正好最近在学python

bilibini · 发表于 2023-2-24 10:37

主要在于boss直聘的cookie上面，cookie上面的__zp_stoken__基本好像每3分钟就要重新更新一次，把这个问题解决基本就没啥问题了

bilibini · 发表于 2023-2-24 15:00

这是你的毕设吗

zhen211 · 发表于 2023-2-25 08:41

bilibini 发表于 2023-2-24 15:00
这是你的毕设吗

可以这么说

bilibini · 发表于 2023-2-25 22:16

加油，最好多改一些内容（因为我已经遇见好多和这个一样的毕设了，都是用的这个代码）

帐号		自动登录	找回密码
密码			注册[Register]

[求助] Scrapy框架爬取boss直聘反爬机制如何解决

最佳答案

免费评分

免费评分

[求助] Scrapy框架爬取boss直聘 反爬机制如何解决

最佳答案

免费评分

免费评分

[求助] Scrapy框架爬取boss直聘反爬机制如何解决