Scrapy框架爬取boss直聘反爬机制如何解决

zhen211 发表于 2023-2-23 21:46

https://gitee.com/chai-chunlong/chai
parse函数的respond参数一直为加载页面

nicaine123 发表于 2023-2-23 21:46

随机ip，随机浏览器头，爬完一页暂停时间也随机。这样就没啥问题了。

月光花下 发表于 2023-2-24 09:42

时间间隔设置长点 3秒左右看看爬完一条睡眠, 具体你慢慢测,浏览器请求头类似这种IP估计不用
User-Agent:Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5

爱思考的草 发表于 2023-2-24 09:59

楼主这个想法好，晚上回去看看怎么搞，正好最近在学python

bilibini 发表于 2023-2-24 10:37

主要在于boss直聘的cookie上面，cookie上面的__zp_stoken__基本好像每3分钟就要重新更新一次，把这个问题解决基本就没啥问题了

bilibini 发表于 2023-2-24 15:00

这是你的毕设吗

zhen211 发表于 2023-2-25 08:41

bilibini 发表于 2023-2-24 15:00
这是你的毕设吗

可以这么说

bilibini 发表于 2023-2-25 22:16

加油，最好多改一些内容（因为我已经遇见好多和这个一样的毕设了，都是用的这个代码）{:301_998:}

页: [1]

吾爱破解 - 52pojie.cn's Archiver

Scrapy框架爬取boss直聘 反爬机制如何解决

Scrapy框架爬取boss直聘反爬机制如何解决