爬虫与cookie

AutumnFoam 发表于 2024-6-15 05:34

在使用Python爬取网站里的一些下载不了的东西为什么要使用cookie在Python爬虫才能爬是不是他没有下载按钮爬这些东西就相当于爬网站里面的字体

AutumnFoam 发表于 2024-6-15 05:36

就比如某省的成绩网使用某种手段绕登陆然后使用Python与cookie爬取里面的所以学生成绩

爱飞的猫 发表于 2024-6-15 06:43

Cookie 可以比喻为钥匙，登陆成功后给你下发一把临时钥匙。每次访问都要带上这把“钥匙”才能访问某些区域。

可以看看 HTTP 相关的内容学习。

feiyu361 发表于 2024-6-15 08:20

有些网站是需要登录才能爬取数据的,如淘宝和京东,提升了爬虫的门槛高度,近来有很多网站都需要登录拿到账号的cookie才能爬取数据

AutumnFoam 发表于 2024-6-15 08:25

爱飞的猫发表于 2024-6-15 06:43
Cookie 可以比喻为钥匙，登陆成功后给你下发一把临时钥匙。每次访问都要带上这把“钥匙”才能访问某些区域 ...

有这种HTTP电子版学习资料吗谢谢

blackfrey 发表于 2024-6-15 10:51

AutumnFoam 发表于 2024-6-15 08:25
有这种HTTP电子版学习资料吗谢谢

网上一找一大把，各种学习网站也有很多。

tianmenghuan 发表于 2024-6-15 11:06

AutumnFoam 发表于 2024-6-15 08:25
有这种HTTP电子版学习资料吗谢谢

网上搜下一大把

supersup 发表于 2024-6-15 13:45

不带上cookie网站不认识你。不知道是不是合法用户有没有登录，不知道应该给你提供什么内容。

FitContent 发表于 2024-6-15 14:29

AutumnFoam 发表于 2024-6-15 08:25
有这种HTTP电子版学习资料吗谢谢

电子书我推荐《图解 HTTP》，通俗易懂，可以全面地了解 HTTP。可以快速过一遍，了解相关的概念。

AutumnFoam 发表于 2024-6-15 15:42

FitContent 发表于 2024-6-15 14:29
电子书我推荐《图解 HTTP》，通俗易懂，可以全面地了解 HTTP。可以快速过一遍，了解相关的概念。

还有其他图解的书籍吗推荐一下

页: [1] 2

吾爱破解 - 52pojie.cn's Archiver