Cellluo 发表于 2024-1-7 22:33

爬虫问题请教

大佬们请教哈我通过 python 爬虫爬取一个网页视频,它的流程是通过解析网页内容获取到 m3u8 的连接,然后再请求 m3u8 的内容,再分别下载每个 ts 文件。由于每个 ts 文件是加密了,加密的 key 的信息也在 m3u8 那个文件中,通过模拟请求去获取这个 key 的内容,返回了错误码 403 ,但是我单独新建一个脚本,去请求这个 key 的内容,就能返回 200 ,目前百思不解,我已经和朋友确定了我新建脚本使用的 headers 就是第一个脚本生成的,所以可以排除是 headers 的问题。

FruitBaby 发表于 2024-1-7 22:39

有可能key过期了

Cellluo 发表于 2024-1-7 23:02

FruitBaby 发表于 2024-1-7 22:39
有可能key过期了

不是的呢,我在第一个脚本中,无论怎么做,状态码都是403,但我在第二个脚本中就能返回200

erichyx 发表于 2024-1-7 23:15

你说的模拟请求是怎么做的,和脚本请求有什么不同,对比下看看

Arcticlyc 发表于 2024-1-7 23:22

没看出来你两次请求的差异

sai609 发表于 2024-1-7 23:57

脚本请求,有啥不同

T4DNA 发表于 2024-1-8 00:30

你这样说的太抽象了,两次请求必然存在差异问题,不然不可能一个可以一个不可以

dysky 发表于 2024-1-8 00:57

对面有反啊,,改变请求频率。

redballoon 发表于 2024-1-8 08:00

有类似的问题,我之前做过一个爬虫脚本,在postman中请求是200,而在python脚本中就是403,排除防盗链还能是什么原因?

wapjsx 发表于 2024-1-8 08:25

我怯也认为应该是cookis在作怪。
页: [1] 2 3
查看完整版本: 爬虫问题请教