网站 › 『编程语言讨论求助区』 › python爬M图片总是卡住

lisongmei 发表于 2023-5-23 09:56

python爬M图片总是卡住

本帖最后由 lisongmei 于 2023-5-23 10:01 编辑

用python协程写了个爬图片的代码，但是总是下几十个或者百来个就卡住了。(截图上才200多张，到180就不动了。那上千张的话还不直接死掉)
卡一会之后有报错提示，大致意思应该是超时了吧（猜的）
走过路过的大佬，帮看看是不是哪里需要改一下啊。
图片来源网站主页 https://www.meitu131.net/
仅学术交流。

一只大菜猫 发表于 2023-5-23 10:30

有反扒吧

lisongmei 发表于 2023-5-23 10:33

一只大菜猫 发表于 2023-5-23 10:30
有反扒吧

所以想知道有什么办法能一次多爬一点，我运行的时候，一次如果只下几十张没啥问题。
稍微多一点就死掉了。

Dlan 发表于 2023-5-23 10:43

....你得加上异常判断处理，那不是卡住 是报错了。 另外加上随机agent和随机IP。

lisongmei 发表于 2023-5-23 11:33

Dlan 发表于 2023-5-23 10:43
....你得加上异常判断处理，那不是卡住 是报错了。 另外加上随机agent和随机IP。

谢谢啦，原来agent也可以随机，学习啦，
因为我单独复制图片地址进浏览器能正常打开，还寻思着IP没问题:lol
好像有点思路了。

jidesheng6 发表于 2023-5-23 11:48

估计是有limit吧，控制一下频率，还有的是对方的服务器真的不行

liuxiao1999 发表于 2023-5-23 12:21

加上 try exption

redballoon 发表于 2023-5-23 12:56

加个信号量控制一下速度吧

yaojinxin 发表于 2023-5-23 13:34

好工具啊 有没有集成分享下啊 大佬

马马超超 发表于 2023-5-23 14:16

换浏览器头，用免费的代{过}{滤}理ip，或者你可以用selenium去爬，就是慢点

查看完整版本: python爬M图片总是卡住