python爬M图片总是卡住

lisongmei · 发表于 2023-5-23 09:56

本帖最后由 lisongmei 于 2023-5-23 10:01 编辑

用python协程写了个爬图片的代码，但是总是下几十个或者百来个就卡住了。(截图上才200多张，到180就不动了。那上千张的话还不直接死掉)
卡一会之后有报错提示，大致意思应该是超时了吧（猜的）
走过路过的大佬，帮看看是不是哪里需要改一下啊。
图片来源网站主页 https://www.meitu131.net/
仅学术交流。

一只大菜猫 · 发表于 2023-5-23 10:30

有反扒吧

lisongmei · 发表于 2023-5-23 10:33

一只大菜猫发表于 2023-5-23 10:30
有反扒吧

所以想知道有什么办法能一次多爬一点，我运行的时候，一次如果只下几十张没啥问题。
稍微多一点就死掉了。

Dlan · 发表于 2023-5-23 10:43

....你得加上异常判断处理，那不是卡住是报错了。另外加上随机agent和随机IP。

lisongmei · 发表于 2023-5-23 11:33

Dlan 发表于 2023-5-23 10:43
....你得加上异常判断处理，那不是卡住是报错了。另外加上随机agent和随机IP。

谢谢啦，原来agent也可以随机，学习啦，
因为我单独复制图片地址进浏览器能正常打开，还寻思着IP没问题

好像有点思路了。

jidesheng6 · 发表于 2023-5-23 11:48

估计是有limit吧，控制一下频率，还有的是对方的服务器真的不行

liuxiao1999 · 发表于 2023-5-23 12:21

加上 try exption

redballoon · 发表于 2023-5-23 12:56

加个信号量控制一下速度吧

yaojinxin · 发表于 2023-5-23 13:34

好工具啊有没有集成分享下啊大佬

马马超超 · 发表于 2023-5-23 14:16

换浏览器头，用免费的代{过}{滤}理ip，或者你可以用selenium去爬，就是慢点

帐号		自动登录	找回密码
密码			注册[Register]

[求助] python爬M图片总是卡住