python 异步协程爬虫功能封装，方便直接调用 - 吾爱破解 - 52pojie.cn

rangersxiaoyan 发表于 2022-8-27 19:35

rangersxiaoyan 发表于 2022-8-29 10:51

老M 发表于 2022-8-28 19:53

rangersxiaoyan 发表于 2022-8-28 19:27
说出来听听，让大家帮忙分析分析

就是爬取一个id;到时间它会自动在服务器端生成,需要通过get发送请来获取.所以,我想用异步来增加获取速度.后面发现效果不是很好

老M 发表于 2022-8-27 19:49

感觉不错,也是在学习异步当中!!!

Magicy 发表于 2022-8-27 20:40

你好，想问一下，听说Py会有全局锁，所以多线程也是假的，是这样的吗？

外酥内嫩 发表于 2022-8-27 21:20

Magicy 发表于 2022-8-27 20:40
你好，想问一下，听说Py会有全局锁，所以多线程也是假的，是这样的吗？

是的，Java的多线程是并行，Python的多线程是并发

老M 发表于 2022-8-27 21:22

请教一下, 一个任务有返回值时,如何中断剩下的任务??

rangersxiaoyan 发表于 2022-8-28 00:09

rangersxiaoyan 发表于 2022-8-28 00:12

老M 发表于 2022-8-28 08:19

rangersxiaoyan 发表于 2022-8-28 00:12
没法中断，其实就是十几个url并发。自己可以控制量。

好的,感谢楼主!!!
昨晚是试了一下,通过task.cancel(),task.stop()都不行

老M 发表于 2022-8-28 08:21

rangersxiaoyan 发表于 2022-8-28 00:12
没法中断，其实就是十几个url并发。自己可以控制量。

而且发现爬虫的那个步骤不适合用异步:'(weeqw

rangersxiaoyan 发表于 2022-8-28 19:24

页: [1] 2 3

吾爱破解 - 52pojie.cn's Archiver