python 异步协程爬虫功能封装，方便直接调用

rangersxiaoyan · 发表于 2022-8-27 19:35

提示: 作者被禁止或删除内容自动屏蔽

rangersxiaoyan · 发表于 2022-8-29 10:51

提示: 作者被禁止或删除内容自动屏蔽

老M · 发表于 2022-8-28 19:53

rangersxiaoyan 发表于 2022-8-28 19:27
说出来听听，让大家帮忙分析分析

就是爬取一个id;到时间它会自动在服务器端生成,需要通过get发送请来获取.所以,我想用异步来增加获取速度.后面发现效果不是很好

老M · 发表于 2022-8-27 19:49

感觉不错,也是在学习异步当中!!!

Magicy · 发表于 2022-8-27 20:40

你好，想问一下，听说Py会有全局锁，所以多线程也是假的，是这样的吗？

外酥内嫩 · 发表于 2022-8-27 21:20

Magicy 发表于 2022-8-27 20:40
你好，想问一下，听说Py会有全局锁，所以多线程也是假的，是这样的吗？

是的，Java的多线程是并行，Python的多线程是并发

老M · 发表于 2022-8-27 21:22

请教一下, 一个任务有返回值时,如何中断剩下的任务??

rangersxiaoyan · 发表于 2022-8-28 00:09

提示: 作者被禁止或删除内容自动屏蔽

rangersxiaoyan · 发表于 2022-8-28 00:12

提示: 作者被禁止或删除内容自动屏蔽

老M · 发表于 2022-8-28 08:19

rangersxiaoyan 发表于 2022-8-28 00:12
没法中断，其实就是十几个url并发。自己可以控制量。

好的,感谢楼主!!!
昨晚是试了一下,通过task.cancel(),task.stop()都不行

老M · 发表于 2022-8-28 08:21

rangersxiaoyan 发表于 2022-8-28 00:12
没法中断，其实就是十几个url并发。自己可以控制量。

而且发现爬虫的那个步骤不适合用异步

rangersxiaoyan · 发表于 2022-8-28 19:24

提示: 作者被禁止或删除内容自动屏蔽

帐号		自动登录	找回密码
密码			注册[Register]

rangersxiaoyan rangersxiaoyan 当前离线好友阅读权限 0 听众最后登录 1970-1-1 头像被屏蔽	rangersxiaoyan 发表于 2022-8-27 19:35 提示: 作者被禁止或删除内容自动屏蔽
	发帖前要善用【论坛搜索】功能，那里可能会有你要找的答案或者已经有人发布过相同内容了，请勿重复发帖。
	回复举报

rangersxiaoyan rangersxiaoyan 当前离线好友阅读权限 0 听众最后登录 1970-1-1 头像被屏蔽	楼主\| rangersxiaoyan 发表于 2022-8-29 10:51 提示: 作者被禁止或删除内容自动屏蔽
	【吾爱破解论坛总版规】 - [让你充分了解吾爱破解论坛行为规则]
	回复支持举报

rangersxiaoyan rangersxiaoyan 当前离线好友阅读权限 0 听众最后登录 1970-1-1 头像被屏蔽	楼主\| rangersxiaoyan 发表于 2022-8-28 00:09 提示: 作者被禁止或删除内容自动屏蔽

	回复支持举报

rangersxiaoyan rangersxiaoyan 当前离线好友阅读权限 0 听众最后登录 1970-1-1 头像被屏蔽	楼主\| rangersxiaoyan 发表于 2022-8-28 00:12 提示: 作者被禁止或删除内容自动屏蔽

	回复支持举报

rangersxiaoyan rangersxiaoyan 当前离线好友阅读权限 0 听众最后登录 1970-1-1 头像被屏蔽	楼主\| rangersxiaoyan 发表于 2022-8-28 19:24 提示: 作者被禁止或删除内容自动屏蔽

	回复支持举报

[Python 转载] python 异步协程爬虫功能封装，方便直接调用