优美图吧网站爬虫(整站)

许诗 · 发表于 2020-4-19 21:22

本帖最后由许诗于 2020-4-19 21:41 编辑

本程序爬取该站整站所有图片
运行时间会比较长,因为爬取的是全站图片
运行的时候会有提示,请耐心等待
网站更新也没关系,重新运行程序,程序按照新旧顺序爬取
已经修复众多BUG,这里就不再进行BUG的更新发布
测试发现有些图集是会员登录才能查看的,本程序不支持,如果有会员账号的可以借我使用
下载的时候是20线程运行,提速了

完结.png

本程序为源码,需要运行的请先安装python 3.7及以上版本

umtuba.rar (2.93 KB, 下载次数: 245)

superleej · 发表于 2020-5-27 12:59

Traceback (most recent call last):
  File "F:/PyFile/umtuba/umtuba.py", line 148, in <module>
main()
  File "F:/PyFile/umtuba/umtuba.py", line 105, in main
for i in range(0,int(pagenum(html))+1):#element格式转换为int格式
  File "F:/PyFile/umtuba/umtuba.py", line 41, in pagenum
return result[0]
IndexError: list index out of range

许诗 · 发表于 2020-5-3 14:39

Zeaf 发表于 2020-5-2 23:44
好像不止我一个人?

目前打算做一个手机壁纸下载的,包含型号太多,所以这个没时间更新,站点应该没更新

gz1988 · 发表于 2020-4-19 21:58

爬来有少用，用采集不香吗

Smurfs9 · 发表于 2020-4-19 22:02

收藏了，学习一下源码

yagoo · 发表于 2020-4-19 22:10

学习一下爬的源码

叶含风 · 发表于 2020-4-19 22:14

点了下载包，点之前没看见要币

plattl · 发表于 2020-4-19 22:15

学习下，超级有用的、

otho · 发表于 2020-4-19 22:39

学习学习。谢谢楼主分享！

xiecy2000 · 发表于 2020-4-20 08:08

yagoo 发表于 2020-4-19 22:10
学习一下爬的源码

收藏先>>>>>>>>>>>>>>

qingfeng95 · 发表于 2020-4-20 09:33

学习一下爬的源码

wenwu.he · 发表于 2020-4-20 09:35

全站爬意义不大啊，

帐号		自动登录	找回密码
密码			注册[Register]

[Python 转载] 优美图吧网站爬虫(整站)

免费评分