吾爱破解 - 52pojie.cn

 找回密码
 注册[Register]

QQ登录

只需一步,快速开始

查看: 35637|回复: 324
收起左侧

[原创工具] 【Python】高清壁纸爬虫

    [复制链接]
wxy1343 发表于 2020-3-13 16:08
本帖最后由 wxy1343 于 2020-4-15 06:45 编辑

测试系统:Win10 1909专业版
开发环境:Python3.8.1,PyCharm2019.3.3

1.gif

数据源:https://wallhaven.cc

2020.3.20
  • 更新到1.3
  • 增加了下载失败自动重试
  • 增加了配置文件功能
  • 修复了503错误导致图片损坏

2020.3.21
  • 更新到1.5
  • 增加了自定义页数爬取
  • 增加了“最新”、“排行榜”、“随机”标签的爬取
  • 增加了自定义网址、收藏夹的爬取

2020.3.23
  • 更新到1.7
  • 修复url解析错误
  • 增加多线程爬取网页(默认开启)
  • 增加爬取完输出文本(在配置文件里开启)
  • 增加文本方式下载

2020.3.24
  • 更新到1.8
  • 增加了网页gui


2020.4.15
  • 更新到2.0
  • 修复429错误导致爬取失败
  • 增加超时重试

下载地址
蓝奏云.txt (46 Bytes, 下载次数: 1918)



免费评分

参与人数 63吾爱币 +60 热心值 +54 收起 理由
wwj1998 + 1 + 1 我很赞同!
隔尘Dawn + 1 + 1 我很赞同!
341 + 1 + 1 不错,要是可以定义分辨率就更好了
gl0801 + 1 + 1 我很赞同!
猪也有理想 + 1 + 1 谢谢@Thanks!
想吃雪糕的猫 + 1 我很赞同!
coollsj + 1 + 1 感谢发布原创作品,吾爱破解论坛因你更精彩!
Serendipity_Cn + 1 鼓励转贴优秀软件安全工具和文档!
dilrvvr + 1 我很赞同!
zgcwkj + 1 + 1 热心回复!
alien61 + 1 + 1 谢谢@Thanks!
zck223 + 1 + 1 欢迎分析讨论交流,吾爱破解论坛有你更精彩!
barry1204 + 2 + 2 谢谢@Thanks!
pfz1314 + 1 用心讨论,共获提升!
Sinaan + 1 鼓励转贴优秀软件安全工具和文档!
阿丑 + 1 + 1 不错,好用
tony627 + 1 谢谢@Thanks!
jimmer001 + 1 我很赞同!
ggbdpq + 1 + 1 我很赞同!
zhanhua22 + 1 + 1 我很赞同!
Clown_C + 1 我很赞同!
超神只是一瞬间 + 1 + 1 热心回复!
缒你到天边 + 1 + 1 我很赞同!
liruia + 1 + 1 谢谢@Thanks!
坐着的天神 + 1 + 1 我很赞同!
0574lost + 1 + 1 鼓励转贴优秀软件安全工具和文档!
seegerl + 1 谢谢@Thanks!
jiangsg + 1 + 1 谢谢@Thanks!
哈哈小安安 + 1 + 1 我很赞同!
taihaoji + 1 谢谢@Thanks!
风水下流 + 1 + 1 欢迎分析讨论交流,吾爱破解论坛有你更精彩!
小小刀55 + 1 + 1 谢谢@Thanks!
nikuya + 1 + 1 谢谢@Thanks!
若隐无言 + 1 网盘链接打不开,浪费CB
Acosos + 1 + 1 我很赞同!
Nigelx + 1 + 1 我很赞同!
yeshen123 + 1 + 1 我很赞同!
swwb + 1 + 1 不好用,只下载了几张,然后就被服务器直接踢了!
791522507 + 1 + 1 网址打不开了!!!
godshylove + 1 谢谢@Thanks!
rechange + 1 我很赞同!
yjlsx + 1 我很赞同!
irvine + 1 鼓励转贴优秀软件安全工具和文档!
aw0120 + 1 + 1 我很赞同!
Psalt + 1 热心回复!
远水涵秋 + 1 + 1 我很赞同!
Kemer + 1 + 1 感谢发布原创作品,吾爱破解论坛因你更精彩!
jovioo + 1 + 1 谢谢@Thanks!
wizardong + 1 + 1 谢谢@Thanks!
ww185912 + 1 用心讨论,共获提升!
Alanxander + 1 感谢发布原创作品,吾爱破解论坛因你更精彩!
ehpine + 1 + 1 感谢发布原创作品,吾爱破解论坛因你更精彩!
非鱼之殇 + 1 感谢发布原创作品,吾爱破解论坛因你更精彩!
仰望2048 + 1 + 1 谢谢@Thanks!
Boffon + 1 + 1 谢谢@Thanks!
破解天下 + 1 谢谢@Thanks!
csh778899 + 1 + 1 谢谢@Thanks!
kulerop + 1 + 1 用心讨论,共获提升!
a1257206962 + 1 + 1 爬的壁纸好多损坏了,不知道可以查看下问题出在哪不?
zhbjzhql + 1 + 1 谢谢@Thanks!
风之暇想 + 7 + 1 感谢发布原创作品,吾爱破解论坛因你更精彩!
大紫瓶子 + 1 + 1 谢谢@Thanks!
余我不待 + 1 + 1 谢谢@Thanks!

查看全部评分

本帖被以下淘专辑推荐:

发帖前要善用论坛搜索功能,那里可能会有你要找的答案或者已经有人发布过相同内容了,请勿重复发帖。

 楼主| wxy1343 发表于 2020-3-13 22:12
开源地址:
https://github.com/1343890272/img-spider
 楼主| wxy1343 发表于 2020-3-20 00:22
注意:图片损坏是因为服务器过载503,可以用记事本打开查看,里面是一个html。目前解决方法:可以把损坏的图片删除重新运行程序下载。之后我会更新修复一下,感谢大家的反馈。
kun775 发表于 2020-3-21 20:42
冰风雪月 发表于 2020-3-15 22:26
虽然有壁纸软件,但还是自个设置的嗨皮!!!!!!!
余我不待 发表于 2020-3-15 22:31
谢谢大佬分享,拿走研究一下。
闻色 发表于 2020-3-15 23:03
但愿人长久~~~
kkkbook 发表于 2020-3-15 23:47

谢谢大佬分享,拿走研究一下。
dreamsung 发表于 2020-3-16 12:57
感谢分享 这个有兴趣研究 不懂呢
okok1212 发表于 2020-3-16 13:10
感谢感谢
云日山河 发表于 2020-3-16 14:12
支持技术大佬,小弟膜拜
disth 发表于 2020-3-17 06:21
本帖最后由 disth 于 2020-3-17 06:30 编辑

下载有很多图片是损坏的。。。。
您需要登录后才可以回帖 登录 | 注册[Register]

本版积分规则

返回列表

RSS订阅|小黑屋|处罚记录|联系我们|吾爱破解 - LCG - LSG ( 京ICP备16042023号 | 京公网安备 11010502030087号 )

GMT+8, 2024-11-25 03:00

Powered by Discuz!

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表