百万高清壁纸APP 之 爬虫篇 让吾友一键爬取全部壁纸
本帖最后由 愤怒的小车 于 2018-8-27 17:31 编辑从Godsteal和唯一丶写的帖子分析,抓包得到每张壁纸的实际地址,https://www.52pojie.cn/thread-787730-1-1.html,为了方便大家能够快速、一键获取所有壁纸,现在两位大佬的基础上,编写了一个小小的爬虫,达到一键获取所有壁纸的目的。
一、获取每张笔直的真是地址
从唯一丶给的地址http://joyoncloud.com/wallpaper/img_detail/jtix/big/,进去后,查看网页源代码,分析每张图片的规律,通过正则表达式,构造壁纸的地址。其地址为http://joyoncloud.com/wallpaper/img_detail/jtix/big/+xxx.jpghttp://joyoncloud.com/wallpaper/img_detail/jtix/big/+xxx.jpg
二、启用Python进行编写代码
首先要到http://joyoncloud.com/wallpaper/img_detail/jtix/big/获取图片xxx.jpg列表,用requests库中的get请求进行请求,然后对返回的数据进行正则匹配,得出xxx.jpg,构造出实际地址。
三、图片保存
我这里用的是urllib.request.urlretrieve()对壁纸进行保存的。
四、代码截图
五、爬取修效果截图
最后送上代码 先多谢楼主老铁的代码啦,然后小白在运行代码时找不到下载文件,发现需要在E盘下创建文件夹才能写入。我就在你的代码内部加了一个自动创建文件夹的函数
import os
def genDir():
base = ''
file_name = base + str('壁纸')
os.mkdir(file_name)
genDir()
并稍微修改了下代码,希望楼主不要介意哈。奉上exe可执行文件。无需下载python编译器,无需多余操作,下载后双击即可使用。百度网盘链接https://pan.baidu.com/s/1WylxJkyRj0cbZ7KjtHEsDQ ljawlq 发表于 2018-8-28 10:44
老歌。我win10怎么不行呢。
不是吧,这么绝望,忘记说了,我是win7的系统,还以为都能用呢。不过没关系,咱的售后服务杠杠的,百度网盘链接https://pan.baidu.com/s/1too4Q2pj6GE8GL50QYh8Rg
这我昨天爬的图片,多长时间我忘了,反正是图片貌似不再下载了我就关了。三百多张,一百多兆。 有一点点小帅 有一点点小帅 你弄个小软件工具出来啊,代码不会用 约定的童话 发表于 2018-8-27 17:45
你弄个小软件工具出来啊,代码不会用
安装个python就可以了 kfli 发表于 2018-8-27 17:45
代码怎么用,下载完扩展名是.py
安装个python,然后在cmd中pip install requests安装这个库,运行代码即可
愤怒的小车 发表于 2018-8-27 17:50
安装个python就可以了
给个链接,百度了一下,都是介绍的,没找到安装包 约定的童话 发表于 2018-8-27 17:56
给个链接,百度了一下,都是介绍的,没找到安装包
https://www.python.org/downloads/windows/ 看到代码就头疼