愤怒的小车 发表于 2018-8-27 17:25

百万高清壁纸APP 之 爬虫篇 让吾友一键爬取全部壁纸

本帖最后由 愤怒的小车 于 2018-8-27 17:31 编辑

从Godsteal和唯一丶写的帖子分析,抓包得到每张壁纸的实际地址,https://www.52pojie.cn/thread-787730-1-1.html,为了方便大家能够快速、一键获取所有壁纸,现在两位大佬的基础上,编写了一个小小的爬虫,达到一键获取所有壁纸的目的。
一、获取每张笔直的真是地址
    从唯一丶给的地址http://joyoncloud.com/wallpaper/img_detail/jtix/big/,进去后,查看网页源代码,分析每张图片的规律,通过正则表达式,构造壁纸的地址。其地址为http://joyoncloud.com/wallpaper/img_detail/jtix/big/+xxx.jpghttp://joyoncloud.com/wallpaper/img_detail/jtix/big/+xxx.jpg
二、启用Python进行编写代码
    首先要到http://joyoncloud.com/wallpaper/img_detail/jtix/big/获取图片xxx.jpg列表,用requests库中的get请求进行请求,然后对返回的数据进行正则匹配,得出xxx.jpg,构造出实际地址。
三、图片保存
    我这里用的是urllib.request.urlretrieve()对壁纸进行保存的。
四、代码截图

五、爬取修效果截图

最后送上代码

为海尔而战 发表于 2018-8-27 19:14

先多谢楼主老铁的代码啦,然后小白在运行代码时找不到下载文件,发现需要在E盘下创建文件夹才能写入。我就在你的代码内部加了一个自动创建文件夹的函数
import os
def genDir():
    base = ''   
    file_name = base + str('壁纸')
    os.mkdir(file_name)
genDir()
并稍微修改了下代码,希望楼主不要介意哈。奉上exe可执行文件。无需下载python编译器,无需多余操作,下载后双击即可使用。百度网盘链接https://pan.baidu.com/s/1WylxJkyRj0cbZ7KjtHEsDQ

为海尔而战 发表于 2018-8-28 10:59

ljawlq 发表于 2018-8-28 10:44
老歌。我win10怎么不行呢。

不是吧,这么绝望,忘记说了,我是win7的系统,还以为都能用呢。不过没关系,咱的售后服务杠杠的,百度网盘链接https://pan.baidu.com/s/1too4Q2pj6GE8GL50QYh8Rg
这我昨天爬的图片,多长时间我忘了,反正是图片貌似不再下载了我就关了。三百多张,一百多兆。

秒速秒速 发表于 2018-8-27 17:37

有一点点小帅

wangkai558 发表于 2018-8-27 17:43

有一点点小帅

约定的童话 发表于 2018-8-27 17:45

你弄个小软件工具出来啊,代码不会用

kfli 发表于 2018-8-27 17:45

愤怒的小车 发表于 2018-8-27 17:50

约定的童话 发表于 2018-8-27 17:45
你弄个小软件工具出来啊,代码不会用

安装个python就可以了

愤怒的小车 发表于 2018-8-27 17:56

kfli 发表于 2018-8-27 17:45
代码怎么用,下载完扩展名是.py

安装个python,然后在cmd中pip install requests安装这个库,运行代码即可

约定的童话 发表于 2018-8-27 17:56

愤怒的小车 发表于 2018-8-27 17:50
安装个python就可以了

给个链接,百度了一下,都是介绍的,没找到安装包

愤怒的小车 发表于 2018-8-27 17:59

约定的童话 发表于 2018-8-27 17:56
给个链接,百度了一下,都是介绍的,没找到安装包

https://www.python.org/downloads/windows/

hhjjqq110 发表于 2018-8-27 18:07

看到代码就头疼
页: [1] 2 3 4 5 6 7 8 9 10
查看完整版本: 百万高清壁纸APP 之 爬虫篇 让吾友一键爬取全部壁纸