python爬虫爬取高清电脑壁纸

wxxwjy · 发表于 2022-12-15 10:08

本帖最后由 wxxwjy 于 2022-12-15 13:09 编辑

学习爬虫一个星期，没看教程自己写了一个
大佬勿喷，多给些鼓励和建议，嘻嘻
网站url: https://bing.ioliu.cn/
用到的库：requests pyquery time
第一步：添加用到的库

第二步：请求到网页拿到源码，就是加了个代{过}{滤}理ip，和请求头（本来想用params添加cookics 和请求头来着，访问了一下拿不到源码），只加请求头就拿到源码了，有点奇怪。

第三步：解析源码pyquery真的好简单，直接拿到图片的链接在img的src里，有个地方注意一下直接拿img会多出一条来里边没有src,直接拿img加上class的内容会取不到内容，所以就先取了div又拿到的img

最后一步：保存和防封ip,都很简单，防封就是让程序休息几秒，刚开始也没什么数就随便写了个2

自动翻页的代码没加（思路就是查看每页的url得到之间的关系，拼出url再在最外边套一层循环），昨天学了pymongo数据库后期会存到数据库里，到此程序就完成了，这是我分析的第一个网站，在此纪念一下，感谢52pojie论坛给我的知识和分享的喜悦，

wxxwjy · 发表于 2022-12-15 10:39

本帖最后由 wxxwjy 于 2022-12-15 10:42 编辑

翻页代码在这里了，很简单，把mun图片命名的计数变量拿出来防止名字重复就行了。图片的名字也可从网页源代码里扒拉出来，我没拿有兴趣可以自己试试，只加了前三页哦~

z1872428255 · 发表于 2022-12-15 15:31

感谢分享

zeh521 · 发表于 2022-12-15 15:52

感谢分享

wxxwjy · 发表于 2022-12-15 16:42

仔细看了pyqery的使用方法这个img可以直接拿到，img.class的内容就可直接拿到了，如果两者之间加了空格就是查找子孙节点class为。。。的节点了

csf2022 · 发表于 2022-12-16 11:51

一个星期就学会啦？这么牛的吗？没有一点基础也能做到吗？

wxxwjy · 发表于 2022-12-16 15:00

csf2022 发表于 2022-12-16 11:51
一个星期就学会啦？这么牛的吗？没有一点基础也能做到吗？

之前没方向，看过两本书，（python基础的一本书写了个小游戏当时）这个还是有用的，（看过B站黑马的C++视频，本科学过c）这俩没大用感觉，其余没了，乱学的多（精神内耗严重）

a2604273891 · 发表于 2022-12-17 16:47

感谢，学习了

heang567 · 发表于 2022-12-21 09:12

感谢大佬分享，谢谢

dabiaoge144 · 发表于 2023-4-1 19:49

问下楼主哪里学的课程，分享一下我也想学习了

帐号		自动登录	找回密码
密码			注册[Register]

[Python 原创] python爬虫爬取高清电脑壁纸