Python爬虫获取某岸桌面网站壁纸

py爱好者 发表于 2022-8-26 20:37

小白一枚，大佬轻喷。。。这两天突然想学爬虫，主要还是因为硬盘剩余空间挺大的，觉得有点浪费，所以想装点使人耳目一新的文件进去:lol

import requests
import os
from lxml import html

etree = html.etree

url = "http://www.netbian.com/meinv"
domain = "http://www.netbian.com"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5112.102 Safari/537.36 Edg/104.0.1293.63"
}
pwd = os.getcwd()
if os.path.exists(pwd+"\\img"):
pass
else:
print(f"妹子的豪华套房：{pwd}\img")
os.mkdir(pwd+"\\img")

def down():
html_data = etree.HTML(response.text)
lis = html_data.xpath('//*[@id="main"]/div/ul/li')
for li_url in lis:
   li_urls = li_url.xpath(".//a/@href")
   # 过滤广告图片
   if "http" in li_urls:
         print("有广告图片诱导链接!已跳过...")
         pass
   else:
         # 请求子页面
         child_html = requests.get(domain + li_urls, headers=headers)
         child_html.encoding = 'gb2312'
         # 解析
         child_html_data = etree.HTML(child_html.text)
         # 获取图片地址
         photo_url = child_html_data.xpath("/html/body/div/div/div/div/p/a/img/@src")
         # 获取图片名
         photo_name = child_html_data.xpath("/html/body/div/div/div/div/p/a/img/@title")
         # 下载
         print(f"正在导入妹子: {photo_name}")
         with open(f"{pwd}/img/" + photo_name + ".jpg", mode='wb') as f:
            photo_data = requests.get(url=photo_url, headers=headers)
            f.write(photo_data.content)

i = 1
while i < 64:
if i <2:
   response = requests.get(url=url, headers=headers)
   down()
else:
   response = requests.get(url=url+f"/index_{i}.htm", headers=headers)
   down()
i += 1

print("导入完成! 开始欣赏吧...")

成品地址：https://www.aliyundrive.com/s/3hjWQfVwbxw

水上凌波 发表于 2022-8-27 00:52

这个文件在哪下

grekevin 发表于 2022-8-27 08:12

原版图片可以搞吗？

1315005441 发表于 2022-8-27 08:37

++

%B6%BC%CA%C71m%D7%F3%D3%D2%B5%C4%CD%BC%C6%AC+%D3%D0%B8%DF%BB%AD%D6%CA%B5%C4%C2%EF%A3%BF

feiyu361 发表于 2022-8-27 09:00

这些妹子漂亮呀

py爱好者 发表于 2022-8-27 17:07

水上凌波发表于 2022-8-27 00:52
这个文件在哪下

缺少依赖组件，百度一下呢

py爱好者 发表于 2022-8-27 17:08

grekevin 发表于 2022-8-27 08:12
原版图片可以搞吗？

程序下载的就是某岸网原汁原味的:lol

aspllh 发表于 2022-9-26 21:11

感谢分享。正在试用。

chinagdzhao 发表于 2022-10-1 11:04

可以用，如果能自定义下载就更好！

lin2lin3lin5 发表于 2022-10-1 22:11

本帖最后由 lin2lin3lin5 于 2022-10-2 15:09 编辑

10月1日中午还是可用的。可能爬多了，到了晚上，网站，有页面跳转。

页: [1]

吾爱破解 - 52pojie.cn's Archiver

Python爬虫获取某岸桌面网站壁纸

++