Python爬取wallhaven壁纸

Greennova

学习中，未加多线程，由于网站、图片大小等因素导致下载缓慢
望各位大神提出建议并加以修善
网站主页及其爬取页如下，可自行修改代码中的url变量已及爬取页数


源码如下

[Python] 纯文本查看 复制代码

import requests
from lxml import etree

for x in range(2,5): #爬取页数
    n=0 #name initialize of picture
    url = f"https://wallhaven.cc/toplist?page={x}"

    headers1 = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'
        }
    response = requests.get(url=url,headers=headers1)
    #print(response.text)
    tree = etree.HTML(response.text)
    list = tree.xpath('//*[@id="thumbs"]/section[1]/ul/li/figure/a/@href')
    response.close()
    def repage(url1,n):
        response1 = requests.get(url = url1,headers=headers1)
        tree1 = etree.HTML(response1.text)
        src_url = tree1.xpath('//*[@id="wallpaper"]/@src')
        for j in src_url:
            response_img = requests.get(j)
        print(response_img)
        with open('img//'+'wallhaven//'+str(n)+'.jpg', mode="wb") as f:
            f.write(response_img.content) #二进制存入图片
        print("Done!")
        response_img.close()
        response1.close()

    for i in list:
        n=n+1
        repage(i,n) #本页图片获取

XWZJ100008

李玉风我爱你 发表于 2023-1-31 19:17
pycharm不是自带中文吗 装个语言包就行

在应用中，点击左上角的file选项。

谢谢楼主分享！！

李玉风我爱你

yuwen998 发表于 2023-1-31 19:10
老师好！能否搞个汉化版本的PyCharm？谢谢

pycharm不是自带中文吗 装个语言包就行

在应用中，点击左上角的file选项。
打开setting选项。
在搜索框中，输入chinese进行搜索，找到简体中文选项，点击install按钮，进行安装。
安装好了之后，就可以将应用设置为中文。

yuwen998

老师好！能否搞个汉化版本的PyCharm？谢谢

fengyexue

楼主发的这个儿很有见地   支持一下啊

tomhex

感谢分享，学习了

ysjd22

学习一下。谢谢楼主

shicoco

这东西还算可以。

jingyan96

学习一下。谢谢楼主

yuwen998

我下载了好多个PyCharm ，里面都不含中文汉化，真的感到奇怪，按网上所说的去操作都没有，下载汉化包覆盖了也是没有汉化内容！如果那位网友有汉化的PyCharm ，请上传一个！在此先谢谢

jingyan96

楼主是单独学习的 python的爬虫这一小块吗?  学习的是哪个教程？