【爬虫】找了一个福利站练手___新手上路

lishunwei

代码不足和改进的地方大家可以提出来哈
因为正则表达式瓶颈卡了一天哈哈哈，经过多次尝试还是ok了，完成了第一个用自己思路写的爬虫。
话不多说上代码：（注释可能不完美，全是自己的语言希望理解哈哈哈）

[Python] 纯文本查看 复制代码

import requests
import re
from bs4 import BeautifulSoup
import os#导入所需要的库


url='http://www.win4000.com/zt/xinggan.html'

#从url提取每个系列对应的链接
def GetHtml(url):
    try:
        r=requests.get(url)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        txt = r.text
        accessUrl(txt)#将返回的网页信息传入accessUrl函数
    except :
        print('访问页面出错！')

#提取每个系列对应的网页链接
def accessUrl(txt):
    soup = BeautifulSoup(txt,'html.parser')
    tag_ul=soup.find_all('ul')
    url_list=re.findall('http://www.win4000.com/wallpaper_detail_[\d]*.html',str(tag_ul))
    browse_url(url_list)#将提取的链接以列表形式递给browse_url函数

#循环每个链接
def browse_url(url_list):
    for every_list in url_list:
        solve_url(every_list)将循环的每个链接递给solve_url函数

def solve_url(url_alone):
    url_alone_1=url_alone.split('_')                #
    url_alone_last=url_alone_1[-1]                  #
    url_alone_num=url_alone_last.split('.')[-2]     # 从链接提取相关信息为后面组成链接实现翻页做铺垫      
    # print(url_alone_num)
    try:    
        for i  in range(0,15):#实现翻页，并保存每页的图片，有的系列图片是翻一次页数字加二有的是加1，这里就写0-15，
                         #                   可能会出现一个额系列没爬完的情况
            if i == 0:#因为第一页的链接与后面的链接相比少了_数字部分，所以分开处理
                get_photo_url(url_alone)#将第一页的链接递给get_photo_url函数处理
            else:
                url_alone_compose='http://www.win4000.com/wallpaper_detail_'+url_alone_num+'_'+str(i)+'.html'
                # print(url_alone_compose)
                get_photo_url(url_alone_compose)#将重新组合的链接递给 get_photo_url函数处理
    except:
        print('图片页面不存在')


#这个函数从网页提取图片所对应的链接
def get_photo_url(url_photo):
    try:
        r=requests.get(url_photo)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        soup = BeautifulSoup(r.text,'html.parser')
        tag=soup.find(class_="pic-large")
        url_photo=tag['src']
        #print(url_photo)
        holdphoto(url_photo)#将提取的图片对应的链接交给holdphoto(url_photo)函数进行保存
    except:
         print('获取图片链接失败')
#图片保存函数
def holdphoto(url_photo):
    root="C:/Users/l1768/Desktop/福利图/"#图片要储存的文件夹
    name=url_photo.split('/')[-1]#提取每个图片的名字
    path=root+name#组成图片路径
    try:
        if not os.path.exists(root):#判断文件夹是否存在，不存在则创建
            os.mkdir(root)
        if not os.path.exists(path):#判断图片是否已经存在，不存在则保存
            r=requests.get(url_photo)
            with open(path,"wb") as f:
                f.write(r.content)
                f.close()
                print(name+"保存成功")
        else:
            print("文件已存在")
    except:
        print("图片爬取失败")

if __name__ == "__main__":
    GetHtml(url)

Simonl

我也随便爬了一下，虽然也有很多不足，但是代码量没有楼主那么多呢，是不是有点臃肿？

[Asm] 纯文本查看 复制代码

import requests,os
from  bs4 import  BeautifulSoup
pt='C:/Users/Administrator/Desktop/图片/'
p=os.path.exists(pt)
if not p:
    os.makedirs(pt)
else:
    print('存在，跳过。。。')
    pass
t=0
for j in range(5):      #有五页，循环5遍把每一页都下下来
    a=requests.get('http://www.win4000.com/zt/rili_%s.html'%j)  #找出规律，每一页就变最后以恶数字
    b=BeautifulSoup(a.text,'lxml')      #解析每一页的数据
    c=b.find_all('ul',class_='clearfix')    #最小父级
    d=c[1].find_all('li')                   #第二个正好是我们找的数据所以用[1]
    for i in d:                             #循环每一个‘li’标签，
        t+=1
        f=i.find('a')['href']               #提取li标签种a标签里面href的属性
        a1=requests.get(f)                  #继续代入解析网页
        b1=BeautifulSoup(a1.text,'lxml')
        c1=b1.find('div',class_='pic-meinv')
        e1=c1.find('img')['src']            #得到图片链接地址
        h=requests.get(e1).content          #转成二进制
        with open(pt+e1[-10:],'wb')as g:    #把创建的目录加图片倒数10位作为名称，已二进制写入
            g.write(h)                      #写入数据
            print(e1[-10:],'下载完成')

shenqb

不错，比我有恒心

祥子吧

支持下大神        

LGG.1024

厉害，谢谢楼主

非酋的春天

好好好好是真的好

indian806

果然PLMM给我码农很大的动力呀

vagrantear

又到了最喜欢的收藏福利站爬虫环节

pshendelzare

666，加油！！！

qtjinx

楼主厉害了，继续加油。

Dedsec11

同刚学python，先把代码收藏下来慢慢对着学习