爬取某图片网站
应坛友雷晨 要求写的，先上图：没有全部爬完，因为太多了- -
最后附上代码：
import requests
from lxml import etree
import re
import os
from multiprocessing.dummy import Pool as ThreadPool
def gethtml(url,encode): #获取网页源码
r = requests.get(url)
r.encoding = encode
return r.text
def filterFName(FName): #文件名过滤特殊字符
rstr = r"[\/\\\:\*\?\"\<\>\|]"
new_name = re.sub(rstr, "_", FName)
return new_name
def mkdir(path): #创建文件夹
path = path.strip()
isExists = os.path.exists(path)
if not isExists:
os.makedirs(path)
def geturl(url): #获取网站各个分类链接、分类名称
html = gethtml(url,'utf-8')
ehtml = etree.HTML(html)
nurl = ehtml.xpath('//*[@id="chenxing_menu"]/li/a/@href')
ntitle = ehtml.xpath('//*[@id="chenxing_menu"]/li/a/text()')
urldata=[]
for i in range(1,len(nurl)-1):
urldata.append(nurl+'|'+ntitle)
return urldata
def downPic(url,savepath):#下载图片
picname=url.split('/')[-1]
print('download: ' + url)
picdata = requests.get(url)
with open(savepath + picname, 'wb') as file:
file.write(picdata.content)
def getdata(ulist): #根据网站分类链接、名称进一步解析这段代码是下载图片主体代码
url = ulist.split('|')
til = ulist.split('|')
html = gethtml(url,'utf-8')
ehtml = etree.HTML(html)
count = ''.join(ehtml.xpath('//*[@class="more r"]/em/text()'))
page = int(count) // 20
if int(count) % 20 > 0 :
page+=1
for i in range(1,page+1):#获取各分类下面所有图集链接
nurl = url+'page/'+str(i)
html = gethtml(nurl, 'utf-8')
ehtml = etree.HTML(html)
lvurl = ehtml.xpath('//*[@class="img"]/@href')
for j in lvurl:#获取每个图集页数和链接
html = gethtml(j, 'utf-8')
ehtml = etree.HTML(html)
lvurl = ''.join(ehtml.xpath('//*[@id="imagecx"]/h1/span/text()'))# 获取图集页数
title = ''.join(ehtml.xpath('//*[@id="imagecx"]/h1/text()'))#获取图集名称
title = title.replace('()','')
lvurl = lvurl.replace('1/','')
path = savepath+'\\'+til+'\\'+filterFName(title)+'\\'
mkdir(path)
for k in range(1,int(lvurl)):#获取每个图集页面的图片
zurl = j.replace('.html','_'+str(k)+'.html')
html = gethtml(zurl,'urf-8')
ehtml = etree.HTML(html)
picurl = ehtml.xpath('//*[@class="image_cx_cont"]/img/@src')
for l in picurl:
downPic(l,path) #下载图片
if __name__ == '__main__':
url = 'http://mzsock.com'
savepath='C:\\mzsock' #保存位置
urllist=geturl(url)
pool = ThreadPool(4)
results = pool.map(getdata, urllist)
pool.close()
pool.join()
print('任务全部完成~！')
至于教程什么的，后面有时间再说{:1_905:} Limit-fly 发表于 2019-7-19 16:50
你需要安装一个python3，直接百度python去下载安装，然后打开里面的解释器，把代码复制进去就可以了,点击 ...
我是直接打开的py点击运行出现
E:\Users\untitled1\venv\Scripts\python.exe C:/Users/Administrator/Desktop/meizu.py
Traceback (most recent call last):
File "C:/Users/Administrator/Desktop/meizu.py", line 1, in <module>
import requests
ModuleNotFoundError: No module named 'requests'
进程已结束,退出代码1 灬蜂蜜柚子丶 发表于 2019-7-20 16:23
这代码对网站有什么限制吗。。改变网址后只显示任务完成，没有文件啊
要根据网站页面自己改吗。。小弟刚学 ...
每个网站的框架、源代码都不一样，都需要根据实际情况进行调整，本贴的代码只适用于这个网站。 这样直接拿走真的好吗 {:1_886:}{:1_886:}{:1_886:}{:1_886:} 这个网站是做什么的哦 学习了 看起来挺简单 刚学也能看懂个大概 这咋用？ 看看妹子的 足控福利？ 不知道咋用 这是python，网址代码里面都放出来了，不过针对不同的网站，url分析不同，会python的同学改一改，就能爬取其他网站的了！ 感谢楼主无私.