以前在百度文库上搜索文档，经常会找到不需要下载券的免费文档。但是现在百度文库把免费的文档都分散到了后面，让人不容易找到。
要爬取这些文档，首先要分析百度文库的搜索内容，有的需要下载券，有的需要0下载券但是VIP专享
我们需要0下载券又没有VIP专享的文档，比如下面这样的：
我把所有0下载券的文档标题、格式、时间、大小、下载量存到数组，打印出来。
需要先遍历所有的搜索页，我分析了一下地址：
https://wenku。baidu。com/search?word=%C8%FD%C9%FA%C8%FD%CA%C0%CA%AE%C0%EF%CC%D2%BB%A8&org=0&fd=0&lm=0&od=0&pn=10
这个地址只有Word和pn这两个参数是变化的，而且很容易分析出Word是搜索的关键字，pn可以理解为页码，pn=0是第1页，pn=10是第2页。
搜索的关键词需要先经过编码再添加到地址中。
运行代码输出的部分结果：
打开第一个结果的链接，就是不需要下载券的文档，可以直接下载了：
下面是完整代码和详细注释：
[Python] 纯文本查看 复制代码 from urllib import parse
import requests
import webbrowser
from pyquery import PyQuery as pq
def getPage(keyW):
pn = 0#从第1页开始
try:
while keyW != '':#关键词不能为空
url = 'https://wenku.baidu.com/search?word=' + keyW + '&org=0&fd=0&od=0&pn=' + str(pn)
r = requests.get(url)
r.encoding = 'gb2312'#需要先将获取的源码进行编码再交给pyquery，否则汉字都是乱码
doc = pq(r.text)
len1 = len(doc('dl'))#dl是每条搜索内容的标签，这一句是获取当前页的搜索数
if pn == 0 and len1 == 0:
#百度文库中没有搜索不到结果的情况。如果第一页就没有结果，说明需要验证网页，
# 因为如果搜索太频繁，百度文库会提示需要验证
print("提示:因操作频繁，本次需要验证。验证完成后，重新搜索。")
webbrowser.open(url, new=0)#这一句可以直接打开浏览器，自己手动在网页上验证。
# 验证完跳出循环，运行结束。自己再重新执运行码。每天最多只需验证一次。
break
else:
for dl in range(len1):#遍历所有结果
list = []
dl_eq = doc('dl').eq(dl)#这样获取的dl标签的源码，这一句很重要
if 'VIP专享' not in dl_eq.find('.ico-vip-special').text() and '0下载券' in dl_eq.find('.detail-info').text():
#判断是不是0下载券，又没有VIP专享
list.append(dl_eq.find('.log-xsend').text())#标题写入list数组
list.append(dl_eq.find('.ic').attr('title'))#格式写入list数组
list.append(dl_eq.find('.detail-info').text().split('|', 4)[0])#日期写入list数组
list.append(dl_eq.find('.detail-info').text().split('|', 4)[1])#大小写入list数组
list.append(dl_eq.find('.detail-info').text().split('|', 4)[2])#下载量写入list数组
list.append(dl_eq.find('.log-xsend').attr('href'))#链接写入list数组
print(list)
if len(doc('.page-content .next'))==0:#当网页中没有下一页标签就是最后一页了。.page-content .next是下一页的class
print("提示:搜索完成。")
break
pn = pn+10#进入下一页
else:
print("提示:请输入关键词。")
except requests.exceptions.ConnectionError:
print("提示:网络异常，请检查网络并重新搜索！")
if __name__ == '__main__':
keyWord = "三生三世十里桃花".replace(' ', '')#去掉关键词中的空格，关键词根据个人需要修改
keyW = parse.quote(keyWord.encode('gb2312'))#对关键词进行编码
getPage(keyW)#需要搜索的关键词
为了方便使用，我用wxpython打包了可执行程序：
软件成品后期在论坛发布。 | 
[复制链接]
发表于 2020-1-14 21:42
|
发表于 2020-1-15 00:49
