用selenium+谷歌浏览器爬取美拍视频真实链接
本帖最后由 niebaohua 于 2018-11-26 21:53 编辑准备工具:
selenium模块(pip install selenium)
谷歌浏览器
chromedriver.exe(版本要和你的谷歌版本一致或者高于)
由于本人刚学python 不久，并不会什么解密的模块 只能这样慢慢
地模拟浏览器爬了美拍的视频都加密了，只有当你点击播放的时
侯视频的真实链接才会暴露出来，所以我就用了这个方法一个一个
爬咯。
有什么补充的你们可以补充一下，我也不太会这些模块 {:1_936:}
from selenium import webdriver
import time
driver = webdriver.Chrome() #实例化对象
driver.get("https://www.meipai.com/user/32821588")#用户的页面
while 1:
time.sleep(1)
video_href = driver.find_elements_by_xpath("//div[@class='feed-video pr cp']")
video_title = driver.find_elements_by_xpath("//li[@class='feed-item pr']")
#爬取第一个视频
first_video = driver.find_element_by_xpath(".//div[@class='mp-h5-player-layer-video']/video").get_attribute("src")
first_title = video_title.find_element_by_xpath(".//h1").text
print(first_title,first_video)
for i in range(1,len(video_href)):#从每一页的第二个视频开始
play = video_href.find_element_by_xpath(".//span[@class='pa detail-play']")
play.click()#点击播放按钮让视频真实链接显示出来
src = video_href.find_element_by_xpath(".//div[@class='mp-h5-player-layer-video']/video").get_attribute("src")
title = video_title.find_element_by_xpath(".//h1").text
print(title,src)
time.sleep(1)# 增加一秒的延迟
#获取下一页
next_page = driver.find_element_by_xpath("//a[@class='paging-next dbl']")
if next_page == '':
break
next_page.click()#点击下一页
driver.quit()#关闭浏览器
代码可能不规范 见谅...
附上爬的陈翔六点半的视频真实链接 免费评分有没有 lmmmr9 发表于 2019-2-18 11:08
写个协程慢慢爬嘛，这个单线程太慢了吧
之前刚学 会的不多现在可以直接爬它的链接 然后解密 （看的网上的思路）用多线程直接下载，多线程还是不太懂好像有好几种 爱生活爱VIVI 发表于 2018-11-26 21:54
千图 包图这样的可以吗
可以用更简单的方法，只不过应该爬不到原图 你做一个selenium登陆淘宝的我给你评分 爱吃鸡魔人 发表于 2018-11-26 22:56
你做一个selenium登陆淘宝的我给你评分
我菜鸡一个现在， 以后会有可能:lol 很有用，谢谢楼主！ 爱生活爱VIVI 发表于 2018-11-26 22:18
嗯 要是有他们站的会员的话能爬吗
可以爬取，就是怕他们监控，你下载太多会被封的。。。 mark一下 等有时间再看看
页:
[1]
2