Python实例记录----Pyppeteer操作
import asynciofrom pyppeteer import launch
from pyquery import PyQuery as pq
async def main():
brower = await launch()# 调用launch方法新建一个brower对象并赋值，相当于启动浏览器
page = await brower.newPage()# 调用browser的newPage方法，新建一个Page，
# 并赋值给page变量。相当于在浏览器中新建了一个选项卡，这时候虽然启动了一个新的选项卡，但是还未访问任何页面，浏览器依然是空白的
await page.goto('https://spa2.scrape.center/')# 调用page的goto方法，访问url，浏览器加载页面
await page.waitForSelector('.item .name')# 传入选择器，页面就会等待选择器对应的节点信息加载出来，加载出来后，就立即返回，否则持续等待直到超时。
doc = pq(await page.content())# content方法，可以获取当前浏览器页面的源代码。
names =
print('Names: ', names)
await brower.close()
asyncio.get_event_loop().run_until_complete(main())
调试模式
import asyncio
from pyppeteer import launch
width,height = 1200,768# 设置浏览器大小，在声明browser时，放入args参数中
async def main():
browser = await launch(devtools=True,userDataDir='./userdata',args=['--disable-infobars',f'--window-size={width},{height}'])# devtools=True在页面中开启开发者工具;
# userDataDir='./userdata'设置用户目录保存例如登陆后，cookies等信息，避免重复登陆
context = await browser.createIncognitoBrowserContext()# 无痕模式，调用browser的createIncognitoBrowserContext方法，返回给context，用context新建选项卡
page = await context.newPage()
await page.evaluateOnNewDocument('Object.defineProperty(navigator,"webdriver",{get:()=>undefined})')# 防止检测
await page.goto('https://www.baidu.com')
await asyncio.sleep(100)
await browser.close()# 关闭
asyncio.get_event_loop().run_until_complete(main())
无头模式
import asyncio
from pyppeteer import launch
async def main():
await launch(headless=False)
await asyncio.sleep(100)
asyncio.get_event_loop().run_until_complete(main())
Page对象
'''
Page对象内置了很多用于选取节点的选择器方法，例如J方法，给他传入一个选择器，就能返回
匹配到的第一个节点，等价于querySelector方法；又如JJ方法，给他传入一个选择器，就能返回
匹配到的所有节点组成的集合，等价于querySelectorALL方法。
'''
import asyncio
from pyppeteer import launch
from pyquery import pyquery as pq
async def main():
browser = await launch()
page = await browser.newPage()
await page.goto('https://spa2.scrape.center/')
await page.waitForSelector('.item .name')
j_result1 = await page.J('.item .name')
j_result2 = await page.querySelector('.item .name')
jj_result1 = await page.JJ('.item .name')
jj_result2 = await page.querySelectorAll('.item .name')
print('j1：',j_result1)
print('j2：', j_result2)
print('jj1：', jj_result1)
print('jj2：', jj_result2)
await browser.close()
asyncio.get_event_loop().run_until_complete(main())
选项卡操作
import asyncio
from pyppeteer import launch
# 新建选项卡获取和切换
async def main():
browser = await launch(headless=False)
page = await browser.newPage()
await page.goto('https://www.baidu.com')
page = await browser.newPage()
await page.goto('https://www.bing.com')
pages = await browser.pages()
print('Pages: ', pages)
page1 = pages
await page1.bringToFront()
await asyncio.sleep(100)
asyncio.get_event_loop().run_until_complete(main()) 支持原创!!! 支持原创 感谢分享 感谢科普，偶然发现asyncio这个函数也很有用，值得学习。
页:
[1]