puppeteer远程浏览器渲染，提供一键接口调用

miboy

puppeteer api

完整开源：

https://github.com/mic1on/puppeteer-render

基于puppeteer和Node的服务端渲染，提供Docker一键部署及API调用接口。

功能 features

• [x] 支持三种渲染模式的API接口（HTML、PDF、screenshots)
• [x] 支持随机动态user-agent
• [x] 支持在fuck模式下隐藏浏览器特征
• [x] 支持自定义cookies、自定义headers

运行

• docker
  如果你想直接使用本项目，可以直接docker运行。

  docker run -d -p 8080:3000 --name render miclon/puppeteer-render

• 本地运行
  你首先需要拉取此项目。

  • 安装依赖
    > npm install
  • 执行
    > npm run dev

API

POST http://127.0.0.1:3000/render

{
  "url": "https://www.baidu.com", // 必要参数
  "mode": "fuck", // 可选，隐藏浏览器特征
  "timeout": 30000, // 超时时间，默认30000ms
  "waitUntil": "load", // 渲染完成时等待的事件，默认load，可选：load、domcontentloaded、networkidle0、networkidle2
  "type": "pdf",  // 三种模式：html, pdf, screenshot
  "filename": "123.pdf", // 可选，在pdf模式下保存的文件名
  "pdf": {        // 可选，在pdf模式下的配置，所有属性可选
      ...
      // 具体属性配置参考：
      // https://github.com/puppeteer/puppeteer/blob/v1.1.0/docs/api.md#pagepdfoptions
  },
  "screenshot": { // 可选，在screenshot模式下的配置，所有属性可选
      ...
      // 具体属性配置参考：
      // https://github.com/puppeteer/puppeteer/blob/v1.1.0/docs/api.md#pagescreenshotoptions
  },
  "waitForXPath": { // 可选，等待指定xpath显示。
    xpath: "...",
    ...
    // 具体属性配置参考：
    // https://github.com/puppeteer/puppeteer/blob/v1.1.0/docs/api.md#pagewaitforxpathxpath-options
  },
  "cookies": "...", // 可选，设置cookies，格式为cookies字符串，可以直接从浏览器抓包复制。例如："_ga=GA1.2.1234567890.1548994800; _gid=GA1.2.1234567890.1548994800; _gat=1"
  "headers": {
    "...": "...", // 可选，设置headers，格式为headers对象，可以直接从浏览器抓包复制。例如：{"Accept-Language": "zh-CN,zh;q=0.9"}
  },
  "credentials": {  // 可选，设置credentials，例如：{"username": "...", "password": "..."}
     "username": "...", // 可选，设置用户名
     "password": "..." // 可选，设置密码
  }
}

完整的API接口请查看：接口文档

似水流年2015

这个的作用是指如果碰到反爬厉害的网站，为了省时，可以调用它来返回渲染后的网页信息吗？  再提取清洗处理。

JamesBond1

感谢分享！！

hnwang

支持 感谢分享并开源

1e3e

看不太懂还是支持一下吧

快乐小风

这个和node 爬虫框架 puppeteer 有啥区别?
这标题起的让人看不懂...

dork

吾爱+2币

miboy

快乐小风 发表于 2022-7-15 10:03
这个和node 爬虫框架 puppeteer 有啥区别?
这标题起的让人看不懂...

你好，区别在于对于使用者来说，只需要通过API，传入要请求的网址即可得到结果，解决AJAX请求、加密数据的情况无法获取数据的问题。