pyppeteer的基本使用

API 介绍

启动器

• pyppeteer.launcher.launch()
  启动 Chrome 进程并返回浏览器实例

参数:

使用注意:

• pyppeteer.launcher.connect() 连接到现有的 Chrome

参数:

使用注意:

browserWSEndpoint：格式是 ws://${host}:${port}/devtools/browser/<id>。
浏览器的 wsEndpoint 这个值，可以通过  
brower = pyppeteer.launcher.launch()
dev = brower. wsEndpoint
来获取,保存这个值就可以下次启动了

• pyppeteer.launcher.executablePath() 获取默认 Chrome 的可执行路径

浏览器类

• pyppeteer.browser.Browser() 这个类是由 launch()返回的实例

页面类

• pyppeteer.page.Page() 由 brower.newPage()或者 brower.pages()得到
  • J()：别名 querySelector()，看名字就知道通过 CSS 选择器来选出元素
  • JJ(): 别名 querySelectorAll()
  • Jeval(): 功能比 page.J()功能多一点，可以选出网页文本或者属性指
  • JJeval(): querySelectorAllEval()
  • Jx(): 别名 xpath()
  • addScriptTag(): 将脚本标记添加到此页面， 返回 ElementHandle其中一个 url，path 或 content 选择是必要的。

    参数	类型	解释
    url	字符串	要添加的脚本的 URL。
    path		字符串	要添加的本地 JavaScript 文件的路径。
    content	字符串	要添加的 JavaScript 字符串。
    type	字符串	脚本类型。使用 module 以加载一个 JavaScript ES6 模块。

  • coroutine addStyleTag(): 将样式或链接标记添加到此页面， 返回 ElementHandle
    其中一个 url，path 或 content 选择是必要的。

    参数	类型	解释
    url	字符串	要添加的链接标记的 URL。
    path	字符串	要添加的本地 CSS 文件的路径
    content	字符串	要添加的 CSS 字符串

  • authenticate(): 提供 http 身份验证的凭据
  • bringToFront(): 将页面置于前面
  • browser: 获取该页面所属的浏览器
  • click(): 相当于鼠标左键单击匹配的元素，参数是 CSS 选择器的字符串。如果没有匹配到元素，则会引发 PageError

    参数	类型	解释
    button	str	left，right 或 middle，默认为 left。
    clickCount	int	默认为 1。
    delay	int或float	等待时间 mousedown 和 mouseup 以毫秒为单位的时间。默认为 0。

  • close(): 关闭此页面
  • content(): 获取页面的完整 HTML 内容
  • cookies(): 获取 cookie。参数为 URL，如果未指定 URL，则此方法返回当前页面 URL 的 cookie。如果指定了 URL，则仅返回这些 URL 的 cookie
  • coverage： 返回 coverage
  • deleteCookie(): 删除 cookie，参数为 cookie 字段参数，比如 name、url、domain、path 等
  • emulate(): 模拟给定的设备指标和用户代理。相当于同时设置了 setUserAgent()、setViewport()
  • emulateMedia(): 模拟页面的 CSS 媒体类型。参数为：screen、print、None。
  • evaluate(): 在浏览器上执行 js 并获取结果
  • evaluateHandle(): 同上，只是会返回一个值。
  • evaluateOnNewDocument(): 也是执行 js，在页面跳转时执行
  • exposeFunction(): 将 python 函数添加到浏览器的 window 对象中 name。
  • focus(): 聚焦匹配的元素。如果不存在，抛出 PageError
  • frames：获取此页面的所有 frame
  • goBack()：返回上一个网页。如果不存在，则返回 None
  • goForward(): 跳转到下一页。如果不存在，则返回 None
  • goto(): 访问某个 URL

    参数	解释
    url	-
    timeout	-
    waitUntil	等待访问成功,参数需要另外指定

  • hover(): 鼠标悬停匹配的元素
  • isClosed(): 判断页面是否关闭
  • keyboard： 获取 keyboard 对象
  • mainFrame： 获取 frame 页面的主要内容
  • metrics(): 获取页面中的信息
  • mouse： 获取 mouse 对象
  • reload(): 刷新网页
  • screenshot(): 截图

    参数	类型	解释
    path	str	保存图像的文件路径。屏幕截图类型将从文件扩展名中推断出来。
    type	str	指定屏幕截图类型，可以是 jpeg 或 png。默认为 png。
    quality	int	图像的质量，在 0-100 之间。不适用于 png 图像
    fullPage	bool	如果为 true，请截取完整的可滚动页面。默认为 False。
    clip	字典	指定页面剪切区域的对象。有参数x,y,width,height
    omitBackground	bool	隐藏默认的白色背景并允许捕获具有透明度的屏幕截图。
    encoding	str	图像的编码可以是 base64 或 binary。默认为 binary

  • select(): 选择选项并返回所选值。如果未找到元素，抛出 ElementHandleError。
  • setCacheEnabled(): 为每个请求启用/禁用缓存。默认启用
  • setContent(): 将 HTML 加到网页
  • setCookie(): 设置 cookie
  • setDefaultNavigationTimeout(): 更改默认的最大导航超时。默认 30 秒
  • setJavaScriptEnabled(): 设置 JavaScript 启用/禁用
  • setExtraHTTPHeaders(): 设置默认 headers 头，值为一个字典
  • setRequestInterception(): 启用/禁用请求拦截。配合 page.on()
  • setUserAgent(): 设置要在此页面中使用的 UA
  • setViewport(): 设置窗口大小。

    参数	类型	解释
    width	int	以像素为单位的页面宽度。
    height	int	以像素为单位的页面高度
    deviceScaleFactor	float	默认为 1.0
    isMobile	float	默认为 False。
    hasTouch	bool	默认为 False
    isLandscape	bool	默认为 False

  • tap(): 点击与之匹配的元素
  • title(): 获取页面标签
  • tracing：获取 tracing 对象
  • type(): 往输入框中输入内容，第一个参数为 CSS 选择器，第二个为文本内容
  • url：获取此页面的 url
  • waitFor(): 等待页面上匹配的函数，超时或元素。参数可以是 int 或者 float，单位毫秒。也可以是 CSS 选择器
  • waitForNavigation(): 等到网页跳转
  • waitForRequest(): 等待请求
  • waitForResponse(): 等待回应
  • waitForSelector(): 等到页面上出现匹配的元素。其实 waitFor()也有同样功能。
  • waitForFunction(): 等到函数完成并返回一个值
  • waitForXPath(): 等到 xpath 页面上出现匹配的元素
  • workers: 获取页面的所有 worker。
  • xpath(): xpath页面寻找

worker 类

• page.on('workercreated', 函数) 这个函数传入的参数就是 worker 类
  • evaluate(): 同上
  • evaluateHandle():同上
  • executionContext():同上
  • url: 同上

键盘类

• down(): 如果没有参数，则是按下鼠标左键。如果是键盘的某个值比如 shift、A 等键，则是相当于按下这些键。
• press(): 同 down()，但是上面是不会释放鼠标或者键盘，需要调用 up 方法释放鼠标。
• sendCharacter：将字符发送到页面。
• type(): 同上
• up(): 释放由 down 按下的键或者鼠标

鼠标类

• click(): 按下(x, y)处的按钮

  参数	类型	解释
  button	STR	left（左键）、right（右键）或 middle（中键），默认为 left
  clickCount	int	默认为 1。
  delay	int或float	等待时间 mousedown 和 mouseup 以毫秒为单位的时间。默认为 0

• down(): 同上
• move(): 移动鼠标光标。
• up()： 同上

tracing 类

创建可在 Chrome DevTools 或时间线查看器打开的跟踪文件 ，使用如下

await page.tracing.start({'path': 'trace.json'})

await page.goto('https://www.google.com')

await page.tracing.stop()

• start(): 开始跟踪
• stop(): 停止跟踪

Dialog类

page.on( 'dialog', 函数)，函数的参数就是这个类

• accept(): 接受对话框
• defaultValue： 如果对话框提示，则获取默认提示值
• dismiss(): 关闭对话框
• message: 获取对话框消息
• type： 获取对话框类型。类型有：alert，beforeunload，confirm，或 prompt

frame 类

• isDetached()： 如果此框架已分离，则返回 True
• name：获取 frame 的名称，如果没有则返回 ID
• parentFrame：获取父框架

frme类和page基本相同 一般使用page

ElementHandle 类

request 类

• page.on('request', 函数) 这个函数传入的参数就是 request 类
  • abort(): 中断请求
  • continue_(): 使用可选的请求覆盖继续请求

    参数	类型	解释
    url	str	如果设置，请求 URL 将被更改。
    method	str	如果设置，则更改请求方法（例如 GET）。
    postData	str	如果设置，则更改发布数据或请求。
    headers	dict	如果设置，则更改请求 HTTP 标头

  • failure(): 返回错误文本
  • frame : 返回匹配的 frame 对象
  • headers: 返回此请求的 HTTP 标头字典
  • method：返回此请求的方法
  • postData： 返回此请求的子正文
  • redirectChain： request 类重定向的所有请求
  • resourceType：渲染引擎感知的此请求的资源类型
  • respond(): 通过给定的参数修改请求

    参数	类型	解释
    status	int	响应状态代码，默认为 200。
    headers	dict	可选的响应头。
    contentType	str	如果设置，则等于设置Content-Type 响应头
    body	str或bytes	可选的响应主体

  • response(): 返回匹配的 response 对象
  • url： 此请求的 URL

response 类

target 类

Debugging

对于调试，您可以设置 for 和 功能 logLevel 选项。但是，此选项会打印太多日志，包括 pyppeteer 的 SEND / RECV 消息。为了只显示被抑制的错误消息，您应该设置 logging.DEBUG 为 True

mport asyncio
import pyppeteer
from pyppeteer import launch

pyppeteer.DEBUG = True  # 在此处设置

async def main():
    browser = await launch()
    
asyncio.get_event_loop().run_until_complete(main())