本文介绍《爬虫应用示例--puppeteer数据抓取的实现方法》中涉及到的puppeteer组件如何安装,以及相关的坑。
一、puppeteer介绍
Puppeteer 是一个node库,内含了一个chrome浏览器,以及一组用来操纵Chrome的API。
相关资料:
1、github:https://github.com/puppeteer/puppeteer
2、中文资料:http://www.puppeteerjs.com/
3、API:https://chromedevtools.github.io/devtools-protocol/
安装方式:
1、方式一完整安装,包含chrome浏览器+API,npm i puppeteer【本文采用这种安装方式,因为项目需要浏览器自动化的远程数据自动化抓取】
2、方式二精简安装,只包含api,npm i puppeteer-core
二、puppeteer安装
npm install puppeteer@1.8.0 --unsafe-perm=true --allow-root
说明:
1、以上语句执行一次如果出错,则可以再执行1到2次试试
2、也可以尝试用cnpm安装试试
3、总之要执行后,出现以上结果则说明安装成功
三、安装过程中的几个坑
试过如下几种安装方式:
1、npm install puppeteer --save
2、npm install puppeteer --unsafe-perm=true --allow-root
3、npm install puppeteer --ignore-scripts
4、cnpm install puppeteer –save
5、cnpm install puppeteer --unsafe-perm=true --allow-root
其结果都是出现“Failed to set up Chromium r901912! Set "PUPPETEER_SKIP_DOWNLOAD" env variable to skip download.”的错误,安装失败。