node爬虫 利用 puppeteer 模块

网上有很多node的爬虫大部分使用的request + cheerio模块。因个人在 ip 代理方面能力不足,所以选择了puppeteer模块。

puppeteer的文档 github 上的 API

puppeteer的 api 中文文档 

我在这里不会介绍puppeteer,原因是你想写爬虫这种你不自己钻研技术,我把代码写好给你,你还是不会,还不如多多看看文档或者度娘谷歌问问去。本身这篇只是做一个记录而已

在这里展示我在爬小说网站的部分代码


写爬虫的原因

        因我是个严重的书虫,每天都是看一段小说,听一段时间小说,而网上的大部分小说是要收费的,一些不收费的网站都有各种YY图片广告,有时候就不小心就点到或者被网站自动触发(很闹心),所以就打算自己写个看书网站和一个看书小程序(很操蛋看书类的小程序,只能是企业版小程序可以提交,因我是个人用户被禁用了)

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 用两张图告诉你,为什么你的 App 会卡顿? - Android - 掘金 Cover 有什么料? 从这篇文章中你...
    hw1212阅读 14,516评论 2 59
  • 我一直觉得,爬虫是许多web开发人员难以回避的点。我们也应该或多或少的去接触这方面,因为可以从爬虫中学习到web开...
    栀子花_ef39阅读 4,432评论 0 2
  • 架构图 Puppeteer 通过 devTools 与 browser 通信 Browser 一个可以拥有多个页面...
    Mr_Treasure阅读 23,892评论 0 14
  • 今天练字的时候看到一句话:人生不是一种享乐,而是一桩十分沉重的工作。这话说的我就很不赞同了,人生的确不只是享乐,因...
    Jasmina琼阅读 1,234评论 0 0
  • 前男友当兵的,是我要他回来的,回来没多久就分手了,他不想呆在这里就一个人去了西藏,我们两个分手的原因是他觉得他和我...
    小小小同学阅读 2,732评论 0 0

友情链接更多精彩内容