利用node实现爬虫这里用到了三个主要模块,其中https,fs是内置模块可以直接引入,cheerio是第三方模块需要npm install cheerio --save 安装后使用。
这里我介绍一个三个模块的相应用法
首先是https模块,顾名思义是用于获取https协议网址的相关内容所需要用到的模块,其中包含get,post两中方法,在获取数据时也有所不同,我使用的是get方法,https.get(url,(res)=>{})接收两个参数,第一个是要爬取的地址,第二个是回调函数用于获取返回的数据,res有两个监听,res.on('data')是监听每一段数据流数据传输,接收参数就是每次传输的(html)数据,这个数据我们保存在一个字符串中,并将所有的数据进行拼接。之后会用到res.on('end')方法,表示数据传输已经完成,这个时候就需要用到移入的第三方模块cherrio。
cherrio模块中有一个.load方法,用来解析我们之前保存下的html字符串,解析后的html数据用类似于jQuery的方法来获取相关的dom元素的信息,这边我们要获取的是img标签中的src的值,所以先遍历出所有的img标签,获取到所有的图片地址。将获取到的图片地址信息再用https进行一次获取到真正的图片数据。这个时候就需要fs出场了
fs文件模块有很多种的用法,非常便于我们对nodejs文件进行一个快捷操作。这里我们只需要用到文件写入功能。通过以上操作获取到图片的真实二进制数据,fs.writeFile(保存路径,二进制数据,‘binary’,callback),将所有的请求到的图片下载保存至本地。至此一个简单的图片获取js就基本实现,目前只写了文件夹的处理,后续更新多文件的图片下载。逆战班加油