【nodejs】 用node内置模块实现简单 爬虫（http、fs）

我对爬虫有一点点执念，想着非要自己上手写一个试试。在看到 http的get方法的时候 感觉像是看到了希望。于是就只使用get方法，加一个 fs的保存文件的方法，来实现一个简单的爬虫。

http get方法简介

首先让我们来看一下 get方法的书写格式：

const http = require('http');

http.get(url, function(res){

     // data method 
    res.on('data', function(data){
        console.log(data);
        console.log('传输数据中....')
    });
    
    // end method
    res.on('end', function(){
        console.log('数据传输完毕');
    })
}).on('error', function(err){
    console.log('报错了')
})

此方法首先接收一个 url的地址作为访问参数， 第二个参数则为一个回调函数。 此回调函数 接收一个 对象 ，这个对象中会有两个方法 ，分别是 data和end。 我们可以通过 on的形式 对 这两个方法进行 监听。当 被请求的网页数据量很大时，此data会被 触发几次， 每次都会返回一个数据片段。 数据片段之和就是整个网页了。
但是在这里需要注意的是， data默认返回的 是Buffer类。如果要转成 字符串的话， 需要调用 buffer.toString('utf8')方法。 当然这里的参数亦可以是 进制数。我们也可以在 data监听函数上进行 设置

res.on('data', 'utf8', function(res){
    console.log(res);  // string
})

在请求地址的过程中，如果出现错误的话， 就会返回一个错误给error方法。 所以有必要时，可以在error回调中写一些 失败的逻辑。

保存一张网图

const http = require('http');
const fs = require('fs');

let img = 'http://dpic.tiankong.com/r3/w8/QJ6871380245.jpg';

http.get(img, function(res){
    let arr = [];
    res.on('data', function(data){
        arr.push(data);
        
    })

    res.on('end', function(){
        buf = Buffer.concat(arr);

        fs.writeFileSync('./4.jpg', buf);

        console.log('end....')
    })
})

爬取整个网页的图片

其实 想要获取整个页面的图片很简单

• 通过get请求获取整个网页的buffer数据，并转成字符串拼接
• 利用cheerio模块中的 语法实现 对 html字符串进行jq操作
• jq操作 提取出所有img标签上的 src地址
• 再调用一次get方法请求每个图片地址，获取图片的buffer数据
• 将buffer数据存到arr中， 并 通过Buffer.concat(arr)的方法将 arr转成一个Buffer对象
• 通过fs.writeFileSync 保存 buffer对象为一张图片即可

以下展示代码

let https = require('https');
let http = require('http');
let cheerio = require('cheerio'); // html字符串版的 jq
let fs = require('fs');

let url = 'https://www.quanjing.com/creative/topic/1';


https.get(url , function(res){  
    
    var str = '';

    res.on('data', function(data){
       
        str+= data.toString('utf8');
        
    })

    res.on('end', function(){

        let $ = cheerio.load(str);

        addImg($);

        console.log('传输完毕');
    })
}).on('error', function(err){
    console.log(err);
})



function addImg($){

    $('img').each(function(index, ele){
        let src = $(ele).attr('src');
        
       if(index > 3){

          saveImg(src, index);
        }
    })
}

function saveImg(url,index){

    http.get(url,function(res){
            let arr = [];
            res.on('data', function(data){
                arr.push(data);
                
            })
        
            res.on('end', function(){
                let buf = Buffer.concat(arr);
                
                fs.writeFileSync('./img/'+(index+1)+'.jpg', buf);
                console.log('图片保存成功')
            })
        })
}