我对爬虫有一点点执念，想着非要自己上手写一个试试。在看到 http的get方法的时候 感觉像是看到了希望。于是就只使用get方法，加一个 fs的保存文件的方法，来实现一个简单的爬虫。
http get方法简介
首先让我们来看一下 get方法的书写格式：
const http = require('http');
http.get(url, function(res){
// data method
res.on('data', function(data){
console.log(data);
console.log('传输数据中....')
});
// end method
res.on('end', function(){
console.log('数据传输完毕');
})
}).on('error', function(err){
console.log('报错了')
})
此方法首先接收一个 url的地址作为访问参数， 第二个参数则为一个回调函数。 此回调函数 接收一个 对象 ，这个对象中会有两个方法 ，分别是 data和end。 我们可以通过 on的形式 对 这两个方法进行 监听。当 被请求的网页数据量很大时，此data会被 触发几次， 每次都会返回一个数据片段。 数据片段之和就是整个网页了。
但是在这里需要注意的是， data默认返回的 是Buffer类。如果要转成 字符串的话， 需要调用 buffer.toString('utf8')方法。 当然这里的参数亦可以是 进制数。我们也可以在 data监听函数上进行 设置
res.on('data', 'utf8', function(res){
console.log(res); // string
})
在请求地址的过程中，如果出现错误的话， 就会返回一个错误给error方法。 所以有必要时，可以在error回调中写一些 失败的逻辑。
保存一张网图
const http = require('http');
const fs = require('fs');
let img = 'http://dpic.tiankong.com/r3/w8/QJ6871380245.jpg';
http.get(img, function(res){
let arr = [];
res.on('data', function(data){
arr.push(data);
})
res.on('end', function(){
buf = Buffer.concat(arr);
fs.writeFileSync('./4.jpg', buf);
console.log('end....')
})
})
爬取整个网页的图片
其实 想要获取整个页面的图片很简单
- 通过get请求获取整个网页的buffer数据，并转成字符串拼接
- 利用
cheerio模块中的 语法实现 对 html字符串进行jq操作 - jq操作 提取出所有img标签上的 src地址
- 再调用一次get方法请求每个图片地址，获取图片的buffer数据
- 将buffer数据存到arr中， 并 通过
Buffer.concat(arr)的方法将 arr转成一个Buffer对象 - 通过
fs.writeFileSync保存 buffer对象为一张图片即可
以下展示代码
let https = require('https');
let http = require('http');
let cheerio = require('cheerio'); // html字符串版的 jq
let fs = require('fs');
let url = 'https://www.quanjing.com/creative/topic/1';
https.get(url , function(res){
var str = '';
res.on('data', function(data){
str+= data.toString('utf8');
})
res.on('end', function(){
let $ = cheerio.load(str);
addImg($);
console.log('传输完毕');
})
}).on('error', function(err){
console.log(err);
})
function addImg($){
$('img').each(function(index, ele){
let src = $(ele).attr('src');
if(index > 3){
saveImg(src, index);
}
})
}
function saveImg(url,index){
http.get(url,function(res){
let arr = [];
res.on('data', function(data){
arr.push(data);
})
res.on('end', function(){
let buf = Buffer.concat(arr);
fs.writeFileSync('./img/'+(index+1)+'.jpg', buf);
console.log('图片保存成功')
})
})
}
