之前有用Vue全家桶写过一个低配版饿了么eleme-vue2，之后就跑去学node.js，Vue饿了么也就被我抛在脑后，Node教程也看过不少，倒也是会点，就想着写点东西爬点嘿嘿嘿的东西，于是有了如下产物。
https://github.com/hbxywdk/Simple-Node.js-Crawler
当然这里不会真爬嘿嘿嘿的东西，这里爬的是w3cplus。
QQ截图20170330140637.png
首先需要npm安装 cheerio 与 request 两个插件，cheerio 很重要，爬东西就靠它，request 用来保存图片。
// 首先引入我们要用到的模块
var http = require("http");
var fs = require('fs');
var cheerio = require("cheerio");
var request = require("request");
// 这里定义一下入口页面
const setting = {
'domain': 'http://www.w3cplus.com',
'link':'/canvas/drawing-regular-polygons.html',
'timeOut':3000 // 3s之后爬下一个页面
}
代码部分 ↓
var html = "";
// get目标页面
http.get(setting.domain + link, function (res) {
res.setEncoding('utf-8'); //防止中文乱码
res.on('data', function (data) {
// 拼接
html += data;
});
res.on('end', function () {
// cheerio.load()
var $ = cheerio.load(html);
//这里就可以像Jq的用法一样拿到我们想要的数据
var pageTitle = $('#page-title.title').text().trim();
console.log('文章标题：' + pageTitle);
// 数据拿到储存起来
saveContent($, pageTitle);
// 找上一篇文章 根据链接的地址就可以爬下一个页面了
var prevLink = $('.prev').next().attr('href');
console.log('上一篇地址：' + prevLink)
// 有上一篇文章
//
if ( !!prevLink ) {
// 记录进度（爬着爬会莫名中断，我也很绝望，
// 这里就搞个文件记录下当前爬到哪了）
fs.writeFile('./jingdu.txt', prevLink + '\r\n', 'utf-8', function (err) {
if (err) {
console.log(err);
}
});
//xxx秒后继续
setTimeout(() => {
getPageNum(prevLink)
},setting.timeOut)
}else{
console.log('木有了');
}
});
}).on('error', function (e) {
console.log('出了点错误:'+ e);
})
saveContent，储存文件
//data文件夹已经手动创建，这里创建data下对应页面名字的文件夹
fs.mkdir('./data/'+ pageTitle, 0777, function(err){
if(err){
console.log('文件夹创建错误:' + err)
}else{
// 储存文字
$('.field-items p').each(function(i, item){
var text = $(this).text().trim() + '\r\n';
fs.appendFile('./data/' + pageTitle + '/' + pageTitle + '.txt', text, 'utf-8', function (err) {
if (err) {
console.log(err);
}
});
})
// 储存图片
$('.field-items p img').each(function(i, item){
// 图片的src
var imgSrc = setting.domain + $(this).attr('src');
// 扩展名正则
var r = /\.[a-zA-Z]+$/;
// 找到当前图片的扩展名
var thisPicType = imgSrc.match(r)[0];
// 储存图片的名字
var imgName = pageTitle + i + thisPicType;
// request 请求图片地址
request.head(imgSrc, function(err,res,body){
if(err){
console.log(' 图片请求错误 '+err);
}else{
request(imgSrc)
.on('error', function(err) {
// 报错可能会中断程序的执行readGoOn函数读取最近的页面链接
setting.link = readGoOn();
// 跌倒了，继续爬，再不济，还能手动啊！
getPageNum(setting.link);
return;
})
.pipe(
fs.createWriteStream('./data/' + pageTitle + '/' + imgName)
);
}
});
})
}
})
完整代码在上面的链接里，一时兴起写的，虽然问题多多，大家将就看。
大家也可以对着自己想爬的网站改改，爬点不可描述的东西，这里我也就描述了~
