首先我们默认你已经安装node开发环境，node开发IDE (什么webstrom vscode sublime网上很多工具不多做赘述)。以及npm（NodeJS安装包管理工具）
这里我们测试爬虫百家号的不同tab下的新闻列表
image.png
爬虫的基本思路
- 通过chrom浏览器请求网站
- 检查元素分析数据的结构
- 通过network分析点击tab网站对应的请求url
- 获取所有tab对应的url进行并发请求
- 解析源码获取对应的新闻数据
- 包装成我们想要的数据结构
image.png
image.png
创建demo cd到一个空文件夹
1.初始化项目
npm init
2.创建爬虫文件fetch.js
3.通过npm安装superagent、cheerio、async以及url爬虫需要的技术框架
npm install superagent cheerio async url
开始编写爬虫代码
1.首先要引用我们需要的技术框架
//请求网址
var request = require('superagent');
//解析网页源码
var cheerio = require('cheerio');
//控制并发数
var async = require('async');
//url处理
var URL = require('url');
//文件管理
var fs = require('fs');
var path = require('path');
2.第一次请求百家号获取不同tab对应的url
//要爬虫的网站
var bjhVideoUrl = 'https://baijia.baidu.com/';
function startFetch() {
request
.get(bjhVideoUrl)
.end((err,res)=> {
if(err) {
console.log(err);
return;
}
//解析源码获取url
decodeHeaderUrl(res);
});
}
3.根据源码解析网址获取不同url 以及并发请求子tab对应的网页数据
function decodeHeaderUrl(res){
var headerUrls = [];
var $ = cheerio.load(res.text);
$('#header-wrapper .bjh-header-content .bjh-header-list li a').each((idx,element)=> {
var href = $(element).attr('href');
var title = $(element).text().trim();
var headerJson = {
'href':href,
'title':title
};
titleJsons.push(headerJson);
var url = URL.resolve(bjhVideoUrl,href);
console.log(url);
headerUrls.push(url);
});
//通过语法糖async并发请求 headerurls:url数组，2:并发数
async.mapLimit(headerUrls,2,function(url,cb){
requestByTitle(url,cb);
},function(err,result){//全部请求结束之后返回的包装数据数组
console.log('fetch data success! fetch data count ' + result.length);
try {
//数据保存到db.json文件
fs.writeFileSync(path.join(__dirname,'db.json'),JSON.stringify(result,null,2),{'flag':'a'});
console.log('save fetch data to db.json success!');
} catch (error) {
console.log('save fetch data to db.json fail!');
}
});
}
4.解析子tab 来获取我们要的新闻列表数据
var $ = cheerio.load(res.text);
var artEle = $('#articleList')
artEle.children().each((idx,element)=> {
var className = $(element).attr('class');
if (className === 'article-info'){
var imgEle = $(element).find('img');
var imgSrc = $(imgEle).attr('src');
var titleEle = $(element).find('.title').children()[0];
var title = $(titleEle).text().trim();
var authorEle = $(element).find('.author').children()[0];
var author = $(authorEle).text().trim();
var otherEle = $(element).find('.author').children()[1];
var other = $(otherEle).text().trim();
var titleJson = {
'type':className,
'images':[imgSrc],
'title':title,
'author':author,
'other':other
}
videoJsons.push(titleJson);
5.包装我们想要的数据结构
//根据不同tab 对应不同的数据列表
function createResult(url,videos) {
var urlParse = URL.parse(url);
var index = 0;
if (urlParse.query) {
index = parseInt(urlParse.query.substr(4,1));
}
index = index > 0 ?index : 0;
var titleJson = titleJsons[index];
var videoJson = {
'title':titleJson['title'],
'videos':videos
}
return videoJson;
}
6.fetch.js爬虫代码编写完毕，接下来执行fetch文件
node fetch
返回结果如下：
image.png
数据被保存到db.json文件如下：
image.png
到此爬虫项目就结束了，源码：github
本次爬虫demo使用的相关框架：
*superagent：superagent 是一个轻量的,渐进式的ajax api,可读性好,学习曲线低,内部依赖nodejs原生的请求api。采用链式编程进行方法的调用，通俗易懂，便于理解。我们通过它请求网址获取网页源码。
POST请求用例：
superagent
.post('/api/pet')
.send({ name: 'Manny', species: 'cat' })
.set('X-API-Key', 'foobar')
.set('Accept', 'application/json')
.end(function(res){
if (res.ok) {
alert('yay got ' + JSON.stringify(res.body));
} else {
alert('Oh no! error ' + res.text);
}
});
详细介绍：CNode中文社区
*cheeio：cheerio是nodejs的抓取页面模块，为服务器特别定制的，快速、灵活、实施的jQuery核心实现。适合各种Web爬虫程序。会玩jQuery的朋友相信看一眼就会使用了。通过它来解析我们的网页源码获取我们想要的数据内容。
获取数据用例：
var headerUrls = [];
var $ = cheerio.load(res.text);
$('#header-wrapper .bjh-header-content .bjh-header-list li a').each((idx,element)=> {
var href = $(element).attr('href');
var title = $(element).text().trim();
var headerJson = {
'href':href,
'title':title
};
titleJsons.push(headerJson);
var url = URL.resolve(bjhVideoUrl,href);
console.log(url);
headerUrls.push(url);
});
更多实用方法请上：CNode中文社区
*async：Async 模块是比较有名的异步解决方案，在爬虫过程中如果并发请求较大，有可能会被网站认为恶意攻击，所以我们通过async的eachLimit技术来控制并发数来减少风险。
并发数控制用例：
async.mapLimit(headerUrls,2,function(url,cb){
requestByTitle(url,cb);
},function(err,result){
console.log('fetch data success! fetch data count ' + result.length);
try {
fs.writeFileSync(path.join(__dirname,'db.json'),JSON.stringify(result,null,2),{'flag':'a'});
console.log('save fetch data to db.json success!');
} catch (error) {
console.log('save fetch data to db.json fail!');
}
});
