spider(爬虫)
推荐抓取工具：火车采集器\火车头采集器
爬虫抓取网页
//node 中http模块,可以用来开启服务器(http.createServer),也可以用来开启客户端(http.request)
//网页抓取核心代码如下 --> server.js
const http = require('http');
const https = require('https');
const urllib = require('url');
const fs = require('fs');
const pathlib = require('path');
const assert = require('assert');
/*
封装http.request,用来自动分别http与https
url --> 网址
headers --> options需要的headers
*/
function reqUrl(url,headers){
//使用url模块解析url,得到url对象
let urlObj = urllib.parse(url);
//用来获取http或者https
let httpMode = null;
if(urlObj.protocol == 'http:'){
httpMode=http;
}else if(urlObj.protocol == 'https:'){
httpMode=https;
}else{
console.log(urlObj.protocol);
throw new Error('错误');
}
//http.request的optios参数
const options = {
host:urlObj.host,//要爬取的网站
path:urlObj.path,//要爬取的路径
header:headers//某些网站爬取需要的headers
};
//因http.request是个异步函数,所以此处return一个promise
return new Promise((resolve,reject)=>{
//http.request,作为一个客户端向服务端发起请求
let req = httpMode.request(options,res=>{
// res.statusCode作为访问成功与否的标准
if(res.statusCode>=200&&res.statusCode<300||res.statusCode==304){
let arr = [];
res.on('data',function (data){
arr.push(data);
});
res.on('end',function (){
let buffer = Buffer.concat(arr);
//接收处理结果交由resolve()
resolve({
statusCode:200,
body: buffer,
headers: res.headers
})
})
//如果是301或者302,也是成功这是需要跳转
}else if(res.statusCode==301||res.statusCode==302){
resolve({
statusCode:res.statusCode,
body: null,
headers: res.headers
})
//出错了
}else{
reject({
statusCode:res.statusCode,
body: null,
headers: res.headers
});
}
});
//请求的时候就出错了,例如网址不存在
req.on('error',err=>{
console.log('error',err);
});
req.write('');
//end()表示正式开始请求
req.end();
})
}
async function req(url){
try{
//循环处理多次301或者302的情况
while(true){
let {statusCode,body,headers} = await reqUrl(url);
console.log(statusCode,body,headers);
if(statusCode==200){
return {body,headers}//成功之后 退出循环
}else{
//let {statusCode,body,headers:head} = await reqUrl(headers.location);
assert(headers.location);//此处使用断言一定有此属性
url=headers.location;//不成功将url重新赋值,继续循环
}
}
}catch(e){
console.log('进到catch',e);
}
}
//因req是一个async函数,所以此处也需要使用async函数接收数据,此处使用了自调用函数
(async ()=>{
let {body,headers} = await req('http://www.tmall.com');
fs.writeFile('spider',body,err=>{
if(err){
console.log('写入失败');
}else{
console.log('写入完成');
}
})
})()
jsdom.js
原因：因爬虫抓取的是html网页,所以需要进行数据解析,jsdom第三方模块可以实现
作用：将html反向解析成dom对象
安装：cnpm i jsdom -D
使用：
const JSDOM = require('jsdom').JSDOM;
const fs=require('fs');
fs.readFile('test.html', (err, buffer)=>{
if(err){
console.log('读取失败');
}else{
let html=buffer.toString();
//创建jsdom对象,并将需要解析的对象传参进去
let jsdom=new JSDOM(html);
//获取dom对象
let document=jsdom.window.document;
//创建$
let $=document.querySelectorAll.bind(document);
//按照JS操作dom对象方式进行操作即可
let oTxt=$('input.txt1')[0];
console.log(oTxt.value);
}
});
爬虫抓取数据
1. 使用爬虫抓取网页;(此处以天猫手机网页为例,部分网站数据应该是抓取shr数据)
2. 使用jsdom对网页进行解析
3. 封装存库,继续向下抓取,等等等操作
4. 详见4-19.zip --> tmall_shouji_spider2.js
某些页面编码是gbk然而node本身不认gbk编码,所以buffer.toString('gbk')指定编码的方法不可用,这里需要使用第三方gbk模块;
cnpm i gbk -D
const gbk=require('gbk');
gbk.toString('utf-8',buffer);//使用gbk模块将buffer编码变成utf-8
