上一篇讲述了如何去配置使用puppeteer。本篇开始讲述如何去爬取小说网站中的内容到本地。废话少讲，接下来从一个栗子直接开始。。。
1.找一本自己想看的小说（百度搜索就好了）
-
这里我直接百度搜了一本《完美世界》小说目录地址
-
然后使用puppeteer打开这个页面（就是将之前的百度改成这个网址
//跳转到网址
var respond = await page.goto("http://wanmeishijiexiaoshuo.org/", {
'waitUntil':'domcontentloaded',
'timeout':120000
}).catch(ex=>{
console.log(ex);
});
if (!respond) {
console.log('fail to goto website!');
browser.close().catch(e=>{});
return;
}
运行下可以得到：
小说目录
此时我们按下 F12 获取目录的css选择定位
css选择
定位到目录的位置。好了，到 <ul> 标签正好（不同的小说网站也许会不一样，找到目录下的那个标签即可）。此时对着标签 右键 > copy > css selector。粘贴下得到
body > div:nth-child(10) > div > ul
这时候得到的仅仅是目录的根标签，我们所需要定位的是带链接的 <a> 标签。根据小说网站的不同，补全到 <a> 标签 路径下，这里是：
body > div:nth-child(10) > div > ul > li > span > a[href]
-
接下来我们就可以针对页面进行操作了
puppeteer API
/*获取章节信息*/
var allLinks = await page.evaluate(() => {
let list = [...document.querySelectorAll('body > div:nth-child(10) > div > ul > li > span > a[href]')];
let result = [];
for (var i = 0; i < list.length; i++) {
let a = list[i];
let chapter = {
'name':a.textContent,
'link':a.href
}
result.push(chapter);
}
return result;
}).catch(ex=>{
console.log(ex);
})
console.log(allLinks);
运行下可以获取到结果如下：
[ { name: '序章 大荒',
link: 'http://wanmeishijiexiaoshuo.org/book/1.html' },
{ name: '第一章 朝气蓬勃',
link: 'http://wanmeishijiexiaoshuo.org/book/9.html' },
{ name: '第二章 骨文',
link: 'http://wanmeishijiexiaoshuo.org/book/12.html' },
{ name: '第三章 祭灵',
link: 'http://wanmeishijiexiaoshuo.org/book/15.html' },
{ name: '第四章 药浴',
link: 'http://wanmeishijiexiaoshuo.org/book/17.html' },
{ name: '第五章 举鼎',
link: 'http://wanmeishijiexiaoshuo.org/book/19.html' }
...
]
wow!,全部章节的url我们都获取下来了。ok next。。。
-
接下来我们来获取章节的内容
同理我们先打开一页内容页，并获取内容的css selector。得到如下结果：
body > div:nth-child(9) > div.content
接下来直接上代码看看
//为防止被反爬，这里只获取1页
for (var i = 0; i < 1/*allLinks.length*/; i++) {
var chapter = allLinks[i];
//跳转到网址
var respond = await page.goto(chapter.link, {
'waitUntil':'domcontentloaded',
'timeout':120000
}).catch(ex=>{
console.log(ex);
});
if (!respond) {
console.log('fail to goto website!');
browser.close().catch(e=>{});
return;
}
await page.waitForSelector('body > div:nth-child(9) > div.content').catch(ex=>{
console.log(ex);
})
/*获取章节内容*/
var content = await page.evaluate(() => {
let contentElement = document.querySelector('body > div:nth-child(9) > div.content');
var result;
result = contentElement.innerText;
return result;
}).catch(ex=>{
console.log(ex);
})
console.log(content);
}
运行下可以得到结果如下
...省略
{ name: '第九十八章 闯关',
link: 'http://wanmeishijiexiaoshuo.org/book/242.html' },
... 1929 more items ]
夜已深，漆黑一片，景物不可见。但山中并不宁静，猛兽咆哮，震动山河，万木摇颤，乱叶簌簌坠落。
群山万壑间，洪荒猛兽横行，太古遗种出没，各种可怕的声音在黑暗中此起彼伏，直欲裂开这天地。
山脉中，远远望去有一团柔和的光隐现，在这黑暗无尽的夜幕下与万山间犹如一点烛火在摇曳，随时会熄灭。
渐渐接近，可以看清那里有半截巨大的枯木，树干直径足有十几米，通体焦黑。除却半截主干外，它只剩下了一条柔弱的枝条，但却在散发着生机，枝叶晶莹如绿玉刻成，点点柔和的光扩散，将一个村子笼罩。
确切的说，这是一株雷击木，在很多年前曾经遭遇过通天的闪电，老柳树巨大的树冠与旺盛的生机被摧毁了。如今地表上只剩下**米高的一段树桩，粗的惊人，而那仅有的一条柳枝如绿霞神链般，光晕弥漫，笼罩与守护住了整个村子，令这片栖居地朦朦胧胧，犹若一片仙乡，在这大荒中显得很神秘。
...省略
诶，内容也拿到了
-
接下来我们把得到的内容存起来到文件中这里就不绕弯了，直接上存储的代码
const fs = require('fs')
const path = require('path')
function saveToFile(file, content) {
return new Promise((resolve, reject) => {
var parentPath;
if (path.extname(file)) {
parentPath = path.dirname(file);
} else {
parentPath = path.dirname(file);
}
mkdirs(parentPath, err => {
if (err) {
reject(err);
return;
}
fs.writeFile(file, content, {flag:"a"}, err1 => {
if (err1) {
reject(err);
} else {
resolve();
}
});
})
});
}
说明一下，path就是需要保存的文件路径，content是内容。
ok,本篇主要讲了爬取小说的基本逻辑，但仍然是不能用的很爽。一来比较慢，二来爬的多了会被反爬。下一篇将会优化这个过程。请多多关注！
