之前连续多篇文章介绍客户端爬取平台(dspider)，今天我们从零开始，实现爬取顶点小说网任意一本小说的功能。
如果你还不知道客户端爬取，可以先看下我的前几篇博客：
集成sdk
dspider官方网站有详细的集成文档, 并提供了demo, 我们本节的示例基于该demo开始，请先下载相应平台的demo(github),下面是集成文档：
ios： https://dspider.dtworkroom.com/document/ios
android: https://dspider.dtworkroom.com/document/android
如何集成、爬取文章中很详细，下面我们主要看一下如何写爬取脚本
编写爬取脚本
分析网页
由于我们爬取的手机版网站，打开顶点小说主页 http://m.23us.com/ ，为了简单起见，我们在进入具体小说的目录页后就开始爬取。下面以《择天记》为例：
介绍页url:http://m.23us.com/book/52234
我们提取特征字符串“／book／”。
**目录页url: **http://m.23us.com/html/52/52234/
我们提取小说目录页url特征"html/数字／数字／"。
那么基本的爬取流程如下：
//我们将小说标题作为sessionKey
var sessionKey="小说标题"
dSpider(sessionKey, function(session,env,$){
//在介绍页
if(location.href.indexOf("/book/")!=-1){
//添加爬取按钮
}else if(/.+html\/\d+\/\d+\/$/.test(location.href)) {
//目录页自动开始爬取
｝
})
dSpider为脚本爬取的入口函数，类似于c里面的main函数，详细的请移步dspider javascript api文档 。
介绍页添加爬取按钮
为了启动爬取，我们在介绍页添加一个爬取按钮，原来的介绍页如下：
因为在进入目录页会自动爬取，所以我们只需要将进入章节目录的按钮文字变一下，同时为了醒目，背景换成绿色。
具体代码：
$(".more a").text("爬取本书").css("background","#1ca72b");
目录页爬取
-
在目录页我们获取所有章节的url。
var list = $(".chapter li a"); -
然后通过ajax请求每一个url，获取数据并解析
$.get(e.attr("href")).done(function (data) { //获取章节名 var text = e.text().trim() + "\r\n"; //获取正文，进行格式处理 text+= $(data).find("#txt").html() .replace(/ /g," ").replace(/<br>/g,"\n")+"\r\n"; //将数据传递给端 session.push(text) })
在爬取的时候，我们输出进度消息给端，完整的代码如下：
var sessionKey=dQuery(".index_block h1").text()
dSpider(sessionKey, function(session,env,$){
if(location.href.indexOf("/book/")!=-1){
$(".more a").text("爬取本书").css("background","#1ca72b");
}else if(/.+html\/\d+\/\d+\/$/.test(location.href)) {
log(sessionKey)
var list = $(".chapter li a");
session.showProgress();
session.setProgressMax(list.length);
var curIndex = 0
function getText() {
var e = list.eq(list.length-curIndex-1);
$.get(e.attr("href")).done(function (data) {
var text = e.text().trim() + "\r\n";
text+= $(data).find("#txt").html()
.replace(/ /g," ").replace(/<br>/g,"\n")+"\r\n";
session.push(text)
}).always(function () {
if (++curIndex < list.length) {
session.setProgress(curIndex);
session.setProgressMsg("正在爬取《"+sessionKey+"》 "+e.text())
getText();
} else {
session.setProgress(curIndex);
session.finish();
}
})
}
getText()
}
})
怎么样，简单强大吧！
我们看看运行效果：
爬取成功后，我将数据保存在txt中，然后用qq阅读打开
集成注意事项
下载的demo默认的包名是：wendu.dspiderdemo, appid是5，这是官方账号下的app。 如果你要换包名，需要在后台先创建应用，创建好之后获得appid, 将sdk初始化时的appid换成你自己的appid，然后在爬虫商店找到“顶点小说”，然后将它添加到你的应用，这一步很重要，否则你的应用就没有执行该爬虫的权限。 我们在“顶点小说”详情页获取其id(12),然后在demo中将sid换成12就可以了。爬取的结果可以自己拼接保存在txt中。
