通过前两篇文章，我们深入论述了后台爬取的痛点，同时提出了对客户端方案可行性的思考。今天我们就来介绍一下全球第一个客户端爬取平台，今天我们来揭开它的神秘面纱！
前两篇文章：
一篇文章了解爬虫技术现状
爬虫技术(二)－客户端爬虫
DSpider平台
DSpider是客户端爬取平台台,官网地址：https://dspider.dtworkroom.com/，如官网说述， DSpider主要由云管理平台、sdk、爬虫商店三部分组成，我们简单说明一下这三者的各自职责：
云管理平台
dSpider的爬取脚本是动态下发的，云管理平台主要用于配置脚本参数、更新脚本、统计脚本爬取状态、错误分析等。如果你是开发者，那么云管理平台同时也是发布、管理自己脚本的地方。
SDK
sdk负责从云端请求脚本然后执行，最后将爬取结果传给第三方APP. （官方提供了ios和android的sdk,但目前只开放了android sdk）。
爬虫商店
类似于应用商店，是一个爬虫仓库，开发者可以在里面挑选所需的脚本，也可以将自己的脚本发布到爬虫商店
集成到APP
我们以android为例,官方提供了完整的文档及demo:
Android集成文档：https://dspider.dtworkroom.com/document/android
Android demo:https://github.com/wendux/DSpiderDemo-Android
我们先来看看官方demo的运行效果：
显式爬取
爬取简书主页所有文章标题和链接：
隐式爬取（静默）
隐式爬取没有进度条，demo中弹出了一个loading窗作为指示：
爬取脚本
爬取脚本非常简单，我们看看爬取简书的脚本：
/**
* Created by du on 16/11/21.
*/
dSpider("jianshu", function(session,env,$){
session.showProgress();
var $items=$("div.title");
var count=$items.length;
session.log("共"+count+"条");
session.setProgressMax(count)
session.setProgressMsg("正在初始化");
var i=0;
//模拟进度，每隔200ms向端上传递一次数据
var timer=setInterval(function(){
session.setProgress(i+1);
var title=$items.eq(i).text();
session.setProgressMsg(title);
session.push({title:title, url:$items.eq(i).parent().attr("href")});
if(++i>=count){
clearInterval(timer);
session.finish();
}
},200);
})
可见爬取脚本非常简单：用jquery解析网页，然后再通过session对象和native 进行交互。详细的API文档请移步dSpider Javascript API文档。
注意事项
- 集成前需要去官网注册，登录后要先创建应用
- 创建应用成功后会得到appid, sdk中需要。
- 应用创建之后需要给应用手动添加所需的爬虫；系统默认会给每个新建的应用添加sid为1的测试爬虫，该爬虫信息：https://dspider.dtworkroom.com/spider/1；
- sid为每一个爬虫的id, 在后台创建爬虫后会得到sid. 你也可以去脚本商店选择。
