客户端爬虫平台(dSpider)提供了Android/ios sdk, 同时支持显式爬取和静默爬取. dSpider是一个使用Javascrip语言的客户端爬取平台,由sdk、Pc工具(即将发布)、以及云管理平台三部分组成。详情:https://dspider.dtworkroom.com/document
客户端需求的场景及简介
如果你还不知道客户端爬取是什么,能干什么,下面文章你需要先了解一下:
IOS集成文档
官方帮助文档:https://dspider.dtworkroom.com/document/ios
demo: https://github.com/wendux/DSpiderDemo-ios (欢迎star)
附:DSpider的9大特点
- 突破ip限制,IP限制对DSpider彻底无效
- 客户端用户授权时可手动登录,绕过验证码问题,使用户体验更友好。
- 可以抓取动态生成的网页。
- 脚本使用javascript语言,对于前端程序员0门槛。
- 爬取脚本非常容易写,代码量极少,你可以使用任何前端的js库,同时dSpider内置jQuery,让解析网页非常容易。
- 测试支持;支持本地调试,同时提供pc端测试工具。
- 强大的云管理平台;实时监视应用爬取状态、动态更新脚本、错误分析、配置下发等众多功能。
- 支持ios/android,支持静默爬取。
- 脚本商店;完整的生态系统和用户群,用户可以发布脚本到脚本商店,其它用户可以自由添加。用户无需自己写代码。
dspider官网:https://dspider.dtworkroom.com/document/introduction