大家在做数据爬虫时一般会遇到这几个问题：
- 如何解析动态网页 如弹窗 、通过Ajax异步请求渲染页面；
- 深度爬取 ，如何解决循环爬取与多级翻页的问题
- 如何对爬取内容进行去重 ，图片去重难度大于文本
- 模拟登陆 ，部分敏感信息需要用户进行网站登陆后才可以获取
- 如何破解对方防刷机制 ，常见的有输入验证码或者限制同一IP的访问次数等
- 存储，如何实现海量非结构化内容数据的存储 尤其是图片数据的存储
上述几个问题我们会在接下来的数据采集系列中逐一解决 ，但今天我们要解决的问题是如何实现动态网页的解析
随着AJAX技术不断的普及，以及各种JS框架的出现，现在js渲染出的页面越来越多。对于爬虫来说，这种页面是比较讨厌的：仅仅提取HTML内容，往往无法拿到有效的信息。那么如何处理这种页面呢？总的来说有两种做法
方案
1、Selenium
selenium是基于火狐浏览器的开发者工具，结合selenium webdriver可实现js的动态渲染，模拟用户在浏览器的真实操作，实现数据爬取的目的；通过selenium调用每次都会弹出浏览器界面，可通过在浏览器中设置headless来进入无界面状态；selenium主要优势是浏览器页面的动态交互及js脚本的动态渲染，缺点是每次加载一个 url都相当于打开一次页面，渲染时间比较长，爬取效率非常低，可用于研究和学习，不适合生产环境使用
2、抓包
因为js渲染时用到的数据都是从后端获取的，每一个ajax请求都会对应一个http的api接口，所以只要认真分析网页的ajax请求找出对应的数据接口，就可以实现数据的爬取了，而且数据接口较页面来说更稳定，一般返回的数据结构不会变更；缺点就是如果待爬取的页面请求过于复杂，需要有一定的分析经验，借助分析工具耐心观察、调试定位。
为了便于大家能够在实际生产中得到应用，这里以第二种方案进行流程讲解
案例背景
全量爬取IconFont的svg图片
过程再现
- 使用chrom进入网站，找到网站数据的列表页
image.png
- F12打开检查器分析http协议的数据包 ，刷新当前页面，选定XHR查看ajax请求
image.png
通过上图分析发现，列表页数据api接口是 ：https://www.iconfont.cn/api/collections.json?type=3&sort=time&limit=9&page=1&keyword=&t=1575348830602&ctoken=VF3fshx8oWHDsvZOr819_IXR
上述链接数据返回格式如下图，其中标记出来的部分为用户Id
image.png
-
点击其中一个Item进入用户作品列表页
image.png -
这个页面也是ajax获取数据动态渲染的，依然进入检查功能找到对应的ajax请求接口
image.png
通过这个接口就可以拿到具体Icon的svg标签数据了
image.png
核心代码
爬虫的主体框架选用的是webmagic，通过重写pageProcesser与pipeline两部分实现对Icon的抓取与存储
页面解析
package com.crawler.icon;
import java.io.IOException;
import java.util.List;
import com.crawler.image.ImageDownloaderUtil;
import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;
public class ImageProcessor implements PageProcessor {
/**
* 网络爬虫相关配置
* 这里设置了重试次数,时间间隔
*/
private Site site = Site.me().setTimeOut(3000);
private static String LIST_URL = "https://www.iconfont.cn/api/collections.json.*";
public Site getSite() {
return site;
}
public void process(Page page) {
// 判断当前页面是用户列表页还是作品列表页
if (page.getUrl().regex(LIST_URL).match()) {
List<String> ids = new JsonPathSelector("$.data.lists[*].id").selectList(page.getRawText());
if (CollectionUtils.isNotEmpty(ids)) {
for (String id : ids) {
// 根据获取到的用户Id 拼接处用户作品url并加入到待爬取队列
page.addTargetRequest("https://www.iconfont.cn/api/collection/detail.json?t=1575297168589&ctoken=M70q2zG_eHaf9_UIXc_KQO0e&id=" + id);
}
}
} else {
// 获取用户Icon列表
List<String> items = new JsonPathSelector("$.data.icons[*]").selectList(page.getRawText());
page.putField("items", items);
}
}
public static void main(String[] args) throws IOException {
long startTime = System.currentTimeMillis();
// JsonFilePipeline pipeline = new JsonFilePipeline("d://tmp/icon/");
Spider spider = Spider.create(new IconProcessor()).addPipeline(new IconJsonPipeline("d://tmp/icon"));
//通过URL拼接的方式,采集多页 这里只抓取3页仅供学习
for (int i = 1; i <= 3; i++) {
spider.addUrl("https://www.iconfont.cn/api/collections.json?type=1&sort=time&limit=9&t=1575297490063&ctoken=M70q2zG_eHaf9_UIXc_KQO0e&page=" + i + "&keyword=");
}
spider.thread(5); //开启5个线程抓取
spider.run(); //启动爬虫
long endTime = System.currentTimeMillis();
System.out.println("程序运行时间为: " + (endTime - startTime) + "ms");
}
}
页面存储
package com.crawler.icon;
import com.alibaba.fastjson.JSON;
import org.apache.commons.codec.digest.DigestUtils;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import us.codecraft.webmagic.ResultItems;
import us.codecraft.webmagic.Task;
import us.codecraft.webmagic.pipeline.Pipeline;
import us.codecraft.webmagic.selector.JsonPathSelector;
import us.codecraft.webmagic.utils.FilePersistentBase;
import java.io.FileWriter;
import java.io.IOException;
import java.io.PrintWriter;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
// 这里存储的是json文件 ，也可以根据实际情况选择存ES或者Cassandra
public class IconJsonPipeline extends FilePersistentBase implements Pipeline {
private Logger logger = LoggerFactory.getLogger(this.getClass());
public IconJsonPipeline() {
this.setPath("/data/webmagic");
}
public IconJsonPipeline(String path) {
this.setPath(path);
}
public void process(ResultItems resultItems, Task task) {
String path = this.path + PATH_SEPERATOR + task.getUUID() + PATH_SEPERATOR;
try {
PrintWriter printWriter = new PrintWriter(new FileWriter(this.getFile(path + DigestUtils.md5Hex(resultItems.getRequest().getUrl()) + ".json")));
List<String> items = resultItems.get("items");
for(String icon: items){
// String id = new JsonPathSelector("id").select(icon);
String svg = new JsonPathSelector("show_svg").select(icon);
String name = new JsonPathSelector("name").select(icon);
Map<String,String> map = new HashMap<>();
map.put("svg",svg);
map.put("name",name);
printWriter.write(JSON.toJSONString(map)+"\r\n");
}
printWriter.close();
} catch (IOException var5) {
this.logger.warn("write file error", var5);
}
}
}
总结
在这个例子中，我们分析了一个比较经典的动态页面的抓取过程。实际上，动态页面抓取，最大的区别在于：它提高了链接发现的难度。
对于其它的站点，也可能是通过AJAX去请求，甚至可能是多次数据请求的过程，但是这个模式基本是固定的。
但是这些数据请求的分析比起页面分析来说，仍然是要复杂得多，数据请求链路的分析过程是动态页面抓取的难点
注：以上代码与数据仅供学习研究，请不要用于任何商业化实现
最后致敬顶着如此巨大风险 还坚持工作在一线的爬虫人员 ：你的爬虫会送你进监狱吗
