一 Webmagic架构解析
WebMagic的设计目标是尽量的模块化，并体现爬虫的功能特点。这部分提供非常简单、灵活的API，在基本不改变开发模式的情况下，编写一个爬虫。
WebMagic的结构分为四大组件,并由Spider将它们彼此组织起来。
Downloader 下载
PageProcessor 处理
Scheduler 管理
Pipeline 持久化
这四大组件对应爬虫生命周期中的下载、处理、管 理和持久化等功能。
而Spider则将这几个组件组织起来，让它们可以互相交互，流程化的执行，可以认为Spider是一个大的容器，它也是WebMagic逻辑的核心。
二 WebMagic四大组件详细介绍
Downloader
Downloader负责从互联网上下载页面，以便后续处理。WebMagic默认使用了ApacheHttpClient作为下载工具。PageProcessor
PageProcessor负责解析页面，抽取有用信息，以及发现新的链接。
WebMagic使用Jsoup作为HTML解析工具，并基于其开发了解析XPath的工具Xsoup。 在这四个组件中，PageProcessor对于每个站点每个页面都不一样，是需要使用者定制的部分。Scheduler
Scheduler负责管理待抓取的URL，以及一些去重的工作。WebMagic默认提供了JDK的内存队列来管理URL，并用集合来进行去重。也支持使用Redis进行分布式管理。Pipeline
Pipeline负责抽取结果的处理，包括计算、持久化到文件、数据库等。
WebMagic默认提供 了“输出到控制台”和“保存到文件”两种结果处理方案。
三 Webmagic的开发
Webmagic的包
<dependency>
<groupId>us.codecraft</groupId>
<artifactId>webmagic-core</artifactId>
<version>0.7.3</version>
</dependency>
<dependency>
<groupId>us.codecraft</groupId>
<artifactId>webmagic-extension</artifactId>
<version>0.7.3</version>
</dependency>
Spider方法集
Spider的其他组件（Downloader、Scheduler、Pipeline）都可以通过set方法来 进行设置。
Webmagic的PageProcesso
我们做爬虫时候由于解析的内容,方式或者想得到的数据不同我们需要定义自己的PageProcesso,这需要我们编写自己的PageProcesso继承PageProcessor并实现两个方法. 解析规则process(Page page)和设置请求信息getSite()
public class MyPageProcessor implements PageProcessor {
@Override
public void process(Page page) {
System.out.println(page.toString());
}
private Site site = Site.me() //Site指定
.setCharset("utf8") //设置编码
.setTimeOut(10000) //设置超时时间，单位是ms毫秒
.setRetrySleepTime(3000) //设置重试的间隔时间
.setSleepTime(3) //设置重试次数
;
@Override
public Site getSite() {
return site;
}
}
process中的Page代表了从Downloader下载到的一个页面——可能是HTML，也可能是JSON或者 其他文本格式的内容。
Page是WebMagic抽取过程的核心对象，它提供一些方法可供抽取、结果保存等。
Site用于定义请求访问的一些配置信息，例如编码、HTTP头、超时时间、重试策略等、代理等，都可以通过设置Site对象来进行配置。
