Apache Camel 调研

什么是Camel?

Camel框架的核心是一个路由引擎,或者更确切地说是一个路由引擎构建器。它允许您定义自己的路由规则,决定从哪个源接收消息,并确定如何处理这些消息并将其发送到其他目标。

Camel提供更高层次的抽象,使您可以使用相同的API与各种系统进行交互,而不管系统使用的协议或数据类型如何。 Camel中的组件提供了针对不同协议和数据类型的API的特定实现。开箱即用,Camel支持80多种协议和数据类型。

Getting started

源码地址:https://github.com/camelinaction/camelinaction.git

下面是一个拷贝文件的例子,将文件从data/inbox拷贝到data/outbox

1 添加maven依赖

<dependencies>
  <dependency>
    <groupId>org.apache.camel</groupId>
    <artifactId>camel-core</artifactId>
    <version>2.15.6</version>
  </dependency>
</dependencies>

2 代码

public class FileCopierWithCamel {

    public static void main(String args[]) throws Exception {
        // create CamelContext
        CamelContext context = new DefaultCamelContext();

        // add our route to the CamelContext
        context.addRoutes(new RouteBuilder() {
            public void configure() {
                /**
                  file: 表示使用文件Component
                  from 表示从哪里获取数据,进行消费
                  to  表示将数据生产到哪里
                 */
                from("file:data/inbox?noop=true").to("file:data/outbox");
            }
        });

        // start the route and let it do its work
        context.start();
        Thread.sleep(10000);

        // stop the CamelContext
        context.stop();
    }
}

Camel概念

CamelContext

Camel的容器,通过CamelContext可以访问内部服务:Components,Endpoints,Endpoints,Registry等等

image.png

Routes

通过路由可以实现:客户端与服务端,生产者与消费者的解耦

比如:从ftp服务上获取订单信息,将其发送到JMS队列,可以通过如下路由表示

    //from可以理解成消费者:表示从ftp服务上获取数据进行消费
    from("ftp://rider.com/orders?username=rider&password=secret")
    //to可以理解成生产者:表示将数据发送给jms
    .to("jms:incomingOrders");
image.png

endpoint URI

可以简单理解成消息的地址

  • 对于消费者(from方法)来说,表示消息从哪里来
  • 对于生产者(to方法)来说,表示消息到哪里去
image.png

如上图所示

Scheme:指明使用的是FtpComponent

Context path: ftp服务和端口号,以及文件路径

Options:一些操作配置,每个组件都不同

Exchange

Message的容器,其的内部属性,如下图所示

image.png

Message

消息数据的基本实体

MEP

Exchange支持多种消息交换模式 (MEPs),通过其内部持有的pattern属性进行区分

下面介绍2种常用的交互模式

  • InOnly :单向消息模式(也称为事件消息),简言之:不需要等待对方的响应
  • InOut : 请求响应模式,例如:基于http的传输,通常是此模式,客户端请求web页面,等待服务端的回应

InOut模式包含In message 与 Out message,而InOnly模式只包含In message

Exception

如果路由期间发生错误,此属性将被赋值

Properties

Exchange的消息头,Camel本身和开发者可以设置或读取属性值

Endpoints

Endpoints是模拟通道末端的camel抽象,充当一个工厂,用于创建消息的producer和consumer

Component

创建Endpoints的工厂,一个Component的实现,通常有一些传输属性需要设置。例如,JMS-Component要求在其上设置ConnectionFactory,以便对所有JMS通信使用相同的消息代理

Component,Endpoints和Exchange的关系如下图所示:

image.png

内部组件介绍

Direct Component

基于内存的同步消息组件

使用Direct组件,生产者直接调用消费者。因此使用Direct组件的唯一开销是方法调用。

Direct的线程模型

由于生产者直接调用消费者

因此:调用者与camel的消费者共用一个线程

image.png

SEDA Component

基于内存的异步消息组件:生产者和消费者通过BlockingQueue交换消息,生产者与消费者是不同的线程

如果VM在消息尚未处理时终止,则seda不会实现消息的持久化或恢复,因此有丢失消息的风险

消费者视角

Consumer thread pool

SedaConsumer内部持有一个线程池,默认是1个线程,可以通过concurrentConsumers指定线程数

代码如下所示

from("seda:start?concurrentConsumers=2")
    .to("log:A")
    .to("log:B");

image.png

Threads thread pool

Consumer thread pool中的每个线程,还可以开启新的线程池,代码如下所示

from("seda:start?concurrentConsumers=2")
            .to("log:A")
            // create a thread pool with a pool size of 5 and a maxi- mum size of 10.
            .threads(5, 10) 
            .to("log:B");

image.png

如上图所示:consumer线程执行完"log:A"后,将后续任务提交给"Threads thead pool",然后就直接返回了

生产者视角

异步发送消息

生产者发完消息,立刻返回,不需要等待消息消费成功

 //InOnly消息模式
 producerTemplate.sendBody("seda:start", body);

同步发送消息

生产者发完消息,会阻塞,直到消费成功

 //InOut消息模式
 producerTemplate.requestBody("seda:start", body);

实现原理:SedaProducer通过CountDownLatch信号量进行等待,当数据消费成功后,消费者修改CountDownLatch信号量,唤醒SedaProducer,然后消费者才返回。

Camel使用

消息发送

Camel可以使用ProducerTemplate将消息发送到endpoint,或从endpoint请求数据

我们可以使用@Produce创建ProducerTemplate,代码如下

   import org.apache.camel.Produce;
   import org.apache.camel.ProducerTemplate;
   public class ProducePojo {
     @Produce
     private ProducerTemplate template;
     public String sayHello(String name) {
       //发消息到一个activemq端点
       return template.requestBody("activemq:queue:sayhello",
                                   name, String.class);
   } } 

为了确保ProducerTemplate可以注入到ProducePojo类,需要将ProducePojo配置到spring上下文

    <beans xmlns="http://www.springframework.org/schema/beans" ...>
     <bean id="activemq"
           class="org.apache.activemq.camel.component
                  .ActiveMQComponent">
       <property name="brokerURL"
                 value="tcp://localhost:61616"/>
     </bean>
     <bean id="producer"
           class="org.camelcookbook.extend.produce
                  .ProducePojo"/>
     <camelContext xmlns="http://camel.apache.org/schema/spring"/>
   </beans>

方法调用

比如我要调用MyBean的myMethon,可以通过注解或java DSL

如果参数是对象类型,camel也会自动转型

以下代码表示接收到someEndpoint的消息后,调用myBean.myMethod方法

    //注意:要确保MyBean被camelContext或springContext加载
  public class MyBean {
     //注解的方式
     @Consume(uri="someEndpoint")
     public String myMethod(ParamBean message) {
       //...
  } } 
  //java DSL
  from("someEndpoint")
     .bean(MyBean.class, "myMethod");

  //通过ProducerTemplate调用此方法
  ParamBean param = genTestParam();
  template.requestBody("someEndpoint", param);

这里其实用的的是camel的内部组件Bean Component,具体用法可以参考如下官方文档

Bean Component: http://camel.apache.org/bean.html

关于参数的传递,可以参考

Bean Binding: http://camel.apache.org/bean-binding.html

自定义Processor

Processor是camel中的基本功能元素,自定义Processor非常易于在路由中编写和使用
定义一个将订单数据转成csv格式的Processor

public class OrderToCsvProcessor implements Processor {

    public void process(Exchange exchange) throws Exception {
        String custom = exchange.getIn().getBody(String.class);

        String id = custom.substring(0, 9);
        String customerId = custom.substring(10, 19);
        String date = custom.substring(20, 29);
        String items = custom.substring(30);
        String[] itemIds = items.split("@");

        StringBuilder csv = new StringBuilder();
        csv.append(id.trim());
        csv.append(",").append(date.trim());
        csv.append(",").append(customerId.trim());
        for (String item : itemIds) {
            csv.append(",").append(item.trim());
        }

        exchange.getIn().setBody(csv.toString());
    }

}

定义路由规则

from("quartz://report?cron=0+0+6+*+*+?")
    .to("http://riders.com/orders/cmd=received&date=yesterday")
    .process(new OrderToCsvProcessor())
    .to("file://riders/orders?fileName=report-${header.Date}.csv");

异常处理

基本用法

camel支持"异步重试,延迟重试"等多种处理方式

//通用异常处理
errorHandler(defaultErrorHandler()
                    //异步重试(默认同步)
                    .asyncDelayedRedelivery()
                    .maximumRedeliveries(2)
                    .redeliveryDelay(1000)
                    .retryAttemptedLogLevel(LoggingLevel.WARN));

//如果是JmsException,则只需自定义processer
onException(JmsException.class)
    .handled(true)
    .process(new GenerateFailueResponse());

//如果IOException,则重试3次,依旧失败,则执行to对应的动作
onException(IOException.class).maximumRedeliveries(3)
    .handled(true)
    .to("ftp://gear@ftp.rider.com?password=secret");

from("file:/rider/files/upload?delay=3600000")
    .to("http://rider.com?user=gear&password=secret");

上面的代码,其异常处理的作用域是整个context

Camel也支持route作用域的异常处理,如下代码所示

from("direct:step1")
        .bean(Step1.class, "success")
         //异常处理,作用域是当前路由
        .onCompletion().onFailureOnly()
         //如果失败,则执行onFailure方法
        .bean(Step1.class, "onFailure")
        .end()
        .to("direct:step2");

注意onCompletion的方式,是异步的,如果想同步处理异常可以参考camel的Synchronization使用方式

一个异常处理的例子

场景描述

顺序执行step1,step2,step3,如果某一步失败,回滚之前的每一步

比如step3执行失败,回滚step2,step1

解决方案

通过 onCompletion().onFailureOnly()方法对每一步设置失败回调函数,

下面的代码模拟了step3执行失败的场景,从日志可以看出camel按顺序执行了step2和step1的失败回调方法

public class RollbackTest extends CamelTestSupport {
  
    @Override
    public void setUp() throws Exception {
        deleteDirectory("target/mail/backup");
        super.setUp();
    }

    @Test
    public void testRollback() throws Exception {
        template.sendBodyAndHeader("direct:step1", "bumper", "to", "FATAL");
    }

    @Override
    protected RouteBuilder createRouteBuilder() throws Exception {
        return new RouteBuilder() {
            @Override
            public void configure() throws Exception {
                from("direct:step1")
                        .bean(Step1.class, "success")
                        .onCompletion().onFailureOnly()
                         //如果失败,调用step1的onFailure方法
                        .bean(Step1.class, "onFailure")
                        .end()
                        .to("direct:step2");

                from("direct:step2")
                        .bean(Step2.class, "success")
                        .onCompletion().onFailureOnly()
                        .bean(Step2.class, "onFailure")
                        .end()
                        .to("direct:step3");

                from("direct:step3")
                        .bean(Step3.class, "fail")
                        .onCompletion().onFailureOnly()
                        .bean(Step3.class, "onFailure")
                        .end()
                        .log("888:end");
            }
        };
    }
}


最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,242评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,769评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,484评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,133评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,007评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,080评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,496评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,190评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,464评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,549评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,330评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,205评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,567评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,889评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,160评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,475评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,650评论 2 335

推荐阅读更多精彩内容

  • http://liuxing.info/2017/06/30/Spring%20AMQP%E4%B8%AD%E6%...
    sherlock_6981阅读 15,775评论 2 11
  • Camel路由简介 Camel最重要的特色之一就是路由,没有它Camel本质上只是一个传输连接器库。本篇文章将从各...
    God_Moon阅读 2,443评论 0 3
  • JAVA面试题 1、作用域public,private,protected,以及不写时的区别答:区别如下:作用域 ...
    JA尐白阅读 1,138评论 1 0
  • 原文链接:https://docs.spring.io/spring-boot/docs/1.4.x/refere...
    pseudo_niaonao阅读 4,659评论 0 9
  • 今天天无意中看到了这样的一个报道:主人公在我的家乡,报道是这个样子的: 儿子瘫痪在床、大伯哥年迈腿伤、侄子智障眼盲...
    鹿缜阅读 179评论 3 3