Disruptor并发框架

概述
disruptor对于处理并发任务很擅长,曾有人测过,一个线程里1s内可以处理六百万个订单,性能相当感人。

这个框架的结构大概是:数据生产端 --> 缓存 --> 消费端

缓存中的数据是主动发给消费端的,而不是像一般的生产者消费者模式那样,消费端去缓存中取数据。

可以将disruptor理解为,基于事件驱动的高效队列、轻量级的JMS

disruptor学习网站:http://ifeve.com/disruptor-getting-started

开发流程

1.建Event类(数据对象)

2.建立一个生产数据的工厂类,EventFactory,用于生产数据;

3.监听事件类(处理Event数据)

4.实例化Disruptor,配置参数,绑定事件;

5.建存放数据的核心 RingBuffer,生产的数据放入 RungBuffer。

样例
1.入口
import java.nio.ByteBuffer;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;

import com.lmax.disruptor.RingBuffer;
import com.lmax.disruptor.YieldingWaitStrategy;
import com.lmax.disruptor.dsl.Disruptor;
import com.lmax.disruptor.dsl.ProducerType;

public class LongEventMain {

public static void main(String[] args) throws Exception {
    //创建缓冲池
    ExecutorService  executor = Executors.newCachedThreadPool();
    //创建工厂
    LongEventFactory factory = new LongEventFactory();
    //创建bufferSize ,也就是RingBuffer大小,必须是2的N次方
    int ringBufferSize = 1024 * 1024; // 

    /**
    //BlockingWaitStrategy 是最低效的策略,但其对CPU的消耗最小并且在各种不同部署环境中能提供更加一致的性能表现
    WaitStrategy BLOCKING_WAIT = new BlockingWaitStrategy();
    //SleepingWaitStrategy 的性能表现跟BlockingWaitStrategy差不多,对CPU的消耗也类似,但其对生产者线程的影响最小,适合用于异步日志类似的场景
    WaitStrategy SLEEPING_WAIT = new SleepingWaitStrategy();
    //YieldingWaitStrategy 的性能是最好的,适合用于低延迟的系统。在要求极高性能且事件处理线数小于CPU逻辑核心数的场景中,推荐使用此策略;例如,CPU开启超线程的特性
    WaitStrategy YIELDING_WAIT = new YieldingWaitStrategy();
    */
    
    //创建disruptor
    Disruptor<LongEvent> disruptor = 
            new Disruptor<LongEvent>(factory, ringBufferSize, executor, ProducerType.SINGLE, new YieldingWaitStrategy());
    // 连接消费事件方法
    disruptor.handleEventsWith(new LongEventHandler());
    
    // 启动
    disruptor.start();
    
    //Disruptor 的事件发布过程是一个两阶段提交的过程:
    //发布事件
    RingBuffer<LongEvent> ringBuffer = disruptor.getRingBuffer();
    
    LongEventProducer producer = new LongEventProducer(ringBuffer); 
    //LongEventProducerWithTranslator producer = new LongEventProducerWithTranslator(ringBuffer);
    ByteBuffer byteBuffer = ByteBuffer.allocate(8);
    for(long l = 0; l<100; l++){
        byteBuffer.putLong(0, l);
        producer.onData(byteBuffer);
        //Thread.sleep(1000);
    }

    
    disruptor.shutdown();//关闭 disruptor,方法会堵塞,直至所有的事件都得到处理;
    executor.shutdown();//关闭 disruptor 使用的线程池;如果需要的话,必须手动关闭, disruptor 在 shutdown 时不会自动关闭;        
    
    
}

}
2.数据对象:
public class LongEvent {
private long value;
public long getValue() {
return value;
}

public void setValue(long value) { 
    this.value = value; 
} 

}
3.Event工厂
import com.lmax.disruptor.EventFactory;
// 需要让disruptor为我们创建事件,我们同时还声明了一个EventFactory来实例化Event对象。
public class LongEventFactory implements EventFactory {

@Override 
public Object newInstance() { 
    return new LongEvent(); 
} 

}
4.生产者
import java.nio.ByteBuffer;

import com.lmax.disruptor.RingBuffer;
/**

  • 很明显的是:当用一个简单队列来发布事件的时候会牵涉更多的细节,这是因为事件对象还需要预先创建。

  • 发布事件最少需要两步:获取下一个事件槽并发布事件(发布事件的时候要使用try/finnally保证事件一定会被发布)。

  • 如果我们使用RingBuffer.next()获取一个事件槽,那么一定要发布对应的事件。

  • 如果不能发布事件,那么就会引起Disruptor状态的混乱。

  • 尤其是在多个事件生产者的情况下会导致事件消费者失速,从而不得不重启应用才能会恢复。
    */
    public class LongEventProducer {

    private final RingBuffer<LongEvent> ringBuffer;

    public LongEventProducer(RingBuffer<LongEvent> ringBuffer){
    this.ringBuffer = ringBuffer;
    }

    /**

    • onData用来发布事件,每调用一次就发布一次事件
    • 它的参数会用过事件传递给消费者
      */
      public void onData(ByteBuffer bb){
      //1.可以把ringBuffer看做一个事件队列,那么next就是得到下面一个事件槽
      long sequence = ringBuffer.next();
      try {
      //2.用上面的索引取出一个空的事件用于填充(获取该序号对应的事件对象)
      LongEvent event = ringBuffer.get(sequence);
      //3.获取要通过事件传递的业务数据
      event.setValue(bb.getLong(0));
      } finally {
      //4.发布事件
      //注意,最后的 ringBuffer.publish 方法必须包含在 finally 中以确保必须得到调用;如果某个请求的 sequence 未被提交,将会堵塞后续的发布操作或者其它的 producer。
      ringBuffer.publish(sequence);
      }
      }
      }
      5.消费者

import com.lmax.disruptor.EventHandler;

//我们还需要一个事件消费者,也就是一个事件处理器。这个事件处理器简单地把事件中存储的数据打印到终端:
public class LongEventHandler implements EventHandler<LongEvent> {

@Override
public void onEvent(LongEvent longEvent, long l, boolean b) throws Exception {
    System.out.println(longEvent.getValue());         
}

}

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 221,135评论 6 514
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 94,317评论 3 397
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 167,596评论 0 360
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,481评论 1 296
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,492评论 6 397
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 52,153评论 1 309
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,737评论 3 421
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,657评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 46,193评论 1 319
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,276评论 3 340
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,420评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 36,093评论 5 349
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,783评论 3 333
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,262评论 0 23
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,390评论 1 271
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,787评论 3 376
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,427评论 2 359

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,689评论 18 139
  • 本文是笔者在研究Disruptor过程中对Disruptor官方介绍与入门指南的翻译,有些部分做了适当编辑和增减。...
    coder_jerry阅读 8,627评论 2 56
  • LMAX是什么? 要说Disruptor需要先说下LMAX,LMAX是一个英国外汇黄金交易所,它是第一家也是唯一一...
    零度沸腾_yjz阅读 13,221评论 0 12
  • LMAX是一种新型零售金融交易平台,它能够以很低的延迟(latency)产生大量交易(吞吐量). 这个系统是建立在...
    举头明鉴阅读 6,312评论 2 10
  • Disruptor提供了一种线程之间信息交换的方式。 锁的缺点 并发的问题 想象有两个线程尝试修改同一个变量val...
    jiangmo阅读 1,688评论 0 2