jdk1.8的stream学习之三

reduce函数 1:reduce(BinaryOperator<P_OUT> accumulator)

reduce函数,有3个重载的,我们分析下内部是怎么实现的。
在stream类中,第一个reduce方法接收一个BinaryOperator的函数接口。这个函数接口继承自BiFunction,

@Override
public final Optional<P_OUT> reduce(BinaryOperator<P_OUT> accumulator) {
    return evaluate(ReduceOps.makeRef(accumulator));
}

继续跟踪代码进入到ReduceOps类中,在makeRef方法中,定义了一个内部类ReducingSink,然后返回了ReduceOps的一个实例,且重新实现了makeSink这个方法。这个方法就干了一件事,实例化了ReducingSink对象。
整个计算的过程是由ReducingSink类中,beagin,accept,get,combine四个方法实现的。上图中ReduceOps.makeRef执行后返回了一个新的ReduceOp实例对象。我们继续跟踪代码进入到evaluate方法。

    public static <T> TerminalOp<T, Optional<T>>
makeRef(BinaryOperator<T> operator) {
    Objects.requireNonNull(operator);
    class ReducingSink
            implements AccumulatingSink<T, Optional<T>, ReducingSink> {
        private boolean empty;
        private T state;
        public void begin(long size) {
            empty = true;
            state = null;
        }
        @Override
        public void accept(T t) {
            if (empty) {
                empty = false;
                state = t;
            } else {
                state = operator.apply(state, t);
            }
        }
        @Override
        public Optional<T> get() {
            return empty ? Optional.empty() : Optional.of(state);
        }
        @Override
        public void combine(ReducingSink other) {
            if (!other.empty)
                accept(other.state);
        }
    }
    return new ReduceOp<T, Optional<T>, ReducingSink>(StreamShape.REFERENCE) {
        @Override
        public ReducingSink makeSink() {
            return new ReducingSink();
        }
    };
}

在evaluate方法内部,就做了一件事,判断是不是并行流。分别调用不同的方法。这里我们用的普通的方法,那么执行的是evaluateSequential这个方法。这个方法有2个参数,第一个参数是传入一个AbstractPipeline对象,这里传入的是自己,第二个是通过操作标识来返回一个具体的Spliterator对象。

    final <R> R evaluate(TerminalOp<E_OUT, R> terminalOp) {
    assert getOutputShape() == terminalOp.inputShape();
    if (linkedOrConsumed)
        throw new IllegalStateException(MSG_STREAM_LINKED);
    linkedOrConsumed = true;

    return isParallel()
           ? terminalOp.evaluateParallel(this, sourceSpliterator(terminalOp.getOpFlags()))
           : terminalOp.evaluateSequential(this, sourceSpliterator(terminalOp.getOpFlags()));
}

继续跟踪代码到evaluateSequential,在这个方法里面通过调用makeSink方法来创建一个新的ReducingSink对象,如果不懂回到第二张图就可以看下返回值,返回值里实现了这个方法。继续往下跟踪

    @Override
    public <P_IN> R evaluateSequential(PipelineHelper<T> helper,
                                       Spliterator<P_IN> spliterator) {
        return helper.wrapAndCopyInto(makeSink(), spliterator).get();
    }

这个方法里面调用了又调用了copyInto方法,(有点绕对不对,不要紧,其实这里主要就是3个类对象之间的相互调用,这3个类是ReduceOp,)

@Override
final <P_IN, S extends Sink<E_OUT>> S wrapAndCopyInto(S sink, Spliterator<P_IN> spliterator) {
    copyInto(wrapSink(Objects.requireNonNull(sink)), spliterator);
    return sink;
}

在copyInto方法里面就能看到我们想要的东西了。这里的wrappedSink对象,就是前面的ReducingSink对象的实例。这里先调用begin方法。回到图2看begin干了什么,然后又调用了spliterator.forEachRemaining,这里面就是调用了ReducingSink中的accept方法。然后遍历流中对象,依次调用,最后完成后调用end方法。

    final <P_IN> void copyInto(Sink<P_IN> wrappedSink, Spliterator<P_IN> spliterator) {
    Objects.requireNonNull(wrappedSink);

    if (!StreamOpFlag.SHORT_CIRCUIT.isKnown(getStreamAndOpFlags())) {
        wrappedSink.begin(spliterator.getExactSizeIfKnown());
        spliterator.forEachRemaining(wrappedSink);
        wrappedSink.end();
    }
    else {
        copyIntoWithCancel(wrappedSink, spliterator);
    }
}

然后forEachRemaining中调用的就是ReducingSink中(图2)的哪个accept,也就是我们传入的行为。从这里我们可以看到,每次会将结果返回给state,

    @Override
        public void accept(T t) {
            if (empty) {
                empty = false;
                state = t;
            } else {
                state = operator.apply(state, t);
            }
        }

如下代码所示,代表着对流中的元素进行求和操作。

    Optional<Integer> reduce = Stream.of(99, 5, 47, 34, 2).reduce((a, b) -> a + b);
    System.out.println(JSONObject.toJSONString(reduce.get()));
    最后执行结果返回的是:
    187

reduce(final P_OUT identity, final BinaryOperator<P_OUT> accumulator)

接收2个参数,第一个参数相当于起始值,第二个函数相当于执行的操作

    Integer reduce = Stream.of(99, 5, 47, 34, 2).reduce(100, (a, b) -> a + b);
    System.out.println(JSONObject.toJSONString(reduce));
    输出结果如下:
    287

那么问题来了,多的这个参数是在哪里初始化的呢?
不带初始值的:在调用begin时候初始化未null。

    private T state;

    public void begin(long size) {
            empty = true;
            state = null;
    }

那么带初始值的 ,也是在begin中,只不过这里进行根据传入的参数初始化了state这个值

    @Override
    public void begin(long size) {
        state = seed;
    }

reduce(R identity, BiFunction<R, ? super P_OUT, R> accumulator, BinaryOperator<R> combiner)

第3个函数有3个参数。第一个参数是初始值,第2,3个参数是运算。通过对源码进行分析,第三个参数的行为是在ReducingSink 里面的combine里面调用的,但是前面非并行的流式执行并未调用过这个方法。我们可以去看看是否有在并行的方法里面进行过调用。

public static <T, U> TerminalOp<T, U>
makeRef(U seed, BiFunction<U, ? super T, U> reducer, BinaryOperator<U> combiner) {
    Objects.requireNonNull(reducer);
    Objects.requireNonNull(combiner);
    class ReducingSink extends Box<U> implements AccumulatingSink<T, U, ReducingSink> {
        @Override
        public void begin(long size) {
            state = seed;
        }

        @Override
        public void accept(T t) {
            state = reducer.apply(state, t);
        }

        @Override
        public void combine(ReducingSink other) {
            state = combiner.apply(state, other.state);
        }
    }
    return new ReduceOp<T, U, ReducingSink>(StreamShape.REFERENCE) {
        @Override
        public ReducingSink makeSink() {
            return new ReducingSink();
        }
    };
}

在并行方法调用里面,创建了一个ReduceTask对象,这个对象是ForkJoinTask的子类,里面通过多线程去并行的执行。具体原理不在这里详述,有专门讲forkjoin的章节去将。

    @Override
    public <P_IN> R evaluateParallel(PipelineHelper<T> helper,
                                     Spliterator<P_IN> spliterator) {
        return new ReduceTask<>(this, helper, spliterator).invoke().get();
    }

在redueTask中,一个很重要的方法onCompletion这里面调用了combine,这里讲结果进行合并。这里需要注意的是,这个并行流和普通的流计算方式是不一样的。

@Override
    public void onCompletion(CountedCompleter<?> caller) {
        if (!isLeaf()) {
            S leftResult = leftChild.getLocalResult();
            leftResult.combine(rightChild.getLocalResult());
            setLocalResult(leftResult);
        }
        // GC spliterator, left and right child
        super.onCompletion(caller);
    }

如下所示例子:
我们给定4个数字,2,3,6,8,在非并行的情况下,结算过程如下:从0开始
第一次运算:c=0,d=2 ,返回的是2
第二次运算:c=2,d=3 ,返回的是5
第三次运算:c=5,d=6 ,返回的是11
第四次运算:c=11,d=8 ,返回的是19

    ArrayList<Integer> integers = Lists.newArrayList(2,3,6,8);
    Integer reduce = integers.stream().reduce(0,(c,d)->{
        System.out.println(c);
        System.out.println(d);
        System.out.println("-----------------");
        return (c+d);
    } , (a, b) -> a * b);
    System.out.println(JSONObject.toJSONString(reduce));
    输出结果如下:
    0
    2
    -----------------
    2
    3
    -----------------
    5
    6
    -----------------
    11
    8
    -----------------
    19

如果在并行流的情况下,计算过程则完全不一样了。
并行流的计算过程如下,4个线程分别通过第二个参数的加法运算进行运算:
也就是说,第二个函数值参与了第一次的运算,之后的合并结果的操作都依赖于第二个函数。这个一定要注意,如果仅仅是想把普通流转换为并行流,则两个函数的运算必须一致。


image.png
    ArrayList<Integer> integers = Lists.newArrayList(2,3,6,8);
    Integer reduce = integers.parallelStream().reduce(0,(c,d)-> (c+d) , (a, b) -> a * b);
    System.out.println(JSONObject.toJSONString(reduce));
    最后的输出结果如下:
    288

hadoop大数据处理依赖的是mapreduce,在我们的流式计算中,也可以通过map,reduce来进行一样的操作。
基本思路学会以后,工作中对list对象的处理则可以用这些函数去操作。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,324评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,303评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,192评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,555评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,569评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,566评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,927评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,583评论 0 257
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,827评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,590评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,669评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,365评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,941评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,928评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,159评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,880评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,399评论 2 342

推荐阅读更多精彩内容

  • Java 8函数式编程学习笔记 author:Gavin date:2018/11/09 什么是函数式编程 在思考...
    安静点就睡吧阅读 1,261评论 0 10
  • Java8 in action 没有共享的可变数据,将方法和函数即代码传递给其他方法的能力就是我们平常所说的函数式...
    铁牛很铁阅读 1,208评论 1 2
  • 1、Stream简介 Stream作为Java 8的一大亮点,是对集合(Collection)、数组对象功能的增强...
    Albert_Yu阅读 6,744评论 1 21
  • 1. 正值她的苜蓿草收割季节,也是紫色苜蓿花盛开的时节。 连绵几十亩的的苜蓿花,以摧枯拉朽之势燃烧到天边,一望无际...
    昭溪阅读 14,492评论 0 21
  • #Spark性能调优(一) 1. https://www.csdn.net/article/2015-07-08/...
    liuzx32阅读 93评论 0 0