Stream 数据流

从JDK1.8开始,由于已经进入到了大数据的时代,所以在类集中也支持有数据的流式分析处理操作,为此就专门提供了Stream接口,同时在Collection接口中也提供有为此接口实例化的方法。

  • 获取Stream接口对象:default Stream<E> stream()

Stream类基础操作

Stream主要功能是进行数据的分析处理,同时主要是针对于集合中的数据尽心分析操作 。
范例:Stream的基本操作

import java.util.ArrayList;
import java.util.Collections;
import java.util.List;
import java.util.stream.Stream;
public class JavaAPIDemo {
    public static void main(String[] args) throws Exception {
        List<String> all = new ArrayList();
        Collections.addAll(all, "JAVA", "JS", "Python", "HTML", "PHP");
        Stream<String> stream = all.stream(); // 获取Stream接口对象
        // System.out.println(stream.count()); // 输出元素的个数
        long count=stream.filter((ele) ->
            ele.toLowerCase().contains("j")
        ).count();
        System.out.println(count);
    }
}

但是以上的程序只是实现了一些最基础的数据的个数统计,而更多情况下可能需要的是获取里面满足条件的数据内容,以实现数据采集操作。

范例:数据采集

import java.util.ArrayList;
import java.util.Collections;
import java.util.List;
import java.util.stream.Collectors;
import java.util.stream.Stream;
public class JavaAPIDemo {
    public static void main(String[] args) throws Exception {
        List<String> all = new ArrayList();
        Collections.addAll(all, "JAVA", "JS", "Python", "HTML", "PHP");
        Stream<String> stream = all.stream();//获取Stream接口对象
        //将满足条件的数据收集起来转为List集合
        List<String> list = stream.filter((ele) ->
                ele.toLowerCase().contains("j")
        ).collect(Collectors.toList());
        System.out.println(list);
    }
}

在Stream数据流处理的过程中还允许进行数据的分页处理,提供有两个方法:

  • 设置取出最大的数据量:Stream<T> limit​(long maxSize)
  • 跳过指定数据量:Stream<T> skip​(long n)

范例:观察分页

import java.util.ArrayList;
import java.util.Collections;
import java.util.List;
import java.util.stream.Collectors;
import java.util.stream.Stream;
public class JavaAPIDemo {
    public static void main(String[] args) throws Exception {
        List<String> all = new ArrayList();
        Collections.addAll(all, "JAVA", "JS","JSP", "Python", "HTML", "PHP","JSON");
        Stream<String> stream = all.stream();//获取Stream接口对象
        //将满足条件的数据收集起来转为List集合
        List<String> list = stream.filter((ele) ->
                ele.toLowerCase().contains("j")
        ).skip(2).limit(2).collect(Collectors.toList());//[JSP, JSON]
        System.out.println(list);
    }
}

Stream的操作主要是利用其自身的特点实现数据的分析处理操作。

MapReduce基础模型

在进行数据分析的处理之中,有一个最重要的基础模型:MapReduce模型,对于这个模型一共是分为两个部分:Map处理部分、Reduce分析部分,在进行数据分析前必须要对数据进行合理的处理,而后才可以做统计分析操作。
范例:MapReduce基础模型

import java.util.ArrayList;
import java.util.DoubleSummaryStatistics;
import java.util.List;
public class JavaAPIDemo {
    public static void main(String[] args) throws Exception {
        //如果要想使用Stream进行分析处理,则一定要将全部要分析的数据保存在集合中
        List<Order> all = new ArrayList();
        all.add(new Order("A款娃娃", 9.9, 10));
        all.add(new Order("大娃娃", 19.9, 5));
        all.add(new Order("A款笔记本", 8317.3, 10));
        all.add(new Order("B款茶杯", 2.9, 800));
        all.add(new Order("A款蛋糕", 60, 3));
        //分析购买商品中带有“款”的信息数据,并且进行商品单价和数量的处理,随后分析汇总
        DoubleSummaryStatistics statistics = all.stream().filter((order -> order.getName().contains("款"))).mapToDouble((order) -> order.getPrice() * order.getAmount()).summaryStatistics();
        System.out.println("购买数量:"+statistics.getCount());//购买数量:4
        System.out.println("购买总价:"+statistics.getSum());//购买总价:85772.0
        System.out.println("平均花费:"+statistics.getAverage());//平均花费:21443.0
        System.out.println("最多花费:"+statistics.getMax());//最多花费:83173.0
        System.out.println("最少花费:"+statistics.getMin());//最少花费:99.0
    }
}
@lombok.Getter
@lombok.NoArgsConstructor
@lombok.AllArgsConstructor
class Order {
    private String name;
    private double price;
    private int amount;
}

这些分析操作只是JDK本身提供的支持,而实际开发中,肯定不会这样进行,因为所有的数据如果都保存在内存中,将不再适用于大数据编程。

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  •   从JDK1.8开始,由于已经进入到了大数据的时代,所以在类集中也支持有数据的流式分析处理操作,为此就专门提供了...
    江湖非良人阅读 905评论 0 4
  • 首先必须先要了解Buffer,Buffer是js和c++的结合体,类数组,通常与Stream一起用: (1).Bu...
    wangsensen阅读 364评论 0 0
  • Zookeeper用于集群主备切换。 YARN让集群具备更好的扩展性。 Spark没有存储能力。 Spark的Ma...
    Yobhel阅读 7,395评论 0 34
  • 单一侦听和多重侦听 使用StreamController ()只能设置一个侦听函数StreamController...
    Zszen阅读 5,020评论 0 50
  • 【什么是大数据、大数据技术】 大数据,又称巨量资料,指的是所涉及的数据资料量规模巨大到无法在合理时间内通过传统的应...
    kimibob阅读 2,793评论 0 51