JAVA flink小试——单词计数

本文用java来实现一个简单的fink计数单词。

本文写了两个flink版本,一个普通版本,一个lambda版本。有以下注意点:

  • 写法差异,lambda需要调用return方法,而普通版本是不需要的。
  • 在导包时,注意不要导成Scala中包,很多类名在flink和Scala中都有同名。会衍生出不必要的错误。比如Tuple2这个类。

在本地执行命令:

curl https://flink.apache.org/q/quickstart.sh | bash

会下载一个官网的示例,主要看中了他的pom文件。可以将他的项目导入IDEA中,编写自己的示例程序。

package org.myorg.test;

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.typeinfo.Types;
import org.apache.flink.api.java.DataSet;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.tuple.Tuple2;

import java.util.stream.Stream;

/**
 * @author lingbao08
 * @DESCRIPTION
 * @create 2019-09-15 13:23
 **/

public class WordCount {

    public static void main(String[] args) throws Exception {

        ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();

        DataSet<String> text = env.fromElements("我是中国人,我爱中国");

//普通版本
        DataSet<Tuple2<String, Integer>> counts =
                text.flatMap(new FlatMapFunction<String, Tuple2<String, Integer>>() {

                    @Override
                    public void flatMap(String s, Collector<Tuple2<String, Integer>> collector) throws Exception {
                        String[] split = s.split("");
                        for (String s1 : split) {
                            if (s1.length() > 0)
                                collector.collect(new Tuple2<String, Integer>(s1, 1));
                        }
                    }
                }).groupBy(0)
                        .sum(1);

        counts.print();

    }
}

lambda版本:

DataSet<Tuple2<String, Integer>> counts =
                text.flatMap((FlatMapFunction<String, Tuple2<String, Integer>>) (s, collector) -> {
                    Stream.of(s.split("")).forEach(v -> collector.collect(new Tuple2<>(v, 1)));
                }).returns(Types.TUPLE(Types.STRING, Types.INT)).groupBy(0)
                        .sum(1);


        counts.print();

参考:https://blog.csdn.net/RUIMENG061511332/article/details/91873570.

最后编辑于 :
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容