Flink1.8入门:入门实例--流处理SocketWordCount(界面提交+参数传递)

微信公众号:大数据开发运维架构

关注可了解更多大数据相关的资讯。问题或建议,请公众号留言;

如果您觉得“大数据开发运维架构”对你有帮助,欢迎转发朋友圈

从微信公众号拷贝过来,格式有些错乱,建议直接去公众号阅读


 概述:

        这里主要演示flink源码实例中“WordCount”程序的流窗口版本。

    此程序连接到socket服务器并从socket读取字符串。最简单的尝试方法是打开一个文本服务器(在端口9999),使用netcat工具

    详解界面提交和参数传递,代码很简单可直接从github中获取:

    https://github.com/apache/flink/blob/master/flink-examples/flink-examples-streaming/src/main/java/org/apache/flink/streaming/examples/socket/SocketWindowWordCount.java

我这里代码我就不贴了,可以关注我的微信公众号查看详细:

    通过maven package打出jar包:flink191-1.0-SNAPSHOT-jar-with-dependencies

直接提交到flink在yarn中已启动的一个session中,从flink界面上传jar:

上传后,选中jar前面的复选框,可直接填写相关参数:

参数格式:--参数名   参数值  --参数名2  参数值2

参数获取是通过上面代码第49行的工具类获取(固定格式):

ParameterTool params = ParameterTool.fromArgs(args);

最后点击“Submit”按钮,提交任务运行即可。

界面也可查看日志和输出:

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容