apache beam 简介和安装

1.Apache beam 是google和其合作伙伴开源的新的流式大数据分析模式,目前支持如下的引擎:


beam支持的相关引擎

2.执行过程

beam的执行过程

1.选择自己喜欢的编程语言编写程序提交

2.该编程语言必须对应相应beam的sdk

3.转换成beam可以识别的格式以便于执行

4.在分布式环境中支持beam的数据处理管道

5.在beam的管道中处理所有的应用

6.创建一个高阶的数据处理管道

ps:目前beam提供的sdk有java 和 python。

3.安装

直接在github或者本地git下来beam工程,然后进行mvn打包,如下图:


mvn下载word-count程序

运行word-count程序得到输出结果:

不同引擎选择不同的执行命令

得到输出结果


输出结果
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容