spark streaming的流计算

sparkstreaming的流计算有几种
1,时间段计算,每个时间段统计一次,所有的数据都是这个时间段内的数据
这里会用到receiver,在executor中启动一个线程,接收数据,把数据本份到本地.
如果调试程序需要把线程设置为local[2],因为需要一个receiver线程
2,时间段累计计算,所有的时间段的数据累积
3,时间窗口滑动计算,数据来自窗口时间内的数据,但是一部分数据之前已经统计过,用来实时分析最近一段时间的内容.
针对kafka也有两种方式,一个是direct方式,一个是receiver方式,这个receiver方式与时间段计算方式差不多.

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容