春节了,寒假作业:实现自己的State Store Provider

2019-02-01 夜深了,,,各回各家,留个寒假作业。。。Spark structured streaming 有一个内嵌的HDFSBackedStateStoreProvider,这个是基于memory实现的。这个方法比较耗内存,state多了就可能会OOM。。。实际上,Spark给大家提供了接口,随时可以自己实现各式各样的,,,完全不难!俄罗斯的小伙伴,就动手自己实现了一个。。。http://code.chermenin.ru/spark-states/ 春节了,酒足饭饱之后,大家完全可以搞一个,简历上也可以多一条!

顺便,鼓励大家一起来维护「腾讯·广点通」团队的荣誉出品 中文版的structured streaming源码解析 !!!好好写,估计可以出书了!

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容