运行时间优化：
1.合理设置批处理时间
2.减少数据序列化、反序列化的负担。DStream同样也能通过persist()方法将数据流存放在内存中，默认的持久化方式是MEMORY_ONLY_SER，也就是在内存中存放数据同时序列化的方式
3.减少因任务提交和分发所带来的负担：akka能够有效的确保任务及时分发，但是当批处理间隔非常小时，提交和分发任务的延迟会难以接受。
内存使用优化：
1.控制batch size（批处理间隔内的数据量）。spark streaming会把批处理间隔内接收到的所有数据存放在spark内部的可用内存区域中，因此必须确保当前节点spark的可用内存中，至少能容纳这个批处理时间间隔内的所有数据，否则必须增加新的资源以提高集群的处理能力；
2.及时清理不再使用的数据。对于处理过的不在需要的数据应及时清理，以确保spark streaming有富余的可用内存空间。通过设置合理的spark.cleaner.ttl时长来及时清理超时的无用数据，这个参数需要小心设置，以免后续操作中所需要的数据被超时错误处理。
spark stream优化
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- Spark入门实战系列--7.Spark Streaming（上）--实时流计算Spark Streaming原理...
- Spark Streaming 编程指南 概述 一个入门示例 基础概念 依赖 初始化 StreamingConte...
- 引言 随着实时数据的日渐普及，企业需要流式计算系统满足可扩展、易用以及易整合进业务系统。Structured St...
- 目前为止，已经讨论了机器学习和批处理模式的数据挖掘。现在审视持续处理流数据，实时检测其中的事实和模式，好像从湖泊来...
