spark stream优化

运行时间优化：
1.合理设置批处理时间
2.减少数据序列化、反序列化的负担。DStream同样也能通过persist()方法将数据流存放在内存中，默认的持久化方式是MEMORY_ONLY_SER，也就是在内存中存放数据同时序列化的方式
3.减少因任务提交和分发所带来的负担：akka能够有效的确保任务及时分发，但是当批处理间隔非常小时，提交和分发任务的延迟会难以接受。
内存使用优化：
1.控制batch size（批处理间隔内的数据量）。spark streaming会把批处理间隔内接收到的所有数据存放在spark内部的可用内存区域中，因此必须确保当前节点spark的可用内存中，至少能容纳这个批处理时间间隔内的所有数据，否则必须增加新的资源以提高集群的处理能力；
2.及时清理不再使用的数据。对于处理过的不在需要的数据应及时清理，以确保spark streaming有富余的可用内存空间。通过设置合理的spark.cleaner.ttl时长来及时清理超时的无用数据，这个参数需要小心设置，以免后续操作中所需要的数据被超时错误处理。