Spark序列化概述 在Spark的架构中，在网络中传递的或者缓存在内存、硬盘中的对象需要进行序列化操作，序列化的作用主要是利用时间换空间： 分...

广播数据变量 ​ 在App中经常会用到List、MaP等变量。如果不适用广播变量，默认每个task都会拉取一份副本到本地。广播变量的好处，不...

场景需求： 将SparkSQL计算的结果数据保存到MySQL,但是计算数据里面缺少into_time字段。通过withColumn和UDF实现新...