你正年轻

UDAF 前两节分别介绍了基础UDF和UDTF，这一节我们将介绍最复杂的用户自定义聚合函数（UDAF）。用户自定义聚合函数（UDAF）接受从零行到多行的零个到多个列，然后返回...

你正年轻

TensorFlow 1.0 发布，更快、更灵活、更方便！(含峰会主题演讲视频) 就是看到这篇文章，看完视频就有点想了解，接着去官网和中文网，看了介绍和MNIST机器学习入门...

你正年轻

你好，我想将streaming的数据存入到spark sql中，不知道怎么操作。不使用structured streaming 可以这样做：
peoples.foreachRDD { (rdd: RDD[String]) =>
val spark = SparkSessionSingleton.getInstance(rdd.sparkContext.getConf)
import spark.implicits._

// 从RDD[case class]对象转换为DataFrame对象
val peoplesDataFrame = rdd.map(people=> {
var p: Array[String] = people.split(" ")
Record(p(0), p(1).toInt)
}).toDF()
peoplesDataFrame.write.insertInto("hhh")
}

使用structured streaming 后没有foreach rdd了，怎么获取当前的spark conf进而将数据插入spark sql.

Spark 2.0 Structured Streaming 分析

前言 Spark 2.0 将流式计算也统一到DataFrame里去了，提出了Structured Streaming的概念，将数据源映射为一张无线长度的表，同时将流式计算的结...

祝威廉

25801 13 26 1