【Spark 自定义UDF】

在sparksql中使用udf，比较简单，先在spark中自定义udf算子函数,然后进行注册，之后再sql中就可以直接使用该udf

val len = udf{(str:String) => str.leng}

sparkContext.udf.register("len",len)

val  ds = spark.read.json("file:///opt/five.json")

ds.createOrReplaceTempView("temp")

ds.show()

spark.sql("select len(name) from temp where age >25")

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容