【Spark】DataFrame和DataSet[T]无法使用map的问题:Unable to find encoder for type stored in a Dataset

关于这个问题,这位大神写的很不错了:文章地址
其中提供了四种方法可以借鉴。
但是按照文中的方法二还是折腾了一下。这里补充一点,方法二的myfunction函数必须是有返回值的,不能是Unit类型,比如可以是String等基本类型和case class等Product类型,如果是写入es或者打印等没有返回的情况,可以任意返回一个字符串。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。