[SparkSQL] Rdd转化DataFrame 通过StructType为字段添加Schema

1、开发环境

spark-2.1.0-bin-hadoop2.6

2、Rdd转换成DataFrame，为字段添加列信息

参数 nullable 说明：Indicates if values of this field can be null values

val schema = StructType(List(
  StructField("name", StringType, nullable = false),
  StructField("age", IntegerType, nullable = true),
  StructField("money", DoubleType, nullable = true),
  StructField("hobbies", DataTypes.createArrayType(StringType), nullable = true)
)
)

val flatMapDF = sparkSession.createDataFrame(flatMapRdd, schema)

3、特别注意

Array类型数据，需要通过 DataTypes.createArrayType(StringType) 生成相应 DateType类型数据，而不能使用ArrayType。否则会产生如下报错：

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容