rdd dataframe dataset 相互转化

1、RDD <--> DataFrame

RDD  ->  DataFrame （确定Schema）
    1、直接手动确定：
         peopleRDD.map{x =>
         val para = x.split(",")
         (para(0), para(1).trim.toInt)
        }.toDF("name","age")

     2、通过反射确定  （利用case class 的功能）
        case class People(name:String, age:Int)
        peopleRdd.map{ x => 
        val para = x.split(",")
        People(para(0),para(1).trim.toInt)
         }.toDF
          
     3、通过编程方式来确定
        1、准备Scheam 
            val schema = StructType( StructField("name",StringType):: StructField("age",IntegerType)::Nil )
        2、准备Data   【需要Row类型】
          val data = peopleRdd.map{ x => 
            val para = x.split(",")
            Row(para(0),para(1).trim.toInt)
              }
       3、生成DataFrame
          val dataFrame = spark.createDataFrame(data, schema)
DataFrame -> RDD
     dataFrame.rdd 即可， 返回的是 RDD[Row]
      rdd.map(x=>(x.get(0),x.get(1)))

2、RDD <-> DataSet

RDD ->  DataSet （case class 确定schema）

    case class People(name:String, age:Int)
    peopleRDD.map{x =>
         val para = x.split(",")
         People(para(0), para(1).trim.toInt)
        }.toDS

DataSet -> RDD
    
   dataSet.rdd 即可， 返回的是 RDD[People]

3、DataFrame <-> DataSet

1、DataSet ->  DataFrame
    dataSet.toDF  即可,直接复用case class的名称

2、DataFrame -> DataSet  （Scheam需要借助case class） 【DF的列名要和 case class的列名一致。】
  case class People(name:String, age:Int)

  dataFrame.as[People]  即可。