package bl.test.spark
import org.apache.spark.sql.SparkSession
object DataFrameApp {
def main(args: Array[String]) {
val spark = SparkSession.builder().appName("DataFrameApp")
.master("local[2]").getOrCreate()
val peopleDF = spark.read.format("json").load("file:////home/zy/Desktop/success.json")
//输出dataframe对应的schema信息
//peopleDF.printSchema()
//展示前100条
//peopleDF.show(100)
//只显示IMEI字段的前20条
//peopleDF.select("IMEI").show()
//查询某几个列的数据 并且计算
//peopleDF.select(peopleDF.col("IMEI"),(peopleDF.col("TaskID")+10).as("TaskID2")).show()
//根据某一列的值进行过滤
peopleDF.filter((peopleDF.col("TaskID")>20)).show()
//根据某一列进行分组 在进行聚合操作 select TaskID,count(1) from table group by TaskID
peopleDF.groupBy("TaskID").count().show()
spark.stop()
}
}
dataframe 的基本操作
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- Spark SQL, DataFrames and Datasets Guide Overview SQL Dat...
- Spark SQL, DataFrames and Datasets Guide Overview SQL Dat...
