SPARK命令行读取parquet数据

1，进入spark shell

./spark-shell

2，执行以下操作读取parquet文件

val sqlContext = new org.apache.spark.sql.SQLContext(sc)

val parquetFile = sqlContext.parquetFile("/home/neunntest/hdfs/dataSet/2018-1-2/iris20180102_1514855343/*.parquet")

3，打印具体内容

parquetFile.take(150).foreach(println)

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容