Spark SQL：使用数据源

目录
一.通用的Load/Save函数
    1.通用的Load/Save函数
    2.显式指定文件格式：加载json格式
    3.存储模式（Save Modes）
    4.将结果保存为表
二.Parquet文件(列式存储文件，是Spark SQL默认的数据源)
    1.什么是parquet文件？
    2.把其他文件，转换成Parquet文件()
    3.支持Schema的合并
    4.JSON 文件
    5.使用JDBC(通过JDBC操作关系型数据库，mysql中的数据，通过JDBC加载到Spark中进行分析和处理)
    6.使用Hive Table

    在Spark SQL中，可以使用各种各样的数据源进行操作。Spark SQL 用于处理结构化的数据。

一.通用的Load/Save函数(load函数式加载数据，save函数式存储数据)

   注意：使用load或者save函数时，默认的数据源都是 Parquet文件。列式存储文件

1.通用的Load/Save函数

(1)读取Parquet文件

val userDF = spark.read.load("/root/resources/users.parquet")

(2)查询Schema和数据

scala> userDF.printSchema

scala> userDF.show

(3)查询用户的name和喜爱颜色，并保存

userDF.select($"name",$"favorite_color").write.save("/opt/TestFolder/parquet")

(4)验证结果

scala >val testResult = spark.read.load("/opt/TestFolder/parquet/part-00000-f984413d-61c4-4b13-8326-12b1d545bed8.snappy.parquet")

scala >testResult.printSchema

scala >testResult.show
2.显式指定文件格式：加载json格式

(1)直接加载：

val userDF = spark.read.load("/opt/TestFolder/people.json")  //会出错

上面这个会出错

val usersDF = spark.read.format("json").load("/opt/TestFolder/people.json")
3.存储模式（Save Modes）

    可以采用SaveMode执行存储操作，SaveMode定义了对数据的处理模式。需要注意的是，这些保存模式不使用任何锁定，不是原子操作。此外，当使用Overwrite方式执行时，在输出新数据之前原数据就已经被删除。SaveMode详细介绍如下表：

Demo：

usersDF.select($"name").write.save("/opt/TestFolder/parquet1")

上面出错：因为/root/result/parquet1已经存在

usersDF.select($"name").write.mode("overwrite").save("/opt/TestFolder/parquet1")
4.将结果保存为表
usersDF.select($"name").write.saveAsTable("table1")

也可以进行分区、分桶等操作：partitionBy、bucketBy

二.Parquet文件(列式存储文件，是Spark SQL默认的数据源)

1.什么是parquet文件？

(1)Parquet是列式存储格式的一种文件类型，列式存储有以下的核心：

  • 可以跳过不符合条件的数据，只读取需要的数据，降低IO数据量。
  • 压缩编码可以降低磁盘存储空间。由于同一列的数据类型是一样的，可以使用更高效的压缩编码（例如Run Length Encoding和Delta Encoding）进一步节约存储空间。
  • 只读取需要的列，支持向量运算，能够获取更好的扫描性能。
  • Parquet格式是Spark SQL的默认数据源，可通过spark.sql.sources.default配置

(2)Parquet是一个列格式而且用于多个数据处理系统中。
Spark SQL提供支持对于Parquet文件的读写，也就是自动保存原始数据的schema。当写Parquet文件时，所有的列被自动转化为nullable，因为兼容性的缘故。

2.把其他文件，转换成Parquet文件()

    读入json格式的数据，将其转换成parquet格式，并创建相应的表来使用SQL进行查询。

scala >val empDF = spark.read.json("/opt/module/datas/TestFile/emp.json")

scala >empDF.show

scala >empDF.write.mode("overwrite").save("/opt/module/datas/TestFile/myresult/parquet")

//save和parquet都可以写入，是一样的
scala >empDF.write.mode("overwrite").parquet("/opt/module/datas/TestFile/myresult/parquet")

scala >val emp1=spark.read.parquet("/opt/module/datas/TestFile/myresult/parquet")

scala >emp1.show

scala >emp1.createOrReplaceTempView("emptable")

scala >spark.sql("select * from emptable where deptno =10 and sal >1500").show
3.支持Schema的合并：

    Parquet支持Schema evolution(Schema演变，即：合并)。用户可以先定义一个简单的Schema，然后逐渐的向Schema中增加列描述。通过这种方式，用户可以获取多个有不同Schema但相互兼容的Parquet文件。
Demo:

val df1= sc.makeRDD(1 to 5).map(i => (i,i*2)).toDF("single","double")

df1.show

sc.makeRDD(1 to 5)

sc.makeRDD(1 to 5).collect

df1.write.parquet("/opt/module/datas/TestFile/test_table/key=1")


val df2 = sc.makeRDD(6 to 10).map(i=>(i,i*3)).toDF("single","triple")

df2.show

df2.write.parquet("/opt/module/datas/TestFile/test_table/key=2")


val df3 = spark.read.parquet("/opt/module/datas/TestFile/test_table")

df3.show

val df3 = spark.read.option("mergeSchema",true).parquet("/opt/module/datas/TestFile/test_table")

df3.show
4.JSON 文件

    Spark SQL能自动解析JSON数据集的Schema，读取JSON数据集为DataFrame格式。读取JSON数据集方法为SQLContext.read().json()。该方法将String格式的RDD或JSON文件转换为DataFrame。

    需要注意的是，这里的JSON文件不是常规的JSON格式。JSON文件每一行必须包含一个独立的、自满足有效的JSON对象。如果用多行描述一个JSON对象，会导致读取出错。读取JSON数据集示例如下：
(1)Demo1：使用Spark自带的示例文件 --> people.json 文件

//定义路径：
val path ="/opt/module/datas/TestFile/people.json"

//读取Json文件，生成DataFrame：
val peopleDF = spark.read.json(path)

//打印Schema结构信息：
peopleDF.printSchema()

//创建临时视图：
peopleDF.createOrReplaceTempView("people")

//执行查询
spark.sql("SELECT name FROM people WHERE age=18").show
5.使用JDBC(通过JDBC操作关系型数据库，mysql中的数据，通过JDBC加载到Spark中进行分析和处理)

    Spark SQL同样支持通过JDBC读取其他数据库的数据作为数据源。

(一)Demo演示：使用Spark SQL读取Oracle数据库中的表。
(1)启动Spark Shell的时候，指定Oracle数据库的驱动

bin/spark-shell --master spark://hadoop:7077 --jars /opt/soft/mysql-connector-java-5.1.27.jar --driver-class-path /opt/soft/mysql-connector-java-5.1.27.jar

(2)读取mysql数据库中的数据

(a)方式一：

val mysqlDF = spark.read.format("jdbc").
         option("url","jdbc:mysql://192.168.1.120:3306/company?serverTimezone=UTC&characterEncoding=utf-8").
         option("dbtable","emp").
         option("user","root").
         option("password","000000").load

mysqlDF.show

(b)方式二：定义 Properities类

//导入需要的类：
import java.util.Properties   

//定义属性：               
val mysqlProps = new Properties()
mysqlProps.setProperty("user","root")
mysqlProps.setProperty("password","000000")
//读取数据：

val mysqlDF1 = spark.read.jdbc("jdbc:mysql://192.168.1.120:3306/company?serverTimezone=UTC&characterEncoding=utf-8","emp",mysqlProps)

mysqlDF1.show
6.使用Hive Table(把Hive中的数据，读取到Spark SQL 中)

(1)首先，搭建好Hive的环境(需要Hadoop)
(a)搭建台Hive，一台Hive Server(hadoop2)，一台Hive Client(hadoop1)
这两台hive中其他配置文件一样，知识hive-site.xml有区别
其中Hive Server的hive-site.xml配置如下:

<configuration> 
    <property> 
        <name>hive.metastore.warehouse.dir</name>  
        <value>/user/hive/warehouse</value> 
    </property>  
    <property> 
        <name>javax.jdo.option.ConnectionURL</name>  
        <value>jdbc:mysql://hadoop1:3306/hive?serverTimezone=UTC</value> 
    </property>  
    <property> 
        <name>javax.jdo.option.ConnectionDriverName</name>  
        <value>com.mysql.jdbc.Driver</value> 
    </property>  
    <property> 
        <name>javax.jdo.option.ConnectionUserName</name>  
        <value>root</value> 
    </property>  
    <property> 
        <name>javax.jdo.option.ConnectionPassword</name>  
        <value>123456</value> 
    </property>  
    <property> 
        <name>hive.querylog.location</name>  
        <value>/data/hive/iotmp</value> 
    </property>  
    <property> 
        <name>hive.server2.logging.operation.log.location</name>  
    <value>/data/hive/operation_logs</value> 
    </property>  
    <property> 
        <name>datanucleus.readOnlyDatastore</name>  
        <value>false</value> 
    </property>  
    <property> 
        <name>datanucleus.fixedDatastore</name>  
        <value>false</value> 
    </property>  
    <property> 
        <name>datanucleus.autoCreateSchema</name>  
        <value>true</value> 
    </property>  
    <property> 
        <name>datanucleus.autoCreateTables</name>  
        <value>true</value> 
    </property>  
    <property> 
        <name>datanucleus.autoCreateColumns</name>  
        <value>true</value> 
    </property> 
    <property>
        <name>datanucleus.schema.autoCreateAll</name>
        <value>true</value>
    </property>
</configuration>

Hive Client 中hive-site.xml配置如下：

<configuration>
          <property>
                <name>hive.metastore.warehouse.dir</name>
                <value>/user/hive/warehouse</value>
          </property>
          <property>
                <name>hive.metastore.local</name>
                <value>false</value>
          </property>
          <property>
                <name>hive.metastore.uris</name>
                <value>thrift://192.168.1.122:9083</value>
          </property>
</configuration>
Hive Client

(2)配置Spark SQL支持Hive
(a)只需要将以下文件拷贝到$SPARK_HOME/conf的目录下，即可

  • $HIVE_HOME/conf/hive-site.xml(拷贝Hive Client中的hive-site.xml)
  • $HADOOP_CONF_DIR/core-site.xml
  • $HADOOP_CONF_DIR/hdfs-site.xml

(3)启动hive：
启动Hive Server

cd /opt/module/hive-1.2.1

bin/hive --service metastore
Hive Server

启动Hive Client

cd /opt/module/hive-1.2.1

bin/hive
Hive Client

(4)使用Spark Shell操作Hive
(a)启动Spark Shell的时候，需要使用--jars指定mysql的驱动程序

启动Spark

cd /opt/module/spark-2.1.0-bin-hadoop2.7

bin/spark-shell --master://hadoop1:7077

spark.sql("select * from default.emp").show
查询Hive中的表

(b)创建表

spark.sql("create table movle.src (key INT, value STRING) row format    delimited fields terminated by ','")
创建表1
创建表2

(c)导入数据

spark.sql("load data local path '/root/temp/data.txt' into table src")

(d)查询数据

spark.sql("select * from src").show

(4)使用spark-sql操作Hive
(a)启动spark-sql的时候，需要使用--jars指定mysql的驱动程序
(b)操作Hive

spark.sql("show tables").show
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 217,542评论 6赞 504
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 92,822评论 3赞 394
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 163,912评论 0赞 354
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 58,449评论 1赞 293
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 67,500评论 6赞 392
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 51,370评论 1赞 302
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 40,193评论 3赞 418
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 39,074评论 0赞 276
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 45,505评论 1赞 314
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,722评论 3赞 335
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,841评论 1赞 348
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 35,569评论 5赞 345
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 41,168评论 3赞 328
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,783评论 0赞 22
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,918评论 1赞 269
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 47,962评论 2赞 370
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 44,781评论 2赞 354