除了对本地文件系统进行读写以外，Spark还支持很多常见的文件格式（文本文件、JSON）和文件系统（HDFS）和数据库（MySQL、Hive、Hbase）。

1.文件系统的数据读写

1.1本地文件系统的数据读写

在本机上的/usr/local/spark/spark-2.2.0-bin-hadoop2.7/examples/src/main/resources 目录下新建一个TXT文件。文件内容如下：

image.png

要加载本地文件，必须采用“file:///”开头的这种格式。执行上上面这条命令以后，并不会马上显示结果，因为，Spark采用惰性机制，只有遇到“行动”类型的操作，才会从头到尾执行所有操作。

通过SparkContext的textFile方法逐行加载文件中的数据，然后以， 作为分隔符，将每一行的字符串切分为一个只包含两个元素（分别代表name和age）的字符串数组。

#加载本地文件
var file = sc.textFile("file:///usr/local/spark/spark-2.2.0-bin-hadoop2.7/examples/src/main/resources/people.txt")
#取第一行的数据
 file.first()

image.png

#将file变量内容保存在另一个文件中
file.saveAsFile("file:///usr/local/spark/spark-2.2.0-bin-hadoop2.7/examples/src/main/resources/user.txt")

1.2分布式文件系统HDFS的数据读写

首先要启动HDFS文件系统

nohup hive --service metastore > metastore.log 2>&1 &

然后进入/usr/local/hadoop/hadoop-2.8.2/bin 创建HDFS文件路径

#user为指定目录,root为登录Linux系统的用户名
#hdfs://master:9000/user/root
hdfs dfs -mkdir -p /user/root

将people.txt 文件上传到HDFS文件系统中（放到root用户下）

#上传文件
hdfs dfs -put /usr/local/spark/spark-2.2.0-bin-hadoop2.7/examples/src/main/resources/people.txt
#查看文件系统中的文件
hdfs dfs -ls .
#查看文件内容
hdfs dfs -cat ./people.txt

image.png

现在，让我们切换回到spark-shell窗口，编写语句从HDFS中加载people.txt文件，并显示第一行文本内容：

#加载数据
var files = sc.textFile("hdfs://master:9000/user/root/people.txt")
files.first()

image.png

需要注意的是，sc.textFile(“hdfs://master:9000/user/hadoop/word.txt”)中，“hdfs://master:9000/”是前面介绍Hadoop安装内容时确定下来的端口地址9000

2.不同文件格式的读写

2.1文本文件

和上面的例子相同。

#加载本地文件
var file = sc.textFile("file:///usr/local/spark/spark-2.2.0-bin-hadoop2.7/examples/src/main/resources/people.txt")
#取第一行的数据
 file.first()

2.2JSON格式

Spark提供了一个JSON样例数据文件，存放在“/usr/local/spark/examples/src/main/resources/people.json”中。

#加载JSON数据源
val jsonStr = sc.textFile("file:///usr/local/spark/spark-2.2.0-bin-hadoop2.7/examples/src/main/resources/people.json")
#打印出来
jsonStr.first()

image.png

2.3CSV格式

CSV格式文件也称为逗号分隔值（Comma-Separated Values），CSV文件由任意数目的记录组成，记录间以某种换行符分隔，每条记录有字段组成，字段间的分隔符是其它字符或者字符串，最常见的是逗号或制表符。

参考于databricks官方文档

Scala版本

./bin/spark-shell --packages com.databricks:spark-csv_2.11:1.0.3

val data =spark.read.format("com.databricks.spark.csv")#格式说明
                .option("header","true")#如果在CSV文件第一行有属性的话，就为true，没有就是false
                .option("inferSchema",true)#这里是自动推断属性列的数据类型
                .load("/home/zhoujian/spark/test")#文件路径
#用表格显示出来
display(data)
#显示字段类型
data.printSchema

Python版本

diamonds = sqlContext.read.format('csv').options(header='true', inferSchema='true').load('/databricks-datasets/Rdatasets/data-001/csv/ggplot2/diamonds.csv')
display(diamonds)
diamonds.printSchema()

3.参考资料

Apache spark 中文官方文档

Transformations（转换）

下表列出了一些 Spark 常用的 transformations（转换）. 详情请参考 RDD API 文档 (Scala, Java, Python, R) 和 pair RDD 函数文档 (Scala, Java).

Actions（动作）

下表列出了一些 Spark 常用的 actions 操作。详细请参考 RDD API 文档 (Scala, Java, Python, R)

和 pair RDD 函数文档 (Scala, Java).