使用Apache Spark做深度学习 - 第1部分

原文

Apache Spark的入门

如果你在Data World工作，那么你很有可能知道Apache Spark是什么。如果你不知道，那么也还好！我会告诉你它是什么。

Apache Spark TM

由其创建者定义的Spark，是用于大规模数据处理的快速且通用的引擎。

快速部分意味着它比之前使用大数据（如经典MapReduce）的方法更快。快的秘诀在于Spark运行在内存（RAM）上，这使得处理速度比在磁盘上快得多。

通用部分意味着它可以用于多种用途，如运行分布式SQL，创建数据流水线，将数据摄入数据库，运行机器学习算法，处理图形，数据流等等。

RDD

来自PySpark-Jeffrey Thompson的图片

Apache Spark的主要抽象和开始是弹性分布式数据集（Resilient Distributed Dataset，RDD）。

RDD是可以并行操作的容错（fault-tolerant）元素集合。您可以创建它们，以跟驱动程序中的现有数据集并行，或者在外部存储系统（如共享文件系统，HDFS，HBase或提供Hadoop InputFormat的任何数据源）中引用数据集。

了解Spark的非常重要的一点是，所有的转换（transformations） （我们将尽快定义它）都是懒惰的，他们不会马上计算结果。相反，他们只记住应用于某些基础数据集（例如文件）的转换（transformations）。转换仅在动作（action）需要将结果返回给驱动程序时计算。

默认情况下，每次对其执行操作时，每个转换后的RDD都可能会重新计算。但是，您也可以使用持久化（或缓存）方法将RDD 保留（persist）在内存中，在这种情况下，Spark将保留群集中的元素，以便在下次查询时快速访问。还支持在磁盘上保存RDD，或在多个节点上复制RDD。

如果您想更多地了解Spark中RDD的转换和操作，请查看官方文档：

RDD编程指南 - Spark 2.3.0文档
Spark 2.3.0编程指南，Java，Scala和Python

数据帧（Dataframe）

来自PySpark-Jeffrey Thompson的图片

自从Spark 2.0.0开始，DataFrame是一个数据集（Dataset），被组织到命名列（named columns）中。它在概念上等同于关系数据库中的表或R / Python中的数据框（data frame），但在其内部具有更丰富的优化。

我们不会在这里讨论数据集（Datasets），但是它们被定义为可以从JVM对象构建的数据的分布式集合，然后使用功能转换（functional transformations）进行操作。它们仅在Scala和Java中可用（因为它们是有类型（typed）的）。

DataFrame可以从各种来源构建而成，例如：结构化数据文件，Hive中的表，外部数据库或现有的RDD。

https://aspgems.com/blog/big-data/migrando-de-pandas-spark-dataframes

简而言之，Dataframes API是Spark创建者在框架中轻松处理数据的方式。它们与Pandas Dataframes或R Dataframes非常相似，但有几个优点。首先当然是它们可以分布在一个集群中，因此它们可以处理大量的数据，第二个是它被优化了。

这是社区采取的非常重要的一步。到2014年，Spark与Scala或Java一起使用要快得多，并且由于性能的原因，整个Spark世界变成了Scala（是一种令人敬畏的语言）。但对于DF API，这已不再是问题，现在您可以在R，Python，Scala或Java中使用它，获得相同的性能。

催化剂（Catalyst）负责这种优化。你可以把它看作是一个向导，他会接受你的查询（哦，是的，你可以在Spark中运行类似SQL的查询，在DF中运行它们，并且它们也将被并行化）和你的动作（actions），并创建一个优化的计划用于分发计算（distributing the computation）。