本地模式
本地模式是学习和实验spark的绝佳方式。本地模式还未计划最终部署到多节点Spark群集的分析，报告和应用程序提供了方便的开发环境
要在本地模式下工作，首先需要安装spark版本以便本地使用。可以使用spark_install功能执行此操作
推荐的属性
以下是通过R连接要设置的Spark属性：
sparkly.cores.local默认使用所有可用的内核。不是必须设置的属性， 除非有理由使用更少的核parklyr.shell.driver-memory计算机中可用的RAM数量减去操作系统操作所需的数量。```spark.memory.fraction````默认设置为每个执行程序所请求内存的60%。
连接示例
conf$`sparklyr.cores.local` <- 4
conf$`sparklyr.shell.driver-memory` <- "16G"
conf$spark.memory.fraction <- 0.9
sc <- spark_connect(master = "local",
version = "2.1.0",
config = conf)
要查看请求的配置如何影响Spark连接，请转到http：// localhost：4040 / storage /中提供的Spark Web UI中的Executors页面
自定义链接
可以通过某些属性自定义与spark的连接，在sparklyr中，可以使用 config函数中的参数设置spark属性spark_connect()
默认情况下，spark_connect()会使用 spark_config()的默认配置。但是可以自定义。
spark_config()仅包含基本配置，因此可能需要其他设置才能正确连接到集群。
SPark定义
- 节点：服务器
- 工作节点：作为集群一部分服务器，可以运行spark作业
- 执行程序：节点内的一种虚拟机。一个节点可以有多个执行程序
- 驱动程序节点：启动spark会话节点
- 驱动程序（执行程序）
有用的概念
- R传递的spark配置属性只是请求：在大多数情况下，集群对分配给Spark会话资源有最终决定权
- 集群‘默认’覆盖：很多时候，如果请求资源多于允许的数量，或者尝试修改集群修复设置，则不会返回任何错误
YARN
在基于Hadoop的data lake中使用Spark和R成为公司常用的做法。目前，没有很好的方法来集中管理与Spark服务的用户连接。可以应用一些默认设置，，但大多数情况下，R用户需要自定义设置。
Spark官方文档Running on YARN页面是开始配置设置参数的最佳位置。
如果不是很熟悉Spark，那么由Cloudera提供的YARN调整文章在解释Spark / YARN架构如何工作方面做得非常出色。
推荐属性
spark.executor.memory可能的最大值由YARN群集管理。请参阅执行程序内存错误spark.executor.cores每个Executor分配的核心数。spark.executor.instances要启动的执行程序数。如果spark.dynamicAllocation.enabled设置为“false” ，则群集会确认此属性。spark.dynamicAllocation.enabled - 覆盖Spark提供的动态调整资源的机制。禁用它可以更好地控制可以启动的执行程序的数量，从而影响会话可用的存储量。有关更多信息，请参阅Spark官方网站上的“ 动态资源分配”页面。
客户端模式
使用yarn-client作为master参数的值spark_connect()将使运行R的服务器成为Spark的会话驱动程序。这是一个示例连接：
conf <- spark_config()
conf$spark.executor.memory <- "300M"
conf$spark.executor.cores <- 2
conf$spark.executor.instances <- 3
conf$spark.dynamicAllocation.enabled <- "false"
sc <- spark_connect(master = "yarn-client",
spark_home = "/usr/lib/spark/",
version = "1.6.0",
config = conf)
集群模式
在集群模式下运行意味着YARN将选择Spark会话驱动程序将在何处运行。这可能意味着运行R的服务器可能不一定是该会话的驱动程序。这里有一篇很好的文章，解释如何运行Spark应用程序：在YARN上运行Spark
服务器至少需要两个文件的副本yarn-site.xml和hive-site.xml
据群集的个人设置，可能还需要其他文件。
这是连接到Cloudera集群的示例：
library(sparklyr)
Sys.setenv(JAVA_HOME="/usr/lib/jvm/java-7-oracle-cloudera/")
Sys.setenv(SPARK_HOME = '/opt/cloudera/parcels/CDH/lib/spark')
Sys.setenv(YARN_CONF_DIR = '/opt/cloudera/parcels/CDH/lib/spark/conf/yarn-conf')
conf$spark.executor.memory <- "300M"
conf$spark.executor.cores <- 2
conf$spark.executor.instances <- 3
conf$spark.dynamicAllocation.enabled <- "false"
conf <- spark_config()
sc <- spark_connect(master = "yarn-cluster",
config = conf)
## 独立模式
以下是通过R连接时要设置的建议Spark属性：
独立模式下的默认行为是为每个工作程序创建一个执行程序。因此，在3个工作节点集群中，将设置3个执行程序。可以设置的基本属性是：
spark.executor.memory - 请求的内存不能超过可用的实际RAM。
spark.memory.fraction - 默认设置为每个执行程序所请求内存的60％。有关更多信息，请参阅Spark官方网站上的“ 内存管理概述”页面。
spark.executor.cores - 请求的内核不能高于每个worker中可用的内核。
