Spark 提交任务于参数解释
@来自科多大数据
配置与YARN进行关联
第一个，基于standalone 集群模式提交
这里使用的client模式，还可以使用另外一种模式 cluster
./bin/spark-submit \
--class spark_streaming.SparkStreaming_first \
--master spark://master:7077 \
--deploy-mode client \
--supervise \
--executor-memory 1G \
--total-executor-cores 1 \
/home/hadoop/spark.jar
第二个，基于YARN 集群模式提交
这里使用的client模式，还可以使用另外一种模式 cluster
./bin/spark-submit \
--class spark_streaming.SparkStreaming_first \
--master yarn \
--deploy-mode client \
--executor-memory 1G \
--num-executors 1 \
/home/hadoop/spark.jar
spark-submit 是最常用来提交任意 Spark 任务的客户端工具，客户实现自己的业务打包 成 jar 包并通过该工具提交任务在集群中运行。 spark-submit 需要指定为 master 参数为 yarn-client 或 yarn-cluster 模式，若不指定该参数 为单机版模式。根据实际业务需求和集群资源情况指定单个执行器所占 CPU、单个执行 器所占内存和执行器个数。 直接输入 spark-submit 可以看到其所有参数：
常用启动参数：
--master yarn-client （启动并以集群模式提交任务，不设置为 local 模式非 集群） --driver-memory 10G （Driver 内存，每个任务都会启动一个 driver）
--executor-memory 85G （每个 executor 的内存）
--executor-cores 26 （每个 executor 的 Vcore）
--num-executors 16 （集群内启动多少 executor）
启动参数配置原则：
ü driver-memory 这个不需要太大一般 4-10g 足够
ü executor-memory 尽可能利用集群空闲资源（可以理解为 yarn 上物理内存 减去其他组件需要使用以外的剩余内存尽量分配进来。）
ü executor-cores 依据每个 task 所需的内存来调整 core 数量 不同任务所需要内存不同，假设 executor-memory 为 80G，每个 task 内存需要 4G 则 executor-cores 可以设置为 20； 注意：Spark 任务中 每一个 container 处理一个 task，每一个 container 含有 至少一个 core 以及一部分内存，因此由上例可以得出每一个 container 含有 1 个 core 和 85/26 G 的内存； container 总数在 26*16 个也就是说在这个启动参 数中 spark 的任务能同时并发 26*16 个 task。
ü num-executors 可以动态调整 一般为计算节点的整数倍。
