#!/bin/bash
spark-submit --class com.YYY.rdvs.Sign_and_Pai_Chu.Out_Current_Day \
--master yarn \
--deploy-mode cluster \
--driver-memory 5g \
--num-executors 10 \
--executor-memory 10g \
--executor-cores 2 \
--conf spark.default.parallelism=200 \
--conf spark.storage.memoryFraction=0.4 \
--conf spark.shuffle.memoryFraction=0.5 \
--conf spark.executor.memoryOverhead=2048 \
--driver-java-options -XX:MaxPermSize=2048M \
--queue root.rdvs \
--files hdfs://cluster001/user/rdvs/conf/dbconfig.properties \
--jars hdfs://cluster001/user/rdvs/jars/common/ojdbc6.jar hdfs://cluster1/user/rdvs/jars/Sign_and_Pai_Chu/Sign_and_Pai_Chu.jar $1 $2 $3 $4
2021-03-02
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。