摘要：Spark SQL
启动Spark SQL应用
#! /bin/bash
cd /home/test_gp/SparkSQLExample
nohup spark2-submit \
--class com.example.SparkSQLExample.SparkSQLExampleMain \
--master yarn \
--num-executors 20 \
--executor-cores 3 \
--executor-memory 10g \
--conf spark.yarn.executor.memoryOverhead=12288 \
--conf spark.dynamicAllocation.enabled=false \
--conf spark.network.timeout=300 \
--conf spark.sql.shuffle.partitions=20 \
SparkSQLExample-1.0-SNAPSHOT.jar \
hdfs:///tmp/SparkSQLExample.properties > logs/detail.log 2>&1 &
跟踪日志到Spark WebUI的链接tracking URL
tracking URL.png
查看jobs
查看任务一共被分为4个job，以及每个job在scala代码中出发的行数，还包括提交时间，执行时间，每个job得到stage数量以及成功的stage数量，每个job所有的task数量和成功的task数量。
jobs.png
查看stages
点击每个job可以看待当下job的所有stage，也可以直接点击stages面板，显示一共有19个stage。可以查看每个stage的task数量和成功的task数量，Input从hadoop或者spark storage读取的数据大小，Output写入hadoop的数据大小，shuffle read每个stage读取的数据大小，shuffle write每个stage写入磁盘的数据大小供于未来某个stage读取。
查看stages.png
一般而言task数量（partition）等于spark.sql.shuffle.partitions数量，当spark从hive，kudu读取数据时，task数量和数据表的分区数保持一致。
如下图spark sql task数为226，hive在hdfs上的分区也是226
spark读取hive task分区数.png
hive分区.png
如下图spark sql task数为255，kudu的tablet也是255
spark读取kudu task分区数.png
kudu tablet数量.png
查看executors
点击executors面板，可以看到driver所在机器以及其他20个executor所在机器和端口号，以及executor端的日志
executor.png
一般executors数量和num-executors数量一致，如果开启了spark.dynamicAllocation.enabled，spark会根据task数量动态调整executors数量，num-executors只是executors数量的初始值
查看SQL的执行计划
点击SQL面板查看执行计划
SQL计划.png
-
scan：从hive，kudu读取数据 -
Filter：过滤操作，包括去除缺失值，条件筛选等 -
Project：映射，选择需要的列 -
HashAggregate：聚合，本例中HashAggregate+Exchange+HashAggregate用来distinct去重 -
wholestagecodegen：全阶段代码生成，用来将多个处理逻辑整合到单个代码模块中，是Spark的新的SQL代码生成模型 -
Exchange：数据重分区 -
Sort：数据根据某个key排序 -
SortMergeJoin：大表和大表join的策略，本例中Exchange+Sort+SortMergeJoin用来做大表和大表join
SortMergeJoin
SortMergeJoin.png
-
shuffle阶段：将两张大表根据join key进行重新分区，对应执行计划中的Exchange -
sort阶段：对单个分区节点的两表数据，分别进行排序，对应执行计划中的Sort -
merge阶段：对排好序的两张分区表数据执行join操作。遍历两张表的有序序列，从第一行开始，碰到相同join key就merge输出，否则取更小一边的下一个进行对碰
SortMergeJoin.png
