cdh部署spark2

不是完spark2不能启动

分配、激活parcel

image.png

磁盘太小

sudo fdisk -l

Disk /dev/nvme1n1: 100 GiB, 107374182400 bytes, 209715200 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes


sudo mkfs -t ext4 /dev/nvme1n1
sudo mount /dev/nvme1n1 /home/ubuntu/data_disk/

参考：ubuntu下添加硬盘，分区以及自动挂载

代理目录太小：

代理日志目录 Suppress...
Cloudera Manager Agent 的日志目录位于可用空间小于 2.0 吉字节 的文件系统上。 /var/log/cloudera-scm-agent（可用：1.6 吉字节 (11.18%)，容量：14.5 吉字节）

修改 /etc/cloudera-scm-server/config.ini

# Parcel directory.  Unpacked parcels will be stored in this directory.
# Downloaded parcels will be stored in <parcel_dir>/../parcel-cache
# parcel_dir=/opt/cloudera/parcels
parcel_dir=/home/ubuntu/data_disk/parcels

cdh spark-shell 报错

spark-shell java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInput

error retrieving current directory: getcwd: cannot access parent directories

看到的解决方法：
在spark2的配置文件：/ect/spark2/spark-env.sh

export SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:$(hadoop classpath)"

但是没用。因为我自己部署了spark2.3
后面尝试的方法：

 pwd
/home/ubuntu/data_disk/parcels/SPARK2-2.3.0.cloudera3-1.cdh5.13.3.p0.458809/lib/spark2
#在spark2目录下提交任务：
/bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn  ./examples/jars/spark-examples_2.11-2.3.0.cloudera3.jar 10
# 在其他目录需要用spark2-submit，否则使用的是spark1