为了使用spark 的基于mesos的集群方式, 需要安装mesos, 网上教程很多,但感觉有些繁琐,其实说起来也就几步而已。
下载mvn, 并建立软连接
wget http://mirror.nexcess.net/apache/maven/maven-3/3.0.5/binaries/apache-maven-3.0.5-bin.tar.gz
sudo tar -zxf apache-maven-3.0.5-bin.tar.gz -C /opt/
sudo ln -s /opt/apache-maven-3.0.5/bin/mvn /usr/bin/mvn
yum直接安装各种依耐包
sudo yum install -y python-devel java-1.7.0-openjdk-devel zlib-devel libcurl-devel openssl-devel cyrus-sasl-devel cyrus-sasl-md5 apr-devel subversion-devel apr-util-devel gcc-g++
下载mesos源码包
http://archive.apache.org/dist/mesos/0.21.0/mesos-0.21.0.tar.gz (下载这个版本主要是为了匹配spark 1.6.1)
解压该源码包并执行编译、安装(在编译阶段会去下载大量的包, 整个过程 一般得20~30 分钟)