Spark Streaming实时流处理-2. Spark实战环境搭建

0. 目录

1. Spark源码编译
2. Spark环境搭建
3. Spark简单使用

1. Spark源码编译

• http://spark.apache.org/downloads.html
• 下载Source Code源码
• 使用tar -zxvf 解压文件
• 查看构建文档：http://spark.apache.org/docs/latest/building-spark.html
• 基于Maven进行构建 maven version > 3.3.9 && java version > 1.7+
• export MAVEN_OPTS="-Xms2g -XX:ReservedCodeCacheSize=512m"
• mvn编译命令：./build/mvn -Pyarn -Phadoop-3.1 -Phive -Phive-thriftserver -Dhadoop.version=3.1.0 -DskipTests clean package
• spark build脚本：./dev/make-distribution.sh --name 2.6.0-cdh5.7.0 --tgz -Pyarn -Phadoop-2.6 -Phive -Phive-thriftserver -Dhadoop.version=3.1.0