Spark Windows开发环境搭建

1、配置Java开发环境,下载JDK8.0版本(jdk1.8.0以上版本),JDK(全称是JavaTM Platform Standard Edition Development Kit)的安装,下载地址是Java SE Downloads,一般进入页面后,会默认显示一个最新版的JDK,如下图所示,当前最新版本是JDK 8,更为详细具体的地址是Java SE Development Kit 8 Downloads

   安装完成后,设置JAVA_HOME和Path环境变量。

2、安装Scala,windows平台下面选择msi版本,这里安装版本为2.12.0版本 , 下载地址:https://downloads.lightbend.com/scala/2.12.0/scala-2.12.0.msi 。

3、安装Spark,可以下载编译好的版本spark-2.3.0-bin-hadoop2.7,下载地址:http://mirrors.shu.edu.cn/apache/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz    , 直接解压到安装目录,设置环境变量
PATH和SPARK_HOME,PATH 添加为spark安装目录下的bin目录,SPARK_HOME设置为spark安装目录。

4、安装Hadoop,安装版本为2.7.1版本,下载路径:https://archive.apache.org/dist/hadoop/common/hadoop-2.7.1/    ,如果提示缺


参考: http://blog.csdn.net/u011513853/article/details/52865076

http://blog.csdn.net/u011669700/article/details/54615010

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容