spark基础学习-环境搭建(windows+Java)

1、jdk安装

jdk下载、安装以及环境变量的配置在此不做赘述。

2、Scala安装

下载地址:下载Windows对应的.msi文件,完成后双击执行安装。安装成功后会自动将Scala的bin目录添加到系统变量path中,若path中没有则按照JAVA的方法将Scala的bin目录添加到系统变量中

验证

win+r-->cmd-->scala,若出现以下信息则说明安装成功:

3、spark安装

下载地址:注意选择带有Hadoop的版本。

将下载好的文件解压至安装路径,注意此路径文件夹名不能含空格,否则后期会报错。

将bin目录添加到系统变量path中,可以在命令行窗口直接运行spark-shell,此时会有以下错误是因为还没有安装配置Hadoop:

ERROR Shell:Failed to locate the winutils binary in the hadoop binary path

接下来我们配置Hadoop。

4、Hadoop的安装与配置

在Hadoop的下载页面下载与刚才spark安装版本对应的Hadoop版本。注意下载.tar.gz文件,.src文件为对应的源码。下载完成之后直接解压至安装目录。

下一步设置HADOOP_HOME的环境变量为安装目录,在系统变量path中添加Hadoop的bin目录

测试

win-->cmd-->hadoop

若出现JAVA_HOME is incorrectly set的错误:

第一先检查Hadoop安装目录下etc\hadoop\hadoop-env.cmd 文件中JAVA_HOME变量路径是否有空格,如果有则用PROGRA~1代替原路径中的Program Files即可;

继续上一步测试若还是报相同的错误则检查Hadoop是否与Java安装在同一盘符,此错误可能是由于Windows下Hadoop只能看到自己所在的磁盘;

继续测试若还是相同错误则将hadoop-env.cmd 文件中JAVA_HOME变量路径直接改为自己机器的安装路径。

测试成功结果:

如果不能成功进入环境有可能是因为缺少winutils.exe文件,点击下载 提取码:8n3d

下载完成后选择对应版本的文件放入Hadoop下的bin目录内。

出现以下信息则说明成功:

感谢 https://www.cnblogs.com/xuliangxing/p/7279662.html

https://blog.csdn.net/qq_24125575/article/details/76186309

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 单机版spark搭建备忘:注意:scala搭配java8 过高的版本不兼容,以下网址下载java8https://...
    wong11阅读 4,185评论 0 1
  • 由于Spark是用Scala来写的,所以Spark对Scala肯定是原生态支持的,因此这里以Scala为主来介绍S...
    weizier阅读 19,425评论 10 26
  • Scala语法 至于scala语法而言,大致上和Java的语法类似,增加了一些函数式编程,具体语法可以参考Scal...
    卡卡xx阅读 8,145评论 0 1
  • 内篇.应帝王 十八天过来,从当初的信心不足,到今天的第十八篇,真是弹指一挥间。从读不懂,到似曾相识,到好像有熟...
    jennifer佳佳阅读 2,187评论 0 0
  • 和所有望子成龙望女成凤的家长一样,我的爸爸是一个十足的好面子之人。也许只是恨铁不成钢的无奈,爸爸对于我这二十二年的...
    tisture阅读 5,901评论 47 43

友情链接更多精彩内容