Windows环境下的Spark环境搭建
1.JDK8,SCALA-2.13.0,SPARK-2.4.4,HADOOP-2.7.0
2.环境变量,特别注意scala的classpath变量要指向BIN目录
3.在hadoop的bin目录添加winutils.exe
验证:hadoop -version 显示JDK版本 , hadoop version显示hadoop版本
spark-shell 启动spark驱动器程序(会自动创建SparkContext对象),会显示spark版本,支持的scala版本
scala的交互式编程案例:scala>
val lines = sc.textFile("d:\\BigData\\hadoop-2.7.0\\README.tx") // windows下要双反斜杠
val countryLines = lines.filter(line => line.contains("country"))
countryLines .first() //输出第一行包含country的文本