本节来介绍Spark实战案例：通过分析网站的访问日志，来求出网站中访问量最高的两个页面。
access_log.txt 提取码：xxjc
本节用到的日志文件格式如下所示：
192.168.88.1 - - [30/Jul/2017:12:54:52 +0800] "GET /MyDemoWeb/hadoop.jsp HTTP/1.1" 200 242
192.168.88.1 - - [30/Jul/2017:12:54:53 +0800] "GET /MyDemoWeb/oracle.jsp HTTP/1.1" 200 242
192.168.88.1 - - [30/Jul/2017:12:54:54 +0800] "GET /MyDemoWeb/mysql.jsp HTTP/1.1" 200 241
1.下载Spark安装目录下的所有Jar包
使用WinSCP工具将$SPARK_HOME/jars目录下的所有Jar包下载到本地目录如E:/sparklib中。
2.使用IDEA搭建Spark程序开发环境
- 打开IDEA开发工具，选择“Create New Project”，选择Scala下面的sbt工程，Next
- 工程名字：WebAccessCount，选择一个保存位置，比如：E:/WebAccessCount，Java版本和Scala版本需要和Spark集群环境中的保持一致，sbt版本保持默认，Finish
- 在WebAccessCount工程上右键单击，New，Directory，输入目录名：lib，OK
- 将刚才下载好的所有Jar包，复制粘贴到lib文件夹，在弹出的确认对话框中单击OK
- 选中lib目录下的所有的Jar包，右键，选中“Add as Libirary”，在弹出的对话框中输入库的名字，比如：spark_jars，OK
注意：IDEA构建工程的过程比较慢，请耐心等待。只有等工程构建完成后，工程的结构才会完整，写代码时才会有智能提示。可以通过更改sbt源的方式来提高构建速度，这里不作介绍。
3.编写WebAccessCount程序
- 在WebAccessCount工程下的src/main/scala目录上右键，New，Package：demo，OK
- 在demo下面New，Scala Class：WebAccessCount.scala，种类选择：Object，OK
- 编写WebAccessCount.scala代码如下：
package demo
import org.apache.spark.{SparkConf, SparkContext}
//功能：求出访问量最高的两个页面
object WebAccessCount {
def main(args: Array[String]): Unit = {
//创建SparkConf对象：设置为本地运行模式
val conf = new SparkConf().setAppName("WebAccessCount").setMaster("local")
//创建SparkContext对象
val sc = new SparkContext(conf)
//从本地磁盘读入访问日志数据："192.168.88.1 - - [30/Jul/2017:12:54:41 +0800]
//"GET /MyDemoWeb/hadoop.jsp HTTP/1.1" 200 242"
val rdd1 = sc.textFile("E:\\access_log.txt").map(
line => {
//解析每一行，找出jsp文件的名字，并返回结果：(hadoop.jsp,1)
//解析出子串: GET /MyDemoWeb/hadoop.jsp HTTP/1.1
val index1 = line.indexOf("\"") //左双引号的位置
val index2 = line.lastIndexOf("\"") //右双引号的位置
val command = line.substring(index1+1,index2)
//解析出子串：/MyDemoWeb/hadoop.jsp
val index3 = command.indexOf(" ") //第一个空格
val index4 = command.lastIndexOf(" ") //最后一个空格
val path = command.substring(index3+1,index4)
//解析出jsp文件名字：hadoop.jsp
val jspFileName = path.substring(line2.lastIndexOf("/")+1)
//返回结果：(hadoop.jsp,1)
(jspFileName,1)
}
)
//将每个页面的访问量求和
val rdd2 = rdd1.reduceByKey(_+_)
//将每个页面按照访问量降序排列：true表示升序，false表示降序
val rdd3 = rdd2.sortBy(_._2,false)
//输出访问量最高的两个页面
println(rdd3.take(2).toBuffer)
//停止SparkContext对象
sc.stop()
}
}
3.运行结果
按Ctrl + Shift + F10或者在代码上右键，选择Run “WebAccessCount”运行，结果如下：
image
