使用Flink实现WordCount（Scala）

1. 创建Maven项目，在pom.xml文件中引入相应jar包。

<dependency>
           <groupId>org.apache.flink</groupId>
           <artifactId>flink-scala_2.11</artifactId>
           <version>1.7.2</version>
       </dependency>

       <dependency>
           <groupId>org.apache.flink</groupId>
           <artifactId>flink-streaming-scala_2.11</artifactId>
           <version>1.7.2</version>
</dependency>

2. 将main文件夹下的java改为scala（要提前下载scala插件）
3. 在resources目录下新建一个txt文件，写入一些单词。

hello flink
hello world
hello scala

4. 新建scala文件，编写代码

import org.apache.flink.api.scala.ExecutionEnvironment
import org.apache.flink.api.scala._  // 加载隐式转换

object WordCount {
  def main(args: Array[String]): Unit = {
    // 创建一个批处理执行环境
    val env = ExecutionEnvironment.getExecutionEnvironment

    // 从文件中读取数据
    val inputPath = "D:\\File\\IDEAFile\\maven\\Flink\\FlinkTutorial\\src\\main\\resources\\hello.txt"
    val inputDataSet = env.readTextFile(inputPath)

    // 分词、转换、求和
    val wordCountDataSet = inputDataSet.flatMap(_.split(" ")).map((_, 1)).groupBy(0).sum(1)

    // 打印
    wordCountDataSet.print()
  }
}

5. 执行程序查看结果

(scala,1)
(flink,1)
(world,1)
(hello,3)