Flink在Mac OS X上的安装与启动

image

准备工作

安装查看java的版本号，推荐使用java8。

$ java -version
java version "1.8.0_161"

安装Flink

在Mac OS X上安装Flink是非常方便的。推荐通过homebrew来安装。

$ brew install apache-flink
...
$ flink --version
Version: 1.5.0, Commit ID: c61b108

启动Flink和进入web交互页面

Flink可以通过自带的脚本快速启动。首先通过brew来定位刚才安装的Flink的安装目录。

$ brew info apache-flink
/usr/local/Cellar/apache-flink/1.5.0 (116 files, 324MB) *
  Built from source on 2018-06-22 at 16:42:50

找到之后，进入"1.5.0"目录，然后执行启动脚本

$ ./libexec/bin/start-cluster.sh

接着就可以进入web页面(http://localhost:8081/)

简单的示例

首先用IDEA创建一个maven工程。

idea.png

创建一个SocketTextStreamWordCount文件，加入以下代码。

public class SocketTextStreamWordCount {


    public static void main(String[] args) throws Exception {
        //参数检查
        if (args.length != 2) {
            System.err.println("USAGE:\nSocketTextStreamWordCount <hostname> <port>");
            return;
        }

        String hostName = args[0];
        Integer port = Integer.parseInt(args[1]);

        //设置环境
        final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        //获取数据
        DataStream<String> text = env.socketTextStream(hostName, port);
        
        //计数
        DataStream<Tuple2<String, Integer>> counts = text.flatMap(new LineSplitter())
                .keyBy(0)
                .sum(1);
        counts.print();

        env.execute("Java WordCount from SocketTextStream Example");

    }


    public static final class LineSplitter implements FlatMapFunction<String, Tuple2<String, Integer>> {
        @Override
        public void flatMap(String s, Collector<Tuple2<String, Integer>> collector) {
            String[] tokens = s.toLowerCase().split("\\W+");

            for (String token: tokens) {
                if (token.length() > 0) {
                    collector.collect(new Tuple2<String, Integer>(token, 1));
                }
            }
        }
    }
}

接着进入工程目录，使用以下命令打包。

$ maven clean package -Dmaven.test.skip=true

然后我们开启监听9000端口。

$ nc -l 9000

最后进入flink安装目录执行以下命令跑程序。

$ /bin/flink run -c org.myorg.quickstart.SocketTextStreamWordCount /your/path/target/original-flink-quickstart-java-1.0-SNAPSHOT.jar 127.0.0.1 9000

执行完上述命令后，我们可以在webUI中看到正在运行的程序。

web.png

我们可以在nc中输入text，比如

$ nc -l 9000
hello hello hello
hehe
your world

然后我们通过tail命令看一下输出的log文件，来观察统计结果。进入flink目录，执行以下命令。

tail -f ./libexec/log/flink-*-taskexecutor-1-localhost.out
(hello,1)
(hello,2)
(hello,3)
(hehe,1)
(your,1)
(world,1)

总结

本文描述了如何在Mac电脑上安装flink，及运行它。接着通过一个简单的flink程序来介绍如何构建及运行flink程序。

参考

Setting up Apache Flink on Mac OS X
Apache Flink 中文文档