Flink 入门(二):Mac 上搭建 Flink & Flink 配置项

Flink V1.9 官方中文文档地址:https://ci.apache.org/projects/flink/flink-docs-release-1.9/zh/

一、 Mac 上安装 Flink

1.1 确保安装了 JDK 1.8+ 版本

Flink 的核心模块使用 Java 开发,因此其运行环境依赖 JDK,且 1.8+ 版本。

查看 java 版本命令:java -version

$ java -version
java version "1.8.0_171"
Java(TM) SE Runtime Environment (build 1.8.0_171-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.171-b11, mixed mode)

1.2 安装方法

直接使用 Mac 自带的 Homebrew 工具安装 Flink 即可:
命令:brew install apache-flink

# 默认安装最新版的 flink,安装路径默认/usr/local/Cellar/apache-flink/版本号
brew install apache-flink

......

######################################################################    98.5%
######################################################################## 100.0%
🍺  /usr/local/Cellar/apache-flink/1.9.1: 166 files, 277MB, built in 176 minutes 47 seconds
==> `brew cleanup` has not been run in 30 days, running now...
Removing: /Users/ycaha/Library/Caches/Homebrew/telnet--60.high_sierra.bottle.tar.gz... (52.7KB)
Removing: /Users/ycaha/Library/Caches/Homebrew/Cask/jd-gui--1.6.0.tar... (1.4MB)

1.3 测试安装是否成功 ?

然后测试是否安装成功:
命令:flink --version 或者 brew info apache-flink

$ flink --version
Version: 1.9.1, Commit ID: 4d56de8

或者

$ brew info apache-flink
apache-flink: stable 1.9.1, HEAD
Scalable batch and stream data processing
https://flink.apache.org/
/usr/local/Cellar/apache-flink/1.9.1 (167 files, 277MB) *
  Built from source on 2019-11-26 at 14:16:21
From: https://github.com/Homebrew/homebrew-core/blob/master/Formula/apache-flink.rb
==> Requirements
Required: java = 1.8 ✔
==> Options
--HEAD
    Install HEAD version
==> Analytics
install: 1,585 (30 days), 4,592 (90 days), 18,565 (365 days)
install_on_request: 1,574 (30 days), 4,572 (90 days), 18,411 (365 days)
build_error: 0 (30 days)


二、启动 Flink

使用 Mac 的 Homebrew 工具安装的 flink 默认在路径/usr/local/Cellar/apache-flink/1.9.1,其中1.9.1 是版本号。通过脚本来启动 flink,在/usr/local/Cellar/apache-flink/1.9.1/libexec/bin/目录下存在很多脚本文件:

ll
total 176
drwxr-xr-x  24 ycaha  admin  768 Nov 26 14:16 ./
drwxr-xr-x  11 ycaha  admin  352 Nov 26 14:16 ../
-rwxr-xr-x   1 ycaha  admin  139 Nov 26 14:16 config.sh*
-rwxr-xr-x   1 ycaha  admin  148 Nov 26 14:16 find-flink-home.sh*
-rwxr-xr-x   1 ycaha  admin  135 Nov 26 14:16 flink*
-rwxr-xr-x   1 ycaha  admin  146 Nov 26 14:16 flink-console.sh*
-rwxr-xr-x   1 ycaha  admin  145 Nov 26 14:16 flink-daemon.sh*
-rwxr-xr-x   1 ycaha  admin  146 Nov 26 14:16 historyserver.sh*
-rwxr-xr-x   1 ycaha  admin  143 Nov 26 14:16 jobmanager.sh*
-rwxr-xr-x   1 ycaha  admin  152 Nov 26 14:16 mesos-appmaster-job.sh*
-rwxr-xr-x   1 ycaha  admin  148 Nov 26 14:16 mesos-appmaster.sh*
-rwxr-xr-x   1 ycaha  admin  150 Nov 26 14:16 mesos-taskmanager.sh*
-rwxr-xr-x   1 ycaha  admin  155 Nov 26 14:16 pyflink-gateway-server.sh*
-rwxr-xr-x   1 ycaha  admin  146 Nov 26 14:16 pyflink-shell.sh*
-rwxr-xr-x   1 ycaha  admin  143 Nov 26 14:16 sql-client.sh*
-rwxr-xr-x   1 ycaha  admin  147 Nov 26 14:16 standalone-job.sh*
-rwxr-xr-x   1 ycaha  admin  146 Nov 26 14:16 start-cluster.sh*
-rwxr-xr-x   1 ycaha  admin  150 Nov 26 14:16 start-scala-shell.sh*
-rwxr-xr-x   1 ycaha  admin  155 Nov 26 14:16 start-zookeeper-quorum.sh*
-rwxr-xr-x   1 ycaha  admin  145 Nov 26 14:16 stop-cluster.sh*
-rwxr-xr-x   1 ycaha  admin  154 Nov 26 14:16 stop-zookeeper-quorum.sh*
-rwxr-xr-x   1 ycaha  admin  144 Nov 26 14:16 taskmanager.sh*
-rwxr-xr-x   1 ycaha  admin  145 Nov 26 14:16 yarn-session.sh*
-rwxr-xr-x   1 ycaha  admin  142 Nov 26 14:16 zookeeper.sh*

可以通过运行脚本文件 start-cluster.sh 来启动 flink 集群:

$ sh start-cluster.sh 
Starting cluster.
Starting standalonesession daemon on host LMA23004071M.local.
Starting taskexecutor daemon on host LMA23004071M.local.

通过 ps -ef | grep flink命令可以查到运行的 flink 进程。
启动 Flink 服务后,client 还可以通过 REST接口连接到 flink server,直接在浏览器中输入:http://localhost:8081/#/overview 即可,其中localhost 是 rest.address,8081 是rest.port

Flink web界面

rest.addressrest.port的默认值分别为localhost 和 8081。这两个参数可以在配置文件${flink_home}/libexec/conf/flink-conf.yaml 中修改,然后重启 flink server(通过先后执行脚本 start-cluster.shstop-cluster.sh)使得配置生效。

#==============================================================================
# Rest & web frontend
#==============================================================================

# The port to which the REST client connects to. If rest.bind-port has
# not been specified, then the server will bind to this port as well.
#
# rest.port: 8081

# The address to which the REST client will connect to
#
#rest.address: 0.0.0.0


©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,080评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,422评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,630评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,554评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,662评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,856评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,014评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,752评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,212评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,541评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,687评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,347评论 4 331
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,973评论 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,777评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,006评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,406评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,576评论 2 349

推荐阅读更多精彩内容