本文要点:实战Flink1.7的安装和Demo运行过程
1、准备工作;
2、下载Flink1.7;
3、安装Flink1.7;
4、启动Flink1.7;
5、体验Flink1.7;
准备工作
以下是本次实战的环境信息:
操作系统:CentOS Linux release 6.10 (Final)
Flink:flink-1.7.0-bin-hadoop26-scala_2.11
JDK:1.8.0_121
nc工具:7.50 (安装命令是yum install nmap-ncat.x86_64) 测试
注意:
CentOS请注意关闭防火墙;
下载Flink1.7
- 1、在Flink官网下载,地址是:https://flink.apache.org/downloads.html
- 2、如下图,选择红框中的版本:
目前官网最新是Apache Flink 1.7.2,需要下载老版本的可浏览
http://archive.apache.org/dist/flink/
登录系统执行命令:
wget http://archive.apache.org/dist/flink/flink-1.7.0/flink-1.7.0-bin-hadoop26-scala_2.11.tgz
安装Flink1.7
Flink1.7的安装很简单,解压即可:
- 1、下载的Flink安装包文件是flink-1.7.0-bin-hadoop26-scala_2.11.tgz,放在此位置:/data/install/work;
- 2、在/data/install/work目录下执行命令tar -zxvf flink-1.7.0-bin-hadoop26-scala_2.11.tgz解压,会生成一个文件夹:flink-1.7.0
启动Flink1.7
- 1、在文件夹flink-1.7.0下执行命令./bin/start-cluster.sh即可启动Flink,启动信息如下:
[root@web-49-50-hzifc bin]# ./start-cluster.sh
Starting cluster.
Starting standalonesession daemon on host web-49-50-hzifc.node.hzifc.wacai.sdc.
Starting taskexecutor daemon on host web-49-50-hzifc.node.hzifc.wacai.sdc.
2、在flink-1.7.0/log目录下可以看到名为flink-root-standalonesession-0-web-49-50-hzifc.node.hzifc.wacai.sdc.log的日志文件。
-
3、浏览器访问http://172.16.49.50:8081:
至此,Flink1.7安装、部署、启动完成;
体验Flink1.7
- 1、在机器上执行以下命令连接本机9000端口:
nc -l 7077
- 2、在文件夹flink-1.7.0下执行以下命令,即可监听本机9000端口,等待该端口的数据:
./bin/flink run examples/streaming/SocketWindowWordCount.jar --port 7077
-
3、此时再去刷新web页面,可见如下信息,新增了一个Job:
4、在执行了nc -l 7077命令的窗口,输入一些句子,每输完一个就按下回车键,如下:
[root@vostro work]# nc -l 7077
hello flink world
aaa bbb ccc
flink start
start flink study, flink go
这样就将上述字符串发送到本机7077端口;
- 5、在flink-1.7.0/log目录下,会有flink-root-taskexecutor-0-web-49-50-hzifc.node.hzifc.wacai.sdc.out文件出现,打开这个文件看看,出现以下内容:
[root@web-49-50-hzifc log]# tail -50f flink-root-taskexecutor-0-web-49-50-hzifc.node.hzifc.wacai.sdc.out
hello : 1
start : 1
ccc : 1
bbb : 1
aaa : 1
world : 1
flink : 2
start : 1
go : 1
study, : 1
flink : 2
可见任务已正常执行,每个句子中的单词数量都被统计出来了。