1. 通过Ambari QuickLink打开Nifi UI
2. 创建ProcessorGroup
a. 拖动页面上方工具条中的ProcessorGroup图标至绘图区
b. 命名Group并双击打开
3.创建Overall flow
1)添加GetFile Processor
a.拖动页面上方工具条中的Processor图标至绘图区可以开始创建数据流,成功后如图
b.在搜索框处输入想要添加的Processor。此处输入GetFile,然后点击Add,GetFile Processor 添加成功。
c.双击GetFile处理器或者右击选择Configure进行配置,根据自身环境和需求,填写相关配置。然后点击APPLY。
2)添加PutHive Processor
a.同理添加PutHive,并做相应的配置。与GutFile不同的是,此处要创建Reader/Writer。
b)Reader/Writer等相关配置如下
insurance_schema
c)如图,点击右边的设置按钮可以进入配置,点击闪电样式的按钮可以启动。
d)至此,PutHive Processor创建添加成功。
3)连接两个Processor
a.每个处理器都有一组定义的“关系”,最基本的是success和failure。把鼠标停在GetFile Processor,会看到一个箭头,拖动箭头到PutHive ,显示success即可。
b.此时,PutHive上仍显示警告,提示为success、retry和failure关系未连接到其他组件和自动终止。可以右击configure,在setting中勾选中success、retry和failure即可实现自动终止。
4.启动Processor
a.依次启动Processor,一般按从后往前的顺序右击选择start。
b.运行成功后,可以看到数据再不同位置的转移以及数据流的大小、时间等。NiFi为back pressure提供了两个配置元件。分别对应的是对象数量和数据大小。并且进度条基于队列百分比改变颜色:绿色(0-60%),黄色(61-85%)和红色(86-100%)。鼠标悬停在上面可以显示精确的百分比。
c.当运行出现问题时,右上角会出现红色方框,放到上面会出现提示信息。