NIFI术语

DataFlow Manager:DataFlow Manager(DFM)是一个NiFi用户,具有添加,移除和修改NiFi数据流组件的权限。

FlowFile:FlowFile代表NiFi中的一个单一数据。 FlowFile由两个组件组成:FlowFile属性和FlowFile内容。 内容是由FlowFile表示的数据。 属性是提供关于数据的信息或上下文的特性; 它们由键值对组成。 所有FlowFiles都具有以下标准属性:

uuid:FlowFile的唯一标识

filename:将数据存储到磁盘或外部服务时可以使用的可读文件名

path:在将数据存储到磁盘或外部服务时可以使用的分层结构化值,以便数据不会存储在单个目录中

Processor:处理器是用于监听传入数据的NiFi组件; 从外部来源提取数据; 发布数据到外部来源; 并从FlowFiles中路由,转换或提取信息。

Relationship:每个处理器具有零个或多个为其定义的关系。 这些关系被命名以表示处理FlowFile的结果。 处理器处理完FlowFile之后,它会将FlowFile路由(或“传送”)到其中一个关系。 然后,DFM能够将这些关系中的每一个连接到其他组件,以便指定在每个可能的处理结果下,FlowFile下一步应该流到哪里。

Connection:DFM通过将组件从NiFi工具栏的组件部分拖到画布上,然后通过连接将组件连接在一起,从而创建自动数据流。每个连接由一个或多个关系组成。 对于绘制的每个连接,DFM可以确定哪些关系应该用于连接。 这允许数据根据处理结果以不同的方式进行路由。 每个连接都有一个FlowFile队列。 当FlowFile被转移到特定的关系时,它被添加到属于关联连接的队列中。

Controller Service:控制器服务是在用户界面中由DFM添加和配置之后,当NiFi启动并提供供其他组件(例如处理器或其他控制器服务)使用的信息时启动的扩展点。 StandardSSLContextService是由几个组件使用的公共控制器服务。 它提供了一次性配置密钥库和/或信任库属性并在整个应用程序中重新使用该配置的能力。 这个想法是,控制器服务不是在每个可能需要它的处理器中配置,而是根据需要提供给任何处理器。

Reporting Task:报告任务在后台运行,提供关于NiFi实例中发生的事件的统计报告。 DFM根据需要在用户界面中添加和配置报告任务。 常见的报告任务包括ControllerStatusReportingTask,MonitorDiskUsage报告任务,MonitorMemory报告任务和StandardGangliaReporter。

Funnel:漏斗是一个NiFi组件,用于将来自多个连接的数据合并到单个连接中。

Process Group:当数据流变得复杂时,以更高,更抽象的级别划分数据流通常是有益的。 NiFi允许多个组件(如处理器)一起组成一个进程组。 NiFi用户界面使得DFM可以轻松地将多个进程组连接在一个逻辑数据流中,并允许DFM进入一个进程组,以便查看和处理进程组内的组件。

Port:使用一个或多个进程组构建的数据流需要将进程组连接到其他数据流组件的方法, 这是通过使用端口来实现的。 DFM可以将任意数量的输入端口和输出端口添加到进程组,并适当命名这些端口。

Remote Process Group:正如数据传入和传出过程组一样,有时需要将数据从一个NiFi实例传输到另一个实例。 虽然NiFi为从一个系统向另一个系统传输数据提供了许多不同的机制,但如果将数据传输到另一个NiFi实例,远程过程组通常是最简单的方法。

Bulletin:NiFi用户界面提供了有关应用程序当前状态的监视和反馈。 除了滚动统计数据和为每个组件提供的当前状态之外,组件还能够报告公告。 只要组件报告了公告,公告图标就会显示在该组件上。 系统级公告显示在页面顶部附近的状态栏中。 使用鼠标悬停在该图标上将提供一个工具提示,显示公告的时间和严重程度(调试,信息,警告,错误)以及公告的消息。 所有组件的公告也可以在全局菜单中的公告栏页面中查看和过滤。

Template:通常情况下,数据流由许多可重用的子流组成。 NiFi允许DFM选择一部分数据流(或整个数据流)并创建一个模板。 这个模板被赋予一个名字,然后可以像其他组件一样拖到画布上。 因此,可以将多个组件组合在一起以构建更大的构建块,从而创建数据流。 这些模板也可以导出为XML并导入到另一个NiFi实例中。

flow.xml.gz:DFM放在NiFi用户界面画布上的所有内容都被实时写入到一个名为flow.xml.gz的文件中。该文件默认位于nifi / conf目录中。在画布上进行的任何更改都会自动保存到该文件中,用户无需点击“保存”按钮。另外,NiFi在更新时自动在归档目录中创建该文件的备份副本。您可以使用这些归档文件来回滚流配置。为此,请停止NiFi,用所需的备份副本替换flow.xml.gz,然后重新启动NiFi。在集群环境中,停止整个NiFi集群,替换其中一个节点的flow.xml.gz,然后重新启动这个节点,从其他节点中删除flow.xml.gz。一旦确认节点启动为单节点群集,请启动其他节点。替换的流配置将在整个集群中同步。 flow.xml.gz的名称和位置以及自动归档行为是可配置的。有关详细信息,请参见“System Administrator’s Guide”。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,772评论 6 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,458评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,610评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,640评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,657评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,590评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,962评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,631评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,870评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,611评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,704评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,386评论 4 319
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,969评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,944评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,179评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,742评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,440评论 2 342

推荐阅读更多精彩内容