##Apache Nifi 开发

//
Apache Nifi 开发 - 共产主义接班人的博客 - 博客频道 - CSDN.NET
http://blog.csdn.net/sinat_20756431/article/details/51011619
其设计目标是自动化系统间的数据流。基于其工作流式的编程理念,NiFi非常易于使用,强大,可靠及高可配置。两个最重要的特性是其强大的用户界面及良好的数据回溯工具

Paste_Image.png

Apache NiFi是由美国过国家安全局(NSA)贡献给Apache基金会的开源项目,其设计目标是自动化系统间的数据流。基于其工作流式的编程理念,NiFi非常易于使用,强大,可靠及高可配置。两个最重要的特性是其强大的用户界面及良好的数据回溯工具(官网吹的)

微笑

nifi 使用起来还比较方便,基于web 的控制界面能够比较好的管理和控制数据流转,数据处理的业务流程也比较明确,下面说一下 如何定制开发一个基于我们自身业务的组件
1.工程结构
nifi对工程结构做了规范,我们只要按照他的格式创创建工程包 .nar,放到../lib/目录下,启动服务就能在页面组件中心找到并使用我们控件
1)简单的方式是在源码中打开一个nar 模块 ,根据我们的业务修改名称然后。。。(该怎么玩怎么玩,省去建立工程模块的麻烦)

2)就是要自己新建,那么总的来说 三步:
a.新建maven 模块 xxxx-xxx--bundle
pom.xml 说明依赖关系:

b. 在a模块下再新建 xxx-xxx-nar
pom.xml 说明依赖关系

c.在a模块下新建 xxx-xxx-processors
pom.xml 说明依赖关系

具体操作看看 源码中的结构就明白了,这都不是重点
生气

2.开发属于自己的功能组件
组件一般来说分为service 和processor 咱们先来说以下新建一个processor
总的来说分两步 1.组件功能开发,2组件声明(向外暴露)
组件功能开发,在xxx--xxx-processors 新建工程类xxxx.Java

功能组件总的来说 也分为三个部分
a. 外界参数声明 2,输出关系声明 3,数据流触发操作
a.外界参数说明
如果我们的组件需要和外界做交互,需要外部传入参数那么就需要做参数声明

通过这种方式声明一个参数,nifi 自身提供了比较多的验证器 可以对参数做约束验证 大家自己看着玩
再见

参数定义之后需要向外部暴露,需要重写getSupportedPropertyDescriptors 方法

nifi 还支持动态增加属性,方式差不多,大家自己看着玩。。。
再见

2.定义转换关系
nifi 通过转换关系对数据做流转操作,所以我们组件中必须定义至少一个转换关系

同样关系定义完成,需要对外界暴露,就需要重写getRelationships

好了 到此 准备工作基本完成 ,下来就进入主体部分,操作文件流
3.文件流操作

nifi 是以FlwoFile 为处理单位的,数据可以抽象理解为一个个的flowfile 这也就是数据流了
微笑

nifi 数据处理是以重写onTriger 开始的
对于flowfile 的操作大致分为三中

1.读 从数据流中读取数据内容


2.写 写入数据到flowfile中


3.读完写



这里完成逻辑处理之后 ,nifi 必须要将flowfile提交转换


好了 这里就完成了组件功能开发,下面对我们新开发的组件做一下声明,使其对外暴露
看好了 我只来一遍



好了 好了 都完成了 打包 放到nifi 安装目录下的lib目录下 重启服务就好了
得意



你看 揍死这么神奇
    好了好了 大家自由玩耍吧 ,我也是才接触这个 又不正确或不到位的地方多包涵,一起交流 相互学习 共同进步,第一次写blog 话有些多了
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,457评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,837评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,696评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,183评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,057评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,105评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,520评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,211评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,482评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,574评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,353评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,213评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,576评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,897评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,174评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,489评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,683评论 2 335

推荐阅读更多精彩内容

  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 171,050评论 25 707
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,497评论 18 139
  • Spring Boot 参考指南 介绍 转载自:https://www.gitbook.com/book/qbgb...
    毛宇鹏阅读 46,678评论 6 342
  • 导读 人生不是短跑,也不是中长跑,是一场马拉松——马拉松从来没人抢跑,因为绝不会“输在起跑线上”。所以孩子,你一定...
    静水观澜阅读 517评论 0 3
  • 亲爱的宝贝 请原谅妈妈用那粗暴的声音阻止你认为喜欢的东西事情 亲爱的宝贝 请原谅妈妈用胁迫的口吻逼迫不想睡觉还想再...
    赵小建阅读 241评论 0 3