//
Apache数据流项目:一个都不少|「云头条」-牛人微信
http://weixin.niurenqushi.com/article/2016-07-17/4368681.html
Apache NiFi
相比其他数据流解决方案,Apache NiFi是个比较新的项目,2015年7月份升级成为Apache的顶级项目。它基于企业集成模式(EIP),数据在到达目的地之前经历多个阶段和多次转换。
Apache NiFi随带一个高度直观的图形界面,因而很容易设计数据流和转换。业务分析师和决策者可以使用该工具来定义数据流。它支持众多输入源,包括静态数据集和流式数据集。从文件系统、社交媒体数据流、Kafka、FTP、HTTP和JMS等数据源获取的数据可以流到诸多目的地,包括ElasticSearch、亚马逊S3、AWS Lambda、Splunk、Solr、SQL和NoSQL数据库。转换内容可以被引入到数据流的路径。
NiFi
新兴的工业物联网领域需要一种强大、可靠和安全的数据流引擎。Apache NiFi有望成为最受青睐的编排引擎,用于处理实施的物联网系统中的传感器数据。
它结合了Node-Red的简洁和大数据的力量。内置了支持Kafka、JMS及其他通道的功能,因而成为企业物联网解决方案的一种理想选择。
Apache NiFi面向的经典场景之一是,构建热路径和冷路径分析。物联网设备和传感器生成的数据集含有需要实时分析的某些数据点,而一小部分的数据存储起来用于批处理。这类数据集通常通过高速引擎来流式传输,比如Apache Kafka、亚马逊Kinesis和Azure Event Hubs。Apache NiFi可以用来为同一数据集定义两条不同的路径:负责近实时处理的热路径和负责批处理的冷路径。
典型的使用场合:定义物联网传感器数据流动的交互式规则引擎。