2006年NiFi由美国国家安全局(NSA)的Joe Witt创建。2015年7月20日,Apache 基金会宣布Apache NiFi顺利孵化成为Apache的顶级项目之一。NiFi初始的项目名称是Niagarafiles,当NiFi项目开源之后,一些早先在NSA的开发者们创立了初创公司Onyara,Onyara随之继续NiFi项目的开发并提供相关的支持。Hortonworks公司收购了Onyara并将其开发者整合到自己的团队中,形成HDF(Hortonworks Data Flow)平台。2018年Cloudera与Hortonworks合并后,新的CDH整合HDF,改名为Cloudera Data Flow(CDF),并且在最新的CDH6.2中直接打包,参考《0603-Cloudera Flow Management和Cloudera Edge Management正式发布》,而Apache NiFi就是CFM的核心组件。
Fayson在前面的文章介绍了什么是NiFi,参考《0622-什么是Apache NiFi》。同时对如何在CDH中使用Parcel安装CFM做了介绍,参考《0623-6.2.0-如何在CDH中安装CFM》。本文会首先对NiFi的使用做一下简单的介绍,然后对处理器(Processor)进行详细介绍。
简单地说,NiFi就是为了实现系统间数据流的自动化而构建的。虽然术语“数据流”用于各种上下文,但我们在此处使用它来表示系统之间的自动和管理信息流。这个问题空间一直存在,因为企业有多个系统,其中一些系统创建数据,一些系统消耗数据。已经讨论并广泛阐述了出现的问题和解决方案模式。企业集成模式[eip]中提供了一个全面且易于使用的表单。
NIFI的核心理念是,即使在非常大的规模下,也必须保证交付。这是通过有效地使用Write-Ahead Log和content repository来实现的。它们一起被设计成具备允许非常高的事务速率、有效的负载分布、写时复制和发挥传统磁盘读/写的优势。
这是疯狂的水流。就像您的应用程序处理疯狂的数据流一样。如果您独自完成所有工作,那么很难将数据从一个存储路由到另一个存储,应用验证规则并解决数据治理,大数据生态系统中的可靠性问题。
如下如.想象一下有 20 个这样的生成 UpdateAttribute 处理器,希望后续处理器分隔文本。现在,您需要将 SplitText 处理器替换为其他处理器。这样做将是一项困难的工作,因为它直接连接到 SplitText 处理器。但是,如果它们之间有一个漏斗,则只需替换漏斗的目标,而不是更换所有处理器
NiFi的基本设计理念是基于数据流的编程Flow-Based Programming(FBP),应用是由处理器、连接器组成的网络。数据进入一个节点,由该节点对数据进行处理,根据不同的处理结果将数据路由到后续的其他节点进行处理。这是NiFi的流程比较容易可视化的一个原因。以下是NiFi的一些概念:
使用正确的工具,您可以在不到一小时的时间内构建这样的系统!在此博客文章中,我将向您展示如何使用Raspberry Pi硬件和开源软件(MQTT代理、Apache NiFi、MiNiFi和MiNiFi C2 Server)实现高级IIoT原型。我将专注于体系结构,连接性,数据收集和自动重新配置。
本教程涵盖了Apache NiFi的核心概念及其在其中流量管理,易用性,安全性,可扩展架构和灵活扩展模型非常重要的环境中所扮演的角色。
一、TDF(数据工坊)简介 TDF简介 源于腾讯云数智大数据套件的轻量云上大数据产品,提供基于SQL的大数据计算框架。 适用于需要动态灵活获取大数据计算能力进行批量计算、日志处理或数据仓库
在上一篇文章中,我们从安装在智能车辆上的传感器收集数据,并描述了ROS嵌入式应用程序,以准备用于训练机器学习(ML)模型的数据。本文展示了从边缘到云中数据湖的数据流。数据采用图像的形式以及与我们的自动驾驶汽车收集的每个图像相关的元数据(例如,IMU信息,转向角,位置)。我们将数据流定向到ClouderaDistribution Hadoop(CDH)集群,在该集群中将存储和整理数据以训练模型。
人们经常会问Flink是如何处理背压(backpressure)效应的。 答案很简单:Flink不使用任何复杂的机制,因为它不需要任何处理机制。它只凭借数据流引擎,就可以从容地应对背压。在这篇博文中,我们介绍一下背压。然后,我们深入了解 Flink 运行时如何在任务之间传送缓冲区中的数据,并展示流数传输自然双倍下降的背压机制(how streaming data shipping naturally doubles down as a backpressure mechanism)。 我们最终通过一个小实验展示了这一点。
NIFI可以处理各种各样的数据源和不同格式的数据。你可以从一个源中获取数据,对其进行转换,然后将其推送到另一个目标存储地。
Apache Spark是行业中流行和广泛使用的大数据工具之一。Apache Spark已成为业界的热门话题,并且如今非常流行。但工业正在转移朝向apache flink。
NiFi Connection是在两个已连接的NiFi处理器组件之间临时保存FlowFiles的位置。每个包含排队的NiFi FlowFiles的Connection在JVM堆中都会占一些空间。本文将对Connection进行分析,探究NiFi如何管理在该Connection中排队的FlowFiles和Connection对堆和性能的影响。
实时数据流为企业提供了激动人心的新机会,以改变其运营方式,利用实时洞察力来推动更好的决策制定并提高运营效率。
Navistar 是全球领先的商用卡车制造商。拥有350,000辆车的车队,计划外的维护和车辆故障会造成业务持续中断。Navistar需要一个诊断平台,该平台将帮助他们预测何时需要维修车辆从而最大程度地减少停机时间。这个平台需要能够收集、分析和服务来自车队中每辆车的70多种远程信息处理和传感器数据馈送,包括测量发动机性能、冷却液温度、卡车速度和制动器磨损的数据。Navistar求助于Cloudera,以帮助构建名为OnCommand®Connection的IoT的远程诊断平台,以监控其车辆的健康状况并增加车辆的正常运行时间。
该处理器使用Hive流将流文件数据发送到Apache Hive表。传入的流文件需要是Avro格式,表必须存在于Hive中。有关Hive表的需求(格式、分区等),请参阅Hive文档。分区值是根据处理器中指定的分区列的名称,然后从Avro记录中提取的。注意:如果为这个处理器配置了多个并发任务,那么一个线程在任何时候只能写入一个表。写入同一表的其他任务将等待当前任务完成对表的写入。
Apache NiFi 最新版本中内置的 Python 处理器可以简化数据处理任务,增强灵活性并加快开发速度。
InfoWorld在分布式数据处理、流式数据分析、机器学习以及大规模数据分析领域精选出了2015年的开源工具获奖者,下面我们来简单介绍下这些获奖的技术工具。 1. Spark 在Apache的大数据项目中,Spark是最火的一个,特别是像IBM这样的重量级贡献者的深入参与,使得Spark的发展和进步速度飞快。 与Spark产生最甜蜜的火花点仍然是在机器学习领域。去年以来DataFrames API取代SchemaRDD API,类似于R和Pandas的发现,使数据访问比原始RDD接口更简单。 Spark
Cloudera Data Flow(CDF)作为Cloudera一个独立的产品单元,围绕着实时数据采集,实时数据处理和实时数据分析有多个不同的功能模块,如下图所示:
Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统,在大数据生态中的定位是成为一个统一的,与数据源无关的大数据集成平台。Apache NiFi 是为数据流设计,它支持高度可配置的指示图,来指示数据路由、转换和系统中流转关系,支持从多种数据源动态拉取数据。简单地说,NiFi是为自动化系统之间的数据流而生。 这里的数据流表示系统之间的自动化和受管理的信息流。 基于WEB图形界面,通过拖拽、连接、配置完成基于流程的编程,实现数据采集、处理等功能。未来NiFi有可能替换Flume、Sqoop等大数据导数据的工具。
本文通过Groovy,Jython,Javascript(Nashorn)和JRuby中的代码示例,介绍了有关如何使用Apache NiFi处理器ExecuteScript完成某些任务的各种方法。本文中的内容包括:
NiFi是美国国家安全局开发并使用了8年的可视化数据集成产品,2014年NAS将其贡献给了Apache社区,2015年成为Apache顶级项目
本文是关于如何在实时分析中使用云原生应用程序对股票数据进行连续 SQL 操作的教程。
2019年4月15日,Cloudera在其官网宣布GA两款新的产品Cloudera Flow Management和Cloudera Edge Management,即CFM和CEM。Flow Management和Edge Management以前都是隶属于HDP的相关产品,Cloudera此次官宣代表的是它们现在可以与CDH一起安装并使用,包括使用Cloudera Manager进行简易的Parcel安装和服务监控。HDP和CDH合并后,对于CDH的客户也一直期待HDP的一些优秀特性能早点融合到CDH中,CEM和CFM就是一次开始,它们为IOT场景的边缘管理和边缘数据搜集带来了可能。具体参考《0603-Cloudera Flow Management和Cloudera Edge Management正式发布》。
Cloudera 在为流处理提供综合解决方案方面有着良好的记录。Cloudera 流处理 (CSP) 由 Apache Flink 和 Apache Kafka 提供支持,提供完整的流管理和有状态处理解决方案。在 CSP 中,Kafka 作为存储流媒体底层,Flink 作为核心流处理引擎,支持 SQL 和 REST 接口。CSP 允许开发人员、数据分析师和数据科学家构建混合流数据管道,其中时间是一个关键因素,例如欺诈检测、网络威胁分析、即时贷款批准等。
提到Cloudera我们第一个想到的就是Hadoop,在Hadoop生态系统中,规模最大、知名度最高的公司就是Cloudera。
单独启动“GenerateFlowFile”处理器后,可以观察到对应的Connection连接队列中有数据,在Connection连接上右键“List Queue”可以查看队列中的FlowFile信息:
场景描述:如果看到任务的背压警告(如 High 级别),这意味着 生成数据的速度比下游算子消费的的速度快。以一个简单的 Source -> Sink 作业为例。如果能看到 Source 有警告,这意味着 Sink 消耗数据的速度比 Source 生成速度慢。Sink 正在向 Source 施加反压。
1. 架构和设计思想:NiFi是基于流处理的架构设计,它通过将数据流从源头到目的地的整个过程建模为数据流,实现数据的可靠传输、数据转换和数据处理。而DataX是基于批处理的架构设计,它通过将数据源和目的地分别定义为Reader和Writer,通过数据抽取、数据转换和数据加载三个步骤完成数据集成。
Stream 在 Node.js 中是一个被广泛应用的模块,流的两端可读流、可写流之间通过管道链接,通常写入磁盘速度是低于读取磁盘速度的,这样管道的两端就会产生压力差,就需要一种平衡的机制,使得平滑顺畅的从一个端流向另一个端。
Apache NiFi是一个强大的、可扩展的开源数据流处理工具,广泛应用于大数据领域。本文将介绍Apache NiFi的核心概念和架构,并提供代码实例展示其在实时数据流处理中的应用。
系统正在积极处理的FlowFiles保存在JVM内存中的Hash Map中。这使它们的处理效率非常高,但是由于多种原因,例如断电,内核崩溃,系统升级和维护周期,因此需要一种辅助机制来在整个进程重新启动中提供数据的持久性。FlowFile存储库是系统中当前存在的每个FlowFiles的元数据的Write-Ahead Log(或数据记录)。该FlowFile元数据包括与FlowFile相关联的所有attributes,指向FlowFile实际内容的指针(该内容存在于内容存储库中)以及FlowFile的状态,例如FlowFile所属的Connection/Queue。预写日志为NiFi提供了处理重启和意外系统故障所需的弹性。
本教程介绍了Apache Kafka的核心概念及其在可靠性、可伸缩性、持久性和性能至关重要的环境中所扮演的角色。
在本系列的前一篇博客《将流转化为数据产品》中,我们谈到了减少数据生成/摄取之间的延迟以及从这些数据中产生分析结果和洞察力的日益增长的需求。我们讨论了如何使用带有 Apache Kafka 和 Apache Flink 的Cloudera 流处理(CSA) 来实时和大规模地处理这些数据。在这篇博客中,我们将展示一个真实的例子来说明如何做到这一点,看看我们如何使用 CSP 来执行实时欺诈检测。
反压机制(BackPressure)被广泛应用到实时流处理系统中,流处理系统需要能优雅地处理反压(backpressure)问题。反压通常产生于这样的场景:短时负载高峰导致系统接收数据的速率远高于它处理数据的速率。许多日常问题都会导致反压,例如,垃圾回收停顿可能会导致流入的数据快速堆积,或者遇到大促或秒杀活动导致流量陡增。反压如果不能得到正确的处理,可能会导致资源耗尽甚至系统崩溃。反压机制就是指系统能够自己检测到被阻塞的Operator,然后系统自适应地降低源头或者上游的发送速率。目前主流的流处理系统 Apache Storm、JStorm、Spark Streaming、S4、Apache Flink、Twitter Heron都采用反压机制解决这个问题,不过他们的实现各自不同。
前言:本文重点在于通过模拟事故来探索Apache NIFI集群的高可用,情景假定有一个3节点的NIFI集群,其中某个节点因为未知原因与集群失联,研究集群(两个在联节点集群)和失联的节点会发生什么,各个节点上的数据会怎样。(注意:节点因为未知原因与集群失联区别于系统管理员手动卸载节点)。除此之外,其他不做重点。
在本系列的前一篇博客“将流转化为数据产品”中,我们谈到了减少数据生成/摄取之间的延迟以及从这些数据中产生分析结果和洞察力的日益增长的需求。我们讨论了如何使用带有 Apache Kafka 和 Apache Flink 的Cloudera 流处理(CSP) 来实时和大规模地处理这些数据。在这篇博客中,我们将展示一个真实的例子来说明如何做到这一点,看看我们如何使用 CSP 来执行实时欺诈检测。
本文将描述如何利用Apache Kafka(消息中间件),Apache Nifi(数据流转服务)两个组件,通过Nifi的可视化界面配置,快速构建异步持久化MongoDB架构。
从流数据中获取洞察力的最大挑战之一是如何确保快速、安全的传输,同时仍然拥有明确的控制权。Cloudera DataFlow(CDF)提供了一种解决方案,可从边缘抓取数据并将其连接到云,并且在数据管道的每个点都具有可见性。我们的目标是展示使用Cloudera技术构建自动驾驶汽车应用程序的过程。
我们的产品需要对来自不同数据源的大数据进行采集,从数据源的多样化以及处理数据的低延迟与可伸缩角度考虑,需要选择适合项目的大数据流处理平台。 我最初列出的候选平台包括Flume、Flink、Kafka Streaming以及Spark Streaming。然而对产品架构而言,这个技术选型的决策可谓举足轻重,倘若选择不当,可能会导致较大的修改成本,须得慎之又慎。 我除了在项目中曾经使用过Flume、Kafka以及Spark Streaming之外,对其余平台并不甚了解。即便是用过的这几个平台,也了解得比较
工业物联网(IIOT,Industrial Internet of Things)正成为社会中的技术趋势与核心业务。IIOT 赋能诸如市政(Municipalities)、工业制造、公用事业、电信,以及保险等各类实体,以解决关键客户与运营的挑战。当前,技术创新在大数据、预测分析和云计算等领域的发展,使得人们可以大规模地集成与分析大量的设备数据,同时对这些数据执行一系列分析以及业务处理流程。
Apache NiFi是什么?NiFi官网给出如下解释:“一个易用、强大、可靠的数据处理与分发系统”。通俗的来说,即Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统,其为数据流设计,它支持高度可配置的指示图的数据路由、转换和系统中介逻辑。 为了对NiFi能够表述的更为清楚,下面通过NiFi的架构来做简要介绍,如下图所示。
随着诸如Apache Flink,Apache Spark,Apache Storm之类的开源框架以及诸如Google Dataflow之类的云框架的增多,创建实时数据处理作业变得非常容易。这些API定义明确,并且诸如Map-Reduce之类的标准概念在所有框架中都遵循几乎相似的语义。
内容存储库就是本地存储所有FlowFiles内容的地方,通常是三个存储库中最大的。该存储库利用不变性和写时复制来最大提升读写速度和保证线程安全性。Content Repo的核心设计是将FlowFile的内容保存在磁盘上,并仅在需要时才将其读入JVM内存。这使NiFi可以处理大量小的对象,而无需生产者和消费者处理器将完整的对象保存在内存中。因此,在不损害内存的情况下,非常容易执行诸如拆分,聚合和转换非常大的对象之类的操作。
通常我们在NIFI里最常见的使用场景就是读写关系型数据库,一些组件比如GenerateTableFetch、ExecuteSQL、PutSQL、ExecuteSQLRecord、PutDatabaseRecord等等,都会有一个属性配置大概叫Database Connection Pooling Service的,对应的接口是DBCPService,其实现类有:HiveConnectionPool DBCPConnectionPool DBCPConnectionPoolLookup。我们用的最多的就是DBCPConnectionPool。具体怎么配置这里就不赘述了,看对应的Controller Service文档就可以了。
使用合适的压缩算法能够有效减少请求文件的大小,从而减少网络中的数据传输量,提升响应速度。
在本文中,我们将深入探讨Flink新颖的检查点机制是如何工作的,以及它是如何取代旧架构以实现流容错和恢复。我们在各种类型的流处理应用程序上对Flink性能进行测试,并通过在Apache Storm(一种广泛使用的低延迟流处理器)上运行相同的实验来进行对比。
领取专属 10元无门槛券
手把手带您无忧上云