首页
学习
活动
专区
工具
TVP
发布

深入理解 Apache NIFI Connection

简介 NiFi Connection是在两个已连接的NiFi处理器组件之间临时保存FlowFiles的位置。每个包含排队的NiFi FlowFiles的Connection在JVM堆中都会占一些空间。...NiFi FlowFiles由FlowFile内容和FlowFile属性/元数据组成。FlowFile内容永远不会保存在Connection中。...每个连接的活动队列的大小由nifi.properties文件中的以下属性控制 nifi.queue.swap.threshold=20000 交换阈值的增加会增加数据流中每个连接的潜在堆占用空间。...上面的使用MergeContent处理器的示例就可能是最后一种情况,假如MergeContent配置的结果为每次合并90000个FlowFile,那么这80000个FlowFile都会进入到运行队列中。...但是,你可以串联使用两个mergeContent处理器,每个处理器合并较小的bundle,并获得相同的最终结果,而总堆使用量较少。)

1.1K31
您找到你想要的搜索结果了吗?
是的
没有找到

大数据NiFi(四):NiFi单节点安装

NiFi单节点安装一、介绍与下载Apache NiFi可以基于Linux和Window安装,这里建议基于Linux安装。安装NiFi的节点需要安装JDK8,NiFi0.x版本需要JDK7。...NiFI下载官网地址:Apache NiFi Downloads二、单节点安装1、将下载好的NiFi安装包上传解压#这里将NiFi安装包上传到node5节点上[root@node5 software]#.../nifi.sh stop以上启动NiFi之后,启动日志在$NiFi_HOME/logs/nifi-app.log文件中,需要等待一会NiFi才能完全启动成功。...当日志中出现下图标志时,NiFi启动成功:4、将NiFi作为系统服务,方便启动和关闭也可以将NiFi作为系统服务启动,需要执行命令:$NiFi_HOME/bin/nifi.sh install ,这样就以默认名称.../nifi.sh installService nifi installed#启动nifi服务[root@node5 bin]# service nifi start#关闭nifi服务[root@node5

1.2K51

有特点的流处理引擎NiFi

今天介绍一个大家不一定用得很多,但是却很有特点的东西,NiFi NiFi的来源 Apache NiFi项目,它是一种实时数据流处理 系统,在去年由美国安全局(NSA)开源并进入Apache社区,NiFi...当NiFi项目开源之后,一些早先在NSA的开发者们创立了初创公司Onyara,Onyara随之继续NiFi项目的开发并提供相关的支持。...NiFi的特点 下面是官方的一些关键能力介绍,可以认真看看: Apache NiFi supports powerful and scalable directed graphs of data routing...ListS3 1.3.0 ListSFTP 1.3.0 LogAttribute 1.3.0 LogMessage 1.3.0 LookupAttribute 1.3.0 LookupRecord 1.3.0 MergeContent...NiFi在Hortonworks的定位 因为NiFi可以对来自多种数据源的流数据进行处理,Hortonworks认为HDF平台非常适合用于物联网 (IoAT)的数据处理。

1.9K80

大数据NiFi(十七):NiFi术语

NiFi术语 一、DataFlow Manager DataFlow Manager(DFM)是NiFi用户,具有添加,删除和修改NiFi数据流组件的权限。...NiFi允许将多个组件(如处理器)组合到一个Process group 中。可以通过界面查看组和操作组中的组件。 十、Port 一般用于远程连接NiFi组使用。...十一、Remote Process Group 远程组可以实现将数据从一个NiFi实例传输到另一个NIFI实例。...虽然NiFi提供了许多不同的机制来将数据从一个系统传输到另一个系统,但是如果将数据传输到另一个NiFi实例,远程进程组实现是最简单方法。...此外,NiFi在更新时会自动备份此文件,您可以使用这些备份来回滚配置,如果想要回滚,先停止NiFi,将flow.xml.gz替换为所需的备份,然后重新启动NiFi

1.5K11

大数据NiFi(一):什么是NiFi

Apache NiFi 是为数据流设计,它支持高度可配置的指示图,来指示数据路由、转换和系统中流转关系,支持从多种数据源动态拉取数据。简单地说,NiFi是为自动化系统之间的数据流而生。...未来NiFi有可能替换Flume、Sqoop等大数据导数据的工具。NiFi官网地址:Apache NiFi一、NiFi背景介绍2006年NiFi由美国国家安全局(NSA)的Joe Witt创建。...NiFi初始的项目名称是Niagarafiles,当NiFi项目开源之后,一些早先在NSA的开发者们创立了初创公司Onyara,Onyara随之继续NiFi项目的开发并提供相关的支持。...NiFi旨在帮助解决这些现代数据流挑战。...三、​​​​​​​​​​​​​​NiFi特点Apache NiFi 是一个易于使用、功能强大而且可靠的数据拉取、数据处理和分发系统,用于自动化管理系统间的数据流。

2.1K81

大数据NiFi(三):NiFi关键特性

NiFi关键特性一、​​​​​​​​​​​​​​流管理保证交付:NIFI的核心理念是,即使在非常大的规模下,也必须保证交付。...基于背压的数据缓冲和背压释放NiFi支持所有排队数据的缓冲以及当这些队列达到指定限制时提供背压的能力,或者指定过期时间,当数据达到指定期限时丢弃数据的能力队列优先级NiFi允许设置一个或多个优先级方案,...用户访问系统安全NiFi允许双向SSL认证可以控制用户的登录权限(例如:只读权限、数据流管理者、系统管理员)。...这意味着每个NiFi集群都能够处理一个或多个组织的要求。...扩展和缩小NiFi还可以非常灵活地扩展和缩小。从NiFi框架的角度来看,如果要增加吞吐,可以在配置时增加"Scheduling"选项卡下processor的并发任务数。

1.3K61

Apache NIFI 架构

NiFi在主机操作系统上的JVM中执行。JVM上NiFi的主要组件如下: Web Server web服务器的目的是托管NiFi基于HTTP的命令和控制API。...Extensions 其他文档中描述了各种类型的NiFi扩展。这里的关键是扩展在JVM中操作和执行。...FlowFile Repository 流文件存储库是NiFi跟踪它所知道的关于当前在流中活动的给定流文件的状态的地方。存储库的实现是可插入的。默认方法是位于指定磁盘分区上的持久预写日志。...NiFi也可以在集群内运行。 从nifi1.0版本开始,采用了零前导聚类范式。NiFi集群中的每个节点对数据执行相同的任务,但每个节点对不同的数据集进行操作。...作为数据流管理器,您可以通过任何节点的用户界面(UI)与NiFi集群交互。您所做的任何更改都会复制到集群中的所有节点,从而允许多个入口点。

1K20

带你体验Apache NIFI新建数据同步流程(NIFI入门)

如何下载源码及编译看编译NIFI源码 通过官方网站下载对应的NIFI安装包:https://nifi.apache.org/download.html 通过国内镜像来下载最新发布的NIFI安装包: 北理镜像...,建议使用国内镜像去下载,一般直接下载zip包就可以了,加入最新版本时1.11.4,那就下载nifi-1.11.4-bin.zip 部署Apache NIFI 上传Apache NIFI包到Linux...=-Xmx10g 在解压的目录下,找到bin目录,可以看到里面有一些脚本 dump-nifi.bat nifi-env.bat nifi-env.sh nifi.sh run-nifi.bat...status-nifi.bat Linux或者Mac,使用nifi.sh start启动NIFInifi.sh stop停止NIFInifi.sh restart重启NIFI。...在浏览器输入http://127.0.0.1:8080/nifi,进入Apache NIFI的交互界面。

2.9K31

大数据NiFi(五):NiFi分布式安装

NiFi分布式安装一、为什么需要NiFi集群NiFi DataFlow Manager(DFM)用户可能会发现在单个服务器上使用一个NiFi实例不足以处理他们拥有的数据量。...,搭建步骤如下:1、划分节点,上传解压NiFi安装包安装NiFi集群可以使用多个节点,这里安装NiFi集群选择三台节点:node1、node2、node3。...查看NiFi集群主节点:三、使用外部zookeeper搭建NiFi集群使用外部zookeeper搭建NiFi集群,NiFi1.13.0需要的zookeeper版本为3.5以上。...2、在node1上传解压NiFi安装包,编辑$NIFI_HOME/conf/nifi.properties文件#配置Http主机节点nifi.web.http.host=192.168.179.4#配置...通过node1,node2,node3三台节点任意节点都可以访问NiFi集群,在浏览器中输入http://node1:8989/nifi/ 访问NiFi集群。查看NiFi集群主节点:

1.8K51

大数据NiFi(六):NiFi Processors(处理器)

NiFi Processors(处理器)为了创建高效的数据流处理流程,需要了解可用的处理器(Processors )类型,NiFi提供了大约近300个现成的处理器。...每个新的NiFi版本都会有新的处理器,下面将按照功能对处理器分类,介绍一些常用的处理器。...具体可参照官网查看更多的处理器信息:http://nifi.apache.org/docs/nifi-docs/html/getting-started.html#what-processors-are-available...一、数据提取GetFile:将文件内容从本地磁盘(或网络连接的磁盘)流式传输到NiFi,然后删除原始文件。...每当新文件进入HDFS时,它将被复制到NiFi并从HDFS中删除。此处理器应将文件从一个位置移动到另一个位置,而不是用于复制数据。如果在集群中运行,此处理器需仅在主节点上运行。

1.8K122

大数据NiFi(七):NiFi集群页面管理节点操作

NiFi集群页面管理节点操作用户可以手动断开节点与集群的连接,节点也可能由于其他原因而断开连接,例如由于缺乏心跳。...二、卸载节点在断开节点上存储的数据可以通过“卸载”操作将数据重新均衡到集群其他节点上,节点卸载之后,页面上显示“Offloading”状态:可以在状态为“Offloading”的节点上重新启动NiFi服务或者点击...三、删除节点点击“Delete”删除当前集群的节点,该节点在页面中不再显示,并且重新启动删除节点上的NiFi服务后,当前节点会重新加入集群。...四、彻底删除节点当“删除节点”后,页面中不再显示当前节点信息,在当前节点重启NiFi服务后,该节点重新加入NiFi集群中,那么如何彻底在NiFi集群中删除一个节点呢?需要经过以下步骤:断开节点。...删除请求完成后,停止/删除主机上的NiFi服务,彻底删除当前节点NiFi。​

1.3K141
领券