首页
学习
活动
专区
工具
TVP
发布

Apache NiFi用户指南-数据流的命令和控制

数据流的命令和控制

当一个组件被添加到NiFi画布时,它处于停止状态。为了触发组件,必须启动组件。一旦启动,该组件可以在任何时候停止。在停止状态下,可以配置、启动或禁用组件。

启动组件

为了启动一个组件,必须满足以下条件:

组件的配置必须有效。

组件的所有定义关系必须连接到另一个组件或自动终止。

必须停止组件。

必须启用组件。

组件必须没有活动任务。有关活动任务的更多信息,请参见数据流监控下的“剖析……”部分(剖析处理器、剖析进程组、剖析远程进程组)。

可以通过选择要启动的所有组件,然后单击操作面板中的“start”按钮()来启动组件,或者通过右键单击单个组件并从上下文菜单中选择Start。

如果启动一个进程组,将启动该进程组中的所有组件(包括子进程组),但无效或禁用的组件除外。

一旦启动,处理器的状态指示器将变为Play符号()。

停止组件

组件在运行时可以随时停止。通过右键单击组件并在邮件菜单中单击Stop,或者通过选择组件并在操作面板中单击“Stop”按钮()来停止组件。

如果一个进程组停止,那么进程组中的所有组件(包括子进程组)都将停止。

一旦停止,组件的状态指示器将更改为停止符号()。

停止一个组件不会中断它当前正在运行的任务。相反,它停止调度要执行的新任务。活动任务的数量显示在处理器的右上角(有关更多信息,请参见对处理器的剖析)。

启用/禁用组件

启用组件后,就可以启动它。例如,当组件是仍在组装的数据流的一部分时,用户可以选择禁用它们。通常,如果一个组件不打算运行,那么该组件将被禁用,而不是处于停止状态。这有助于区分有意不运行的组件和可能临时停止的组件(例如,为了更改组件的配置),以及无意中从未重新启动的组件。

当需要重新启用某个组件时,可以通过选择该组件并单击操作面板中的“Enable”按钮()来启用它。这仅在禁用所选组件时可用。或者,可以通过在处理器配置对话框或端口配置对话框的Settings选项卡中选中“enabled”选项旁边的复选框来启用组件。

一旦启用,根据组件是否有效,组件的状态指示器将更改为无效()或停止()。

然后,通过选择组件并单击操作面板中的“Disable”按钮(),或者通过清除处理器配置对话框的Settings选项卡或端口配置对话框中的“Enabled”选项旁边的复选框,可以禁用组件。

只有端口和处理器能够被启用或禁用。

远程进程的群组传输

远程进程组提供了向NiFi的远程实例发送数据或从该实例检索数据的机制。当将远程进程组(RPG)添加到画布时,将禁用传输,如左上角的图标()所示。当传输被禁用时,可以通过右键单击RPG并单击“启用传输”菜单项来启用传输。这将导致有连接的所有端口开始传输数据。这将导致状态指示器更改为传输启用图标()。

如果与远程进程组通信出现问题,则警告指示器()可能出现在左上角。将鼠标悬停在此警告指示器上将提供关于此问题的更多信息。

单个端口传输

有时,DFM可能希望仅为远程进程组中的特定端口启用或禁用传输。这可以通过右键单击远程进程组并选择“管理远程端口”菜单项来实现。这提供了一个配置对话框,从中可以配置端口:

左边列出了NiFi的远程实例允许发送数据的所有输入端口。右侧列出了此实例能够从中提取数据的所有输出端口。如果远程实例使用安全通信(NiFi实例的URL以https://开头,而不是http://),则不会显示远程实例没有为该实例提供的任何端口。

如果此对话框中未显示预期要显示的端口,请确保实例具有适当的权限,且远程进程组的流是当前的。可以通过关闭远程进程组端口对话框并查看远程进程组的左下角来检查这一点。将显示流最后一次刷新的日期和时间。如果流看起来过时,可以通过右键单击远程进程组并选择“Refresh Remote”来更新它。(有关更多信息,请参见远程进程组的剖析)。

每个端口都显示其名称、描述、配置的并发任务数量,以及发送到该端口的数据是否会被压缩。此外,将显示端口的配置批处理设置(计数、大小和持续时间)。在这个信息的左边是一个开关开关端口。没有连接的端口是灰色的:

拨动开关提供了一种机制,可以独立地启用和禁用远程进程组中的每个端口的传输。可以通过单击拨动开关下面的铅笔图标()来配置那些连接但目前没有传输的端口。单击此图标将允许DFM更改并发任务的数量、在向该端口或从该端口传输数据时是否应该使用压缩以及批处理设置。

对于输入端口,批处理设置控制NiFi如何在事务中将数据发送到远程输入端口。NiFi将传输流文件,因为它们在传入关系中排队,直到满足任何限制(计数、大小、持续时间)。如果没有配置任何设置,则默认使用500毫秒的批处理持续时间。

对于输出端口,批处理设置告诉远程NiFi,在事务中,NiFi希望如何从远程输出端口接收数据。远程NiFi将使用指定的设置(计数、大小、持续时间)来控制流文件的传输。如果没有配置任何设置,则默认使用5秒的批处理持续时间。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20191227A0JERO00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券