如何为群集nifi设计模板
在设计nifi模板时，我们需要考虑底层集群吗？
下面是我的简单流程
+-----------------+ +---------------+ +-----------------+
| | | | | |
| READ FROM | | MERGE | | PUT HDFS |
| KAFKA | | FILES | | |
| +-----------------------> | +---------------------> | |
| | | | | |
| | | | | |
| | | | | |
+-----------------+ +---------------+ +-----------------+我有3个节点的集群..当系统运行时，我检查“集群”菜单，看到只有主节点在使用资源，其他集群节点似乎空闲...问题是，在这样的集群中，我应该根据集群设计模板，还是应该由nifi进行负载均衡。
我看到我的一个同事为集群上的每个节点创建了远程处理器，并在模板中将负载均衡器放在这些处理器前面，这是必需的吗？(如下所示)
+------------------+
| | +-------------+
| REMOTE PROCESS | | input port |
+----> | GROUP FOR | | (rpg) |
| | NODE 1 | +-------------+
| | | |
| | | |
| +------------------+ v
+-----------------+ +-----------------+ RPG
| | | | | +--------------+
| READ FROM | | | | | |
| KAFKA | | LOAD BALANCER | | +------------------+ | MERGE FILES |
| +-------------> | +-------------> | | | |
| | | | | | REMOTE PROCESS | | |
| | | | | | GROUP FOR | | |
| | | | | | NODE 2 | | |
+-----------------+ +-----------------+ RPG | | +--------------+
| +------------------+ |
| |
| v
|
| +-------------------+ +---------------+
| | | | |
| | REMOTE PROCESS | | PUT HDFS |
+-----> | GROUP FOR | | |
| NODE 3 | | |
| | | |
| | | |
+-------------------+ +---------------+除了远程集群之外，负载均衡器的用例是什么?我是否可以使用负载均衡器将流量拆分到几个处理器中，以加速操作？
回答 1
Stack Overflow用户
发布于 2017-07-07 22:06:12
Apache不执行任何自动负载平衡或数据移动，因此应由您来设计数据流，以利用您的集群。如何做到这一点将取决于数据流以及如何将数据带入集群。
我曾经写过一篇文章，试图总结一下这些方法：
https://community.hortonworks.com/articles/16120/how-do-i-distribute-data-across-a-nifi-cluster.html
在使用Kafka的情况下，您应该能够让流程运行，如第一张图片所示(没有远程进程组)。这是因为Kafka是一个数据源，允许每个节点使用不同的数据。
如果ConsumeKafka似乎只在一个节点上运行，可能有几个原因...
首先，确保ConsumeKafka不是仅为主节点调度的。
其次，计算出你的Kafka主题有多少个分区。Kafka客户端(由NiFi使用)会将1个消费者分配给1个分区，所以如果你只有1个分区，那么你只能有1个NiFi节点从中消费。这里有一篇文章进一步描述了这种行为：
http://bryanbende.com/development/2016/09/15/apache-nifi-and-apache-kafka
https://stackoverflow.com/questions/44972716
复制相似问题
腾讯云开发者
