Apache NiFi比StreamSets慢吗？我已经创建了一个管道，它从一个Kafka主题接收数据，然后在Apache NiFi和StreamSets中将数据转储到另一个Kafka主题中，但StreamSets比NiFi快得多。我在NiFi中使用consumekafkaRecord处理器，在StreamSets中使用KafkaConsumer。
浏览 63提问于2019-03-15得票数 1
我正在尝试选择NiFi和Streamsets作为我的数据摄取工具，我想知道在选择最合适的工具时，我应该考虑哪些决定因素。例如，所需的转换类型，源系统的类型和目标系统的类型等等，我相信这将使天平倾向于其中一个工具。我正在寻找在选择其中一个与另一个时要考虑的因素的指导。谢谢，Raj
浏览 3提问于2018-04-21得票数 1
我知道Airflow被称为工作流管理器，nifi数据流管理器，但这到底是什么意思？到目前为止，最好的解释是nifi关心数据，而airflow关心任务，但我不太明白这个定义，我也找不到任何其他好的解释/文章/视频来解释如何集成这些系统，如果这是一个好主意或更好地使用各自的系统。我也在想，如果它是更好的StreamSets或NiFi，我认为streamsets在UI中看起来更好，并监控数据，但我听说这取决于情况，nifi更好，如果我只摄取数据，但我仍然找不到关于这个问题的
浏览 42提问于2019-05-13得票数 0
我正在寻找一种解决方案，可以在将不同类型的数据传输到数据库进行查询和分析之前，帮助在单个仓库中容纳不同类型的数据。
谢谢你的帮助。
浏览 2提问于2020-06-22得票数 0
我正在做一个项目，很多机器/传感器将直接向Kafka/Nifi集群发送消息。此机器/传感器将从公共互联网而不是从公司网络推送消息。我们在AWS云上使用Hortonworks发行版。我的问题是:设置Kafka /Nifi集群的最佳架构实践是什么对于这样的用例，我不想为了从公共互联网接收消息而将我的集群放在公共子网中。
浏览 2提问于2018-04-23得票数 1
1回答
我有一个火花结构流应用程序，它必须从12个卡夫卡主题(不同的模式，Avro格式)读取一次，反序列化数据并存储在HDFS中。当我使用我的代码读取单个主题时，它工作得很好，没有错误，但在一起运行多个查询时，我得到了以下错误我的代码如下：
val topic_list
浏览 0提问于2020-04-13得票数 2
我关心的是从我的应用程序处理来自MongoDB的大部分数据的MongoDB中提取数据。我从MySQL中提取了静态信息和数据事务。简单地说，就是使用sqoop在HDFS中存储数据并对数据进行处理。现在，我有一些实时事务，每天有100万个唯一的电子邮件I，其中的数据被建模为MongoDB。我需要将数据从mongoDB移动到HDFS以进行处理。如何使用Sqoop实现此目标。我知道我可
浏览 4提问于2016-10-10得票数 3
2回答
在当前的技术环境中，使用Apache Kafka加载HDFS有哪些选项/解决方案？
我在这里寻找Kafka的消费端的选择。也在寻找每天至少能扩展到几to的东西。
浏览 0提问于2018-08-16得票数 1
我考虑过使用STM或一些拦截器来转换头部和正文。 有没有可能这样做呢？"first name" : "Vladimir" , } ]
} 从本质上讲，我的转换将更改消息的开头和结尾
浏览 35提问于2019-01-25得票数 2
回答已采纳
我在CDH 5.7.0版本上使用streamsets
从HDFS(源)加载文件并在Solr (目标)上创建记录的示例工作流。验证失败- SOLR_03 -无法连接到Solr实例: org.apache.solr.common.cloud.ZooKeeperException：：ZooKeeper连接字符串。2016-06-03 16:30:21,336 INFO org.apache.solr.common.cloud.SolrZkClient: Using default ZkACLProvider2016-06-03 16:30:21,
浏览 1提问于2016-06-07得票数 3
我特别感兴趣的是将此组件与Apache Kafka以外的消息队列一起使用，例如Cloud Pub/Sub。根据调查，该组件似乎与使用Confluent平台的应用程序紧密耦合。
浏览 35提问于2019-06-25得票数 1
回答已采纳
我启动了一个apache/nifi容器，构建并配置了一个流。我不清楚是什么文件(nar、xml等)需要对用户要运行的映像可用。
浏览 5提问于2020-09-22得票数 1
1回答
1) Apache KAFKA或Apache Flume是正确的选择请提供任何建议，以及此类问题陈述的任何信息。
谢谢
浏览 1提问于2016-11-10得票数 0
我是Nifi的新手，正在寻找有关使用Nifi处理器以获得高达100MB/s速度的信息。
浏览 29提问于2020-04-10得票数 0
回答已采纳
我正在使用lftp使用mget参数将文件从远程位置复制到我的本地计算机。然后我使用hdfs dfs -cp localfolder/localfile to hdfsLocation。我希望能够将这些文件复制到HDFS，而不必将它们存储在我的本地计算机上。 我已经尝试了下面的代码，但我想通过我的本地机器绕过副本。我也试过这个 subprocess.Popen("""lftp sftp://login:password@adressLocal -e "lcd hdfs://serverHDFS:8020/projects/folder/child/tmp/;mg
浏览 39提问于2020-01-29得票数 0
1回答
我想了解如何使用StreamSets数据收集器。执行Streamsets管道时会发生什么？
它是否具有分布式执行、主进程和辅助进程？主进程和辅助进程的哪些组件响应？里面是什么？我阅读了文档-例如，Apache Flink使用ActorSystems。找不到资料，你能帮我吗？
浏览 12提问于2020-03-11得票数 1
>1.1.2</nifi.version><dependencies> <groupId>org.apache.nifi<dependency> <groupId>org.apache.nifi</groupId>
&l
浏览 1提问于2017-03-13得票数 0
1回答
我使用的是Nifi 0.4.1版本。正在编写自定义代码以将CSV转换为avro格式。我已经创建了类文件，并能够生成nar文件。将nar文件放入lib目录并重新启动nifi服务器。当在nifi工作区拖动处理器时，无法看到为将csv转换为avro而创建的类。谢谢,
浏览 4提问于2016-02-25得票数 3
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号