1回答
有没有办法从连接HDFS属性的配置文件中传递主题名称、文件名位置。现在，我们像这样传递主题名称：File location = <File_directory>
如果我们在配置文件中获取主题名称，那么我们需要找到传递主题名称的方法我确信我们一定有办法读取连接HDFS属性中</e
浏览 2提问于2017-08-31得票数 0
我目前正在使用一个Hadoop集群，它由10个节点(1个名称节点和9个数据节点)组成，其中Hbase、Hive、Kafka、和Hadoop的其他回波系统正在运行。现在我想从RDBMS中获取数据，并将其实时存储在HDFS中。我们可以通过在同一个集群中使用合流源连接器和HDFS2 Sink连接器来做到这一点吗?或者我需要为Kafka创建一个单独的集群吗？
浏览 3提问于2020-04-30得票数 0
回答已采纳
1回答
根据的说法，它只适用于一些合流连接器，在下面的图表中，它列出了Apache2.0许可下的社区连接器。然后，如果你搜索，你可以看到支持Confluent的Kafka Connect HDFS连接器(在写这个问题的时候，版本是: confluentinc/kafka-connect-hdfs:5.4。连接器的页面如下：
浏览 4提问于2020-02-07得票数 0
2回答
我想加入这两个流并写到HDFS或Localfilesystem？如何在加入两个consumer时只考虑相关的partitions来编写一个高效的streams
浏览 9提问于2017-01-18得票数 0
回答已采纳
1回答
我想把这些数据推给HDFS。我遇到了合流，但不知道如何在不启动kafka-avro-console-producer的情况下将数据发送到HDFS。在更改主题名称之后，我启动了kafka-connect-hdfs。这一步骤也是成功的。它能够连接到HDFS。
在此之后，我开始将数据推送给Kafka，但是消息并没有被推送到HDFS。我刚开始合流。
浏览 2提问于2017-01-20得票数 1
我有一个正在运行的Kafka 0.10实例，我目前正在使用Gobblin将数据存储到HDFS中。我想切换到Kafka，当我进行研究时，我发现汇合提供了一个连接器。但是，是否有一种不使用整个汇合平台而使用此连接器的方法？意思是，例如，我可以从合流源复制相关的脚本，并以某种方式让我的Kafka实例使用它吗？我基本上还在学习这些东西，所以我对这个领域还不太熟悉。
浏览 3提问于2016-09-06得票数 0
我在寻找卡夫卡-连接-hdfs连接器(合流)支持保存字节数组和字段分区使用FlatBuffer模式。我都查过了：
Fiel
浏览 0提问于2019-02-17得票数 0
1回答
我试图使用Kafka连接接收器将文件从Kafka写到HDFS。我的财产看起来是：flush.size=3value.converter.schemas.enabled=false当我试图
浏览 0提问于2018-08-14得票数 0
对于生产类型的设置，在KAFKA主题上写入TB记录的情况下，使用KAFKA connect - HDFS连接器的最佳实践是什么？我的kafka实例在AWS主机名a.b.c.d上运行，我的hadoop namenode在AWS主机名p.q.r.s上运行。出于开发/POC的目的，我们在运行kafka实例时，即在a.b.c.d.上，在同一个框中保持合流。HDFS群集大小为500 is。
浏览 15提问于2017-01-23得票数 0
根据，Sink连接器确保准确的一次交付.它是否删除了失败任务线程创建的文件？还是在HDFS中留下损坏的/部分文件？连接器使用预写日志来确保每条记录都写入HDFS一次。此外，连接器通过将Kafka偏移量信息编码到HDFS文件中来管理偏移量，以便在发生故障和任务重新启动时从上次提交的偏移量开始。
浏览 3提问于2021-07-03得票数 0
我正在开发IBM Hadoop发行版(BigInsights)，它是使用Apache Ambari安装的，目前已经启用了GPFS (通用并行文件系统)作为HDFS的透明层。在Ambari上，我们已经在HDFS上启用了维护模式，并且无法通过Ambari控制台对core/hdfs-site.xml进行任何更改。因此，如果我想要对core/hdfs-site.xml进行任何更改，我必须使用CLI从服务器端进行更改，那么我必须如何在GPFS环境中重新启动我的
浏览 4提问于2016-10-28得票数 0
SQL Server数据库在本地系统中
Kafka配置在合流云中。
浏览 9提问于2022-02-23得票数 0
1回答
是否有办法在模式注册表中创建主题的“别名”或“软链接”？我问这是因为对于某些kafka主题，它们共享一个共同的模式，例如主题名称：当我设置合流s3接收器连接器时，连接器avro转换器遵循topicNameStrategy从主题名称派生模式主题，因此模式名派生为{topicName}-value。是否有办法在架构注册表中创建别名{topicName}-valu
浏览 5提问于2022-11-23得票数 0
回答已采纳
对于我们的管道，我们有大约40个主题(每个分区10-25个)，我们希望在独立模式下使用HDFS 3 Sink连接器将它们写入同一个HDFS目录中(对于我们当前的设置，分布式不起作用)。我们尝试在一个连接器上运行所有主题，但如果需要重新启动，则会遇到恢复偏移量的问题。
如果我们将主题划分为不同的独立连接器，它们都能写入同一个HDFS目录吗？由于连接器然后按主题组织HDFS中的所有文件
浏览 3提问于2020-01-24得票数 0
回答已采纳
1回答
dirSlave/file1-slave.txt基于文件名file1-slve.txt有对应于file1.txt的记录
然后，我想使用flume迁移到hdfs
浏览 1提问于2015-09-02得票数 0
1回答
是否可以将Kafka的HDFS连接器配置为将几个单独的主题写入一个文件中？
这些主题将包含具有相同avro模式的消息，我希望KafkaConnect充当这些Kafka主题和HDFS之间的中介。在最坏的情况下，主题内容可以在编写到HDFS之后结合起来，但是我觉得使用HDFS连接器应该是一种更干净、更快捷的方法。
浏览 3提问于2016-08-31得票数 1
回答已采纳
1回答
我已经从gitHub中分叉出了Confluent的Hdfs连接器，并添加了自定义代码，其中包括自定义库。我在hdfs连接器pom文件中添加了这个库的依赖项，但是当我在远程服务器上运行连接器时，我得到的是自定义库的类没有找到异常。
我认为这可以通过创建hdfs连接器的一个胖jar来解决。在创建fat jar时，我需要在pom文件中指定hdfs连接器的入口点是什么
浏览 0提问于2018-04-09得票数 0
回答已采纳
我已经写了一个Kafka Connect to consumer主题，但是我的主题在运行时会改变，所以我需要重新配置主题。
浏览 0提问于2016-08-24得票数 4
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
