1回答
我使用Kafka连接和两个连接器：在运行时，我从S3连接器中得到了这个错误"behavior.on.null.values": "ignore",
"errors.tolerance": &q
浏览 2提问于2021-05-11得票数 2
我们使用连接到Kafka的S3接收器连接器，并将数据加载到S3 buckets.Now --我希望使用Copy命令将数据从S3存储桶加载到are，因为我正在创建自己的自定义connector.Use情况--我希望以同步方式加载通过S3创建的数据到Redshift，下一次S3连接器应该替换现有文件，并再次将数据加载到S3。
浏览 0提问于2018-08-17得票数 0
回答已采纳
我想使用Kafka将数据从本地流式传输到云(S3)。为此，我需要在源机和云上安装kafka。但我不想把它放在云端。我需要一些S3连接器，通过它我可以与kafka连接，并将数据从本地传输到云。
浏览 1提问于2017-03-29得票数 2
对于我的当前项目，我正在使用Kafka (python)，并想知道是否有任何方法可以将流式Kafka数据发送到AWS S3桶(而不使用汇流)。我从Reddit API获得我的源数据。我甚至想知道Kafka+s3是否是一个很好的组合，用于存储数据，这些数据将使用pyspark进行处理，或者我应该跳过s3步骤，直接从Kafka读取数据。
浏览 5提问于2022-08-28得票数 0
2回答
我想要存储数据从卡夫卡到桶s3使用卡夫卡连接。我已经有了一个卡夫卡的主题运行，我有一个桶s3创建。:421) atorg.apache.kafka.connect.runtime.WorkerTask.doRun(WorkerTask.java:140)
at org.apache.kafka.connect.run
浏览 0提问于2018-10-03得票数 9
回答已采纳
如何在s3连接器中使用kafka msg key作为分区标准，或者如何获取key并将其存储在s3对象中，谢谢！
浏览 18提问于2020-08-24得票数 0
回答已采纳
要在本地mac中运行cps3连接以使用kafka主题，我做了如下操作ML-C02Z605SLVDQ:kafka_2.12e192270$ cd kafka_2.12-2.5.0
ML-C02Z605SLVDQ:kafka_2.12-2.5.0 e192270$ bin/connect-stand
浏览 3提问于2020-05-23得票数 1
55=消费者-1，群55=控制台-消费者-5221连接到节点-1 (kafka/23.202.231.166:9092)。(org.apache.kafka.clients.NetworkClient) 2019-06-03 21:55:16,289警告消费者客户55=消费者-1，群55=控制台-消费者-5221连接到节点(org.apache.kafka.clients.NetworkClient) 2019-06-03 21:55:16,443警告消费者客
浏览 2提问于2019-06-04得票数 0
我通过包共享安装了AEM的S3连接器(COM.ADOBE.GRANITE.OAK.S3CONNECTOR)，现在我的AEM实例被块化了。
浏览 0提问于2017-04-06得票数 2
回答已采纳
当一个文件被写入到MS SQL Server中的表中时，我希望通过Kafka s3连接器将其写入/传输到Minio bucket。可以通过Kafka实现吗？
浏览 2提问于2020-05-15得票数 0
1回答
我有一个工作的s3接收器连接器，直到源连接器发送一个空值；s3连接器崩溃。当我从MS SQL数据库中删除记录时出现问题。源连接器将删除信息发送到s3连接器，s3连接器崩溃。我删除并重新创建了具有不同名称的s3连接器，没有任何更改。) [task-thread-minio-connector1-0] apiVersion: kafka.s
浏览 0提问于2020-05-24得票数 4
rds.amazonaws.com:5432/ecommerce与用户“debezium”(io.debezium.connector.postgresql.PostgresConnector:133)的连接失败我已经在EC2上使用Kafka客户端测试了AWS连接器，我能够生成和使用消息。我还设置了AWS S3 Sink连接器，这也是工作。我不知道是什么导致了这个问题。.kafka.ap-south-1.amaz
浏览 11提问于2022-01-19得票数 0
我想将卡夫卡主题的所有数据存储到亚马逊S3中。我有一个Kafka集群，它每秒在一个主题中接收200.000条消息，每个值消息有50个字段(字符串、时间戳、整数和浮点数)。我的主要想法是使用将数据存储在一个存储桶s3中，然后使用Amazon将数据转换成另一个存储桶。我还有下一个问题：2)我试着使用来自汇合的Kafka Connect，但我有几个问题：
我能连接到我的卡夫卡集群从其他卡夫卡实例，并以独立的方
浏览 0提问于2018-10-05得票数 0
回答已采纳
如果我使用kafka-connect来消费消息并将其存储到s3 (使用kafka-connect s3连接器)，是否可以将消息偏移量与事件有效负载一起存储？(例如，如果我的消费者偏移量意外崩溃，我重新启动了kafka-connect)。这是可能的，还是我应该为这种类型的功能编写一个自定义订阅者？
浏览 13提问于2020-05-13得票数 2
回答已采纳
如下所示： "app" : "hw", "time" : "2018-05-06 12:53:04"我希望推送到S3
浏览 12提问于2018-09-07得票数 3
当我试图读取从Kafka到S3的消息时，我在向Kafka连接类路径添加jar时遇到了问题。org.apache.kafka.common.config.ConfigException: Invalid timestamp extractor: partitioner.SpotadDateTimeExtractor开始指挥：
sudo /home/ubuntu/conflue
浏览 1提问于2017-12-18得票数 4
回答已采纳
我试图使用SASL和GSSAPI使用明文运行一个kafka服务器，但是出错。2018-10-03 16:08:54,220错误控制器id=0，targetBrokerId=0连接到节点0的身份验证失败，原因是:错误：(java.security.PrivilegedActionException: javax.security.sasl.SaslException: GSS启动失败由GSSException:未提供有效凭据引起)在评估从Kafka Broker收到的SASL令牌时发生。(
浏览 2提问于2018-10-03得票数 0
1回答
嗨，我正在尝试使用Kafka作为日志聚合器和过滤层，以便他们输入到Splunk中。Kafka的输入端将是Kafka S3连接器和其他连接器，从S3和Amazon Kinesis Data streams.See获取日志这张图片供参考： ? 然而，我想知道的是在Kafka数据管道内进行处理或过滤，是否有必要做Spark作业？或者，这可以通过一个简单的Kafka streams应用程序来完成，如果我们必须为几个不同的日志进行这种设计，那么这将是一个有
浏览 24提问于2021-08-05得票数 0
回答已采纳
我正在创建一个nodejs库，它读取kafka中的事件并将它们推入文件中。计划是将数据推送到文件到达，例如，100 or(或2000事件)。我的问题是：
已经有一个库可以这样做了吗？
浏览 7提问于2022-07-03得票数 0
1回答
kafka连接到s3失败
、、、
我正在尝试配置kafka-connect，以便将我的数据从kafka发送到s3。我是kafka方面的新手，我试图在没有任何ssl加密的情况下实现这个流程，只是为了掌握它的诀窍。kafka version : 2.12-2.2.0
kafka-connect : 4.1.1 (https://api.hub.confluent.io/api/plugins/confluentinc=org.apache.kafka.con
浏览 389提问于2020-04-13得票数 0
云服务器
ICP备案
实时音视频
云直播
对象存储
腾讯云开发者
