如何在apache Kafka中集成cassandra作为数据生产者？ 在kafka配置上有什么特别的配置吗？
浏览 41提问于2019-04-07得票数 0
我已经创建了一个卡夫卡生产者，从MySQL数据库读取网站点击数据流，它工作得很好。我发现我也可以使用kafka connect或debezium将kafka连接到MySQL数据源。我的目标是使用kafka摄取数据，并将其发送到Storm进行消费和分析。看起来这两种方法都可以实现我的目标，但使用kafka producer可能需要我构建一个kafka服务来不断读取数据源。对于我的数据管道，这两种方法<
浏览 1提问于2018-07-10得票数 0
Kafka是很常见的。所以很多公司都在使用它。我完全理解Kafka和Spark是如何工作的，我对他们都很有经验。我不理解的是用例。为什么你要把Kafka和Spark一起使用，而不仅仅是Spark呢？在我看来，Kafka的主要用途是作为ETL管道中的中转区，用于实时(流)数据。
我假设有一个数据源集群，数据最初存储在其中。例如，它可以是Vertica、Cassandra</e
浏览 3提问于2019-06-17得票数 3
2回答
用例是这样的:我运行了几个java应用程序，它们都必须与不同的(每个都有一个特定的目标) elasticsearch索引进行交互。例如，应用程序A使用ElasticSearch的索引A、B、C来查询和更新。应用程序B使用索引A、C、D(比如)。
需要一些公共接口来管理所有这些数据流。目前，我正在为此目的评估Kafka和fluentd。谁能解释一下，哪一个更适合这种情况。我看过Kafka和Fluentd的特性，我真的不明白它在这里会有什么不同。非常感谢。
浏览 1提问于2016-02-02得票数 30
回答已采纳
2回答
对时间序列数据流执行查询
、、、
我正在尝试为我的流媒体应用程序设计一个架构，并为我的工作选择合适的工具。这是它目前的工作方式：
来自“应用程序生产者”部分的消息具有(address_of_sensor, timestamp, content)元组的形式。在Kafka之前我已经实现了所有的功能，现在我在设计中遇到了主要的缺陷。在“火花流”部分，将合并的消息流转换为事件流。问题是大部分事件都是复合的-由多个消息
浏览 0提问于2015-11-04得票数 2
1回答
我正在尝试为我的代码编写一个健康检查(此检查涉及到与Cassandra和Kafka的通信)。failed'); reject(err); resolve(200)
浏览 5提问于2016-07-28得票数 0
回答已采纳
1回答
卡夫卡的电火花印刷信息
、、、
我建立了一个由生产者和消费者组成的kafka系统，将json文件的行作为消息流。# Add dependencies and load modulesos.environ['PYSPARK_SUBMIT_ARGS'] = '--confspark.ui.port=4040 --packages org.apache.spark:spark-
浏览 0提问于2018-11-18得票数 1
回答已采纳
1回答
我有像这样行的流数据它应该以正确的顺序到达spark (ip:port)，并且可以按ID进行分区。现在，我正在尝试根据一个条件对流数据进行批处理/分组-即“创建新的RDD，并放入流中的所有行(具有相同的ID，并按时间戳排序)，直到Value1=0”。结果-我需要几个RDDs/DataFrames/...包含由条件标识的序列，例如{Value1=0}：
[20170101000
浏览 2提问于2017-08-10得票数 0
我需要存储到Cassandra和发布到Kafka多个事件，并调用一些最终的handler()只有在所有事件被存储和发布之后。我遇到了Update actor state only after all events are persisted方法，但它没有涵盖事件也应该发布到Kafka的情况。有kafka publisher和基础聚合根actor，它们处理多个事件，然后调用handler() (通常用于从actor返回响应)： abstract class AggregateRootAct
浏览 13提问于2020-06-24得票数 2
2回答
我正在尝试开发一个spring应用程序，它将接收用户的输入并将其存储到主题中，然后我不想从这个主题将它加载到cassandra (注：--不使用合流kafka版本)。因此，到目前为止，我能够在春季编写一个生产者和消费者逻辑，现在我需要将数据从kafka主题加载到cassandra。我该怎么做？当我浏览互联网时，有人建议我使用由融合卡夫卡提供的API。我不知道如何编写代码，也不确定我是否能用apache的非合流风格来实现这一点。
提前感谢
浏览 4提问于2021-08-23得票数 0
回答已采纳
我在尝试创建消费者生产者应用程序。我以这样的方式创造了消费者：from StringIO import StringIOfrom cassandra</em
浏览 2提问于2017-04-04得票数 1
2回答
是否可以创建主题名称的别名？如果用户写到topic examplea，是否可以在代理上覆盖它，这样他们就可以真正写到topic exampleb？或者，如果主题实际上是作为examplea编写的，但消费者可以将其称为exampleb。我认为这可能可以通过在代理上使用小黑客来实现，在那里它回复元数据请求，但如果它可以以某种标准的方式完成，我宁愿不要这样做。
浏览 0提问于2016-06-26得票数 7
我们如何在Cassandra中使用Kafka Connect，而不使用Confluent框架。
浏览 2提问于2017-03-03得票数 9
将Kafka中的日期写入Cassandra的最佳方式是什么？我希望它是一个解决的问题，但似乎没有一个标准的适配器。许多人似乎使用Storm来读取Kafka，然后写入Cassandra，但storm似乎对简单的ETL操作有点杀伤力。
浏览 2提问于2015-04-15得票数 9
1回答
我正试着给卡夫卡送一辆大的CSV。基本结构是读取CSV的一行并使用标头将其压缩。from kafka import SimpleProducer, KafkaClientproducer = SimpleProducer(kafka)使用PYSPARK，我轻松地从CSV文件创建了一个消息的
浏览 4提问于2015-08-31得票数 6
回答已采纳
我想在我的春季云流卡夫卡应用程序中为我的生产者设置acks=all属性。我试过这样做：和和
spring.cloud.stream.kafka.streams.bindings.<channel>.producer.configuratio
浏览 1提问于2019-04-24得票数 1
出于测试目的，我必须将数据从Clickhouse服务器推送到Kafka。我已经尝试过使用Confluent JDBC连接器，但效果不是很好。看起来Clickhouse- Kafka -Engine只在Kafka -> Clickhouse方向上工作，所以Clickhouse-server作为消费者工作。在Clickhouse中使用Table作为生产者有没有一个方便的方法，或者我有没有自己写生产者？
浏览 3提问于2018-12-30得票数 1
我是卡夫卡的新手。我正在设计和开发一个Kafka解决方案来读取Oracle表(Kafka Connect或CDC在我的组织中还不是一个选项)，并将这些大量的记录发送给Kafka Brokers，最终将被消费者收集并发送到目标系统我的卡夫卡生产者和消费者代码能在同一个Spring应用中吗？还是我需要让我的AppName-生产者和AppName-消费者作为两个单独的S
浏览 3提问于2022-05-08得票数 1
我有一个接收点击流的用例，我需要使用来自Cassandra的数据进行某些计算，最后将计算出的值推送到Redshift。 对于流和计算的这个用例，我正在探索所需的Tech Stack。可以使用Kafka Streams lib吗？ 如果有人用过这个，可以阐明可能的优点/缺点或任何其他建议。
浏览 14提问于2020-10-17得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
