从REST api向Kafka摄取数据

文章/答案/技术大牛

发布

1回答

rest、apache-kafka

我有许多REST API来从不同的数据源获取数据，现在我想将这些rest响应发布到不同的kafka主题。此外，我还希望确保不会产生重复数据。有没有工具可以做这类操作？

浏览 16提问于2018-01-25得票数 1

回答已采纳

1回答

覆盆子派对卡夫卡的话题

hadoop、apache-kafka、raspberry-pi

我试图建立一个卡夫卡流从我的覆盆子Pi 3到一个卡夫卡主题。覆盆子派和卡夫卡经纪人不在同一个网络里。 Raspberry上有一些传感器，它每秒钟以JSON格式保存.log文件中的日期。

浏览 0提问于2018-02-23得票数 2

回答已采纳

1回答

Spark Streaming -调用REST API与为Spark Streaming原生构建功能

spark-streaming

我们有一个管理时间序列数据的特定功能。该功能已经作为REST API提供，并在Cloudfoundry上运行。我们希望提供对使用Spark Streaming和kafka摄取时间序列数据的支持，以便解决方案更具可扩展性和健壮性。从spark streaming内部调用REST API在spark中原生构建功能有什么缺点？

浏览 8提问于2017-02-16得票数 0

1回答

我计划构建一个web应用程序，用户可以在其中更新一些数据。其他开发人员应该能够通过API订阅我的应用程序，如果数据发生更改，必须得到通知。通过此通知，必须将更改的数据发送给订阅者。然后，订阅者应用程序自动处理接收到的数据。我不知道订阅应用程序的代码，所以我的应用程序和订阅应用程序之间的接口必须类似于REST API。我考虑过使用Apache Kafka或RabbitMQ来发送这些消息，但不知道这是否是实现此类功能的正确方式。我自己从来没有在AP

浏览 21提问于2019-03-11得票数 0

4回答

如何将数据实时输入到Druid？

druid

我想用一些api把数据发送给德鲁伊。我该怎么做呢？我可以用它来替代google analytics吗？

浏览 2提问于2015-07-26得票数 3

1回答

针对大数据的微服务之间的通信

java、spring-integration、spring-cloud、microservices、spring-cloud-stream

我有一个数据摄取服务，它(当前)从SQL获取数据，这些数据需要由预测服务使用。我不确定的是，我如何编排这些服务？我是否应该使用API网关来调用启动管道的摄取？

浏览 0提问于2017-06-07得票数 1

2回答

实时事件处理

apache-kafka、iot、flume

我有一个事件源(比如油井中的传感器，大约50000个)，它向服务器产生事件。在服务器端，我想以这样的方式处理所有这些事件，即来自传感器的关于最新湿度、温度、压力...etc的信息将被存储/更新到数据库中。我真的需要spark，(flume/kafka) + spark，来满足处理端吗？

浏览 13提问于2017-06-29得票数 1

1回答

使用redis作为核心BD时，我的业务逻辑应该放在哪里

redis、lua、business-logic、business-logic-layer

好的，所以我想做一个基于我从RSS上读到的新闻feeds的平台。我想使用kafka将数据摄取到redis，而redis中的这些数据也将被其他服务使用。所以我想知道我应该实现一个API来与我的redis BD交互，这样我就不会在向redis发出请求的客户端之间共享我的业务逻辑，我已经考虑在一个服务器中实现一个REST API，该服务器将存储核心业务逻辑我的意思是:我不会在API REST中实现POST

浏览 17提问于2021-02-22得票数 0

回答已采纳

1回答

Kafka + IoT用例+流处理

iot、stream-processing

今天，我们的机器(运行android操作系统)调用后端上的REST API端点，这将做一些事情，比如更新后端数据库，redis缓存，触发任务。我们返回一个HTTP 20X，40X，50X。那么第一个问题-当我们从机器接收遥测/事件并对其执行某种处理时，这个类是流处理吗？第二个问题-我们有一个无弹性的摄取管道。调用单个API，然后同步连接到我们的后端( database，redis)来更新状态，这意味着数据库之类的东西上的争用将影响摄取。我们需

浏览 3提问于2021-04-26得票数 0

2回答

如何使用python将Kafka中的数据发送到ElasticSearch

python、elasticsearch、apache-kafka、kafka-consumer-api

我有csv文件，我需要转换成json，然后发送到kafka，然后发送到ElasticSearch。我能够将Csv转换为Json并发送给kafka消费者。如何从Kafka Consumer获取数据到ElasticSearch

浏览 0提问于2018-12-06得票数 3

2回答

如何在Apache Kafka中从远程数据库拉取数据？

mysql、apache-kafka、apache-kafka-connect

我想在Apache Kafka中创建实时数据管道。我有一个数据库，它位于远程位置，该数据库不断更新。我应该使用哪个Kafka连接API从数据库中提取数据并实时摄取到Kafka broker中？稍后，我将使用kafka stream和KSQL运行即席查询来执行指标。任何帮助都将不胜感激！

浏览 2提问于2018-08-28得票数 1

2回答

与传统方法相比，使用kafka-connect有什么好处？

apache-kafka、spring-kafka、apache-kafka-connect

我有一个需要将关系数据库中的数据更改发送到kafka-topic中的用例。我能够编写一个简单的JDBC程序，该程序执行一组针对特定时间段的更改的查询，并使用KafkaTemplate ( spring框架提供的包装器)将数据写入kafka-topic。如果我使用kafka-connect来做同样的事情，那就是写一个源连接器。我将获得什么好处或管理费用(如果有的话)？

浏览 0提问于2019-07-24得票数 0

1回答

Apache Kafka与HTTP API

apache-kafka

我刚接触Apache Kafka和它的与API相关的流服务，但想知道是否有任何正式的文档来获取摄取所需的初始原始数据？从本质上讲，我想尝试构建一个初级的密码交易机器人，但我的印象是http API可能比与Kafka Streams集成的API具有更多的延迟。例如，我知道RapidAPI有一个可以访问的http库，可以帮助提取数据，但我不确定如果我想通过Kafka Streams摄取数据</e

浏览 0提问于2021-06-05得票数 0

1回答

Rest数据摄取到数据湖

java、rest、apache-kafka

我有1000个rest web服务。需求将数据摄取到数据湖的标准方法？满载、CDC和流数据。将数据加载到kafka主题中，不重复

浏览 0提问于2018-01-30得票数 1

2回答

如何将Kafka主题加载到HDFS？

hadoop、apache-kafka

/kafka-topics.sh --create --zookeeper 10.25.3.207:2181 --replication-factor 1 --partitions 1 --topic/kafka-console-producer.sh --broker-list 10.25.3.207:6667 --topic lognew ./kafka-console-consumer.sh --zookeeper 10.25.3.207:2181 --topic

浏览 4提问于2015-11-23得票数 8

1回答

如何使用snowflake kafka连接器向snowflake摄取增量数据？

snowflake-cloud-data-platform

我有一个从kafka摄取数据到Snowflake的要求。我想用snowflake kafka连接器来设计这个摄取。我的理解是，我的接收器需要是一个variant表，所以连接器会将kafka消息推送到variant列。一旦数据在variant列中，我将需要运行另一个进程来读取variant列，解析它并将数据存储到相应的目标表中。请让我知道这是否是摄取kafka数据的最佳方法谢谢

浏览 33提问于2020-07-29得票数 0

回答已采纳

1回答

Kafka接收器连接-如何为每个主题(表)创建一个任务

apache-kafka、apache-kafka-connect、confluent-platform

我们已经为我们的产品实现了一个名为Ampool ADS的kafka接收器连接器，它将来自kafka主题的数据摄取到相应的ampool表中。主题和表通过它们的名称映射。我需要将单个主题(从topic ->表中摄取)处理到一个专用的接收器任务中。因此，例如，如果我的配置包含3个不同的主题(topic1、topic2、topic3)，接收器连接器应该创建3个不同的接收器任务，每个任务(每个表)并行地向各自的/映射表进行专门的摄取。使用

浏览 2提问于2017-04-24得票数 0

2回答

Snowflake支持哪些数据源？

snowflake-cloud-data-platform、datasource

正如标题中提到的，我想知道Snowflake支持哪些数据源。我甚至不能完全确定如何处理这个问题。我知道您可以在受支持的云提供商的云存储中创建一个外部阶段，但是如果我想从Oracle数据库加载数据怎么办？在这种情况下，最好的解决方案是使用ODBC驱动程序，还是？

浏览 4提问于2021-09-29得票数 1

1回答

如何摄取卡夫卡的数据到Siddhi？

wso2、siddhi

我通过本教程设置了一个Kafka事件接收器：我如何开始摄取卡夫卡的数据，并开始将其推送给我上面创建的事件接收器？我是否必须在Siddhi启动一些程序，才能开始从Kafka或其他地方摄取食物？关于如何开始从卡夫卡摄取到事件接收者的链接中，并没有明确提到。

浏览 1提问于2017-07-18得票数 0

1回答

如何使用Kafka的REST代理从特定的偏移量中使用Kafka主题的数据？

apache-kafka、kafka-rest

我使用Kafka Rest代理来生成和使用Azure APIM从Kafka主题消费，因此使用Rest代理的原因。我可以使用auto.offset.reset =最早的线性方式使用消息，所以每次调用Kafka Rest都会给我最新的消息，这是很棒的，A1 is data requestor B2is API that fulfills A1's request using REST proxy for <em

浏览 2提问于2022-07-21得票数 0

点击加载更多