我使用过spring cloud data flow、rabbitmq和kafka，但我想知道是否可以使用google pub/sub安装scdf。我不想创建一个流(新的应用程序，spring云流)，它的源或宿都是gcp，我想让google pub/sub over spring cloud数据流服务器作为一个中间消息传递代理。
有什么建议吗？
浏览 1提问于2019-12-30得票数 1
纱线上的Spring XD :无法将kafka源文件流式传输到hdfs接收器我配置了为Kafka(源)和hdfs(宿)提供的自定义模块。但是，
浏览 2提问于2015-07-29得票数 0
我使用Kafka作为源，我想使用HDFS sink.But将Kafka上的消息写入HDFS，我看到文件在HDFS上创建，但Kafka上的消息没有写入HDFS file.Please。stream create --definition ":streaming > hdfs --spring.hadoop.fsUri=hdfs://
浏览 8提问于2017-03-03得票数 0
回答已采纳
1回答
我正在从Spring迁移到Spring数据流。当我寻找模块列表时，我意识到有些源没有在中列出--其中之一就是KAFKA源代码。
我的问题是为什么在春云数据流中从标准源列表中删除KAFKA源？
浏览 4提问于2016-07-24得票数 4
回答已采纳
1回答
有没有办法可以检查spring cloud数据流中的源(比如某个命名为":mySource")和宿(比如"log“作为宿)中有哪些数据？e.g. dataflow:>stream create --name demo --definition ":mySource>log"
这里有什么在mySource和日志中-如何检查？是否就像我必须在某个地方检查<em
浏览 0提问于2017-10-13得票数 1
在纱线上的Spring XD :版本1.2.1直接绑定支持kafka源代码。流创建--名称directkafkatohdfs --定义"kafka | <
浏览 0提问于2015-11-27得票数 0
1回答
我需要将hdfs中的数据写入到kinesis流中，以便进一步计算。有人可以指导我如何将数据从hdfs放到kinesis流中吗？例如，我在hdfs上有拼图格式的数据。我现在想把数据放到动态流中。我怎样才能控制运动中允许的极限。
谢谢。
浏览 2提问于2017-09-23得票数 0
我们的系统以HTTP POST的形式接收事件，我们需要将事件的一个副本存储在Kafka中(用于进一步处理)，并将另一个副本存储在HDFS中(作为永久存储)。我们是否可以将Flume源配置为HTTP，通道配置为KAFKA，宿配置为HDFS，以满足我们的要求。这个解决方案能行吗？
浏览 3提问于2015-09-19得票数 4
2回答
我正在使用docker部署spring数据流服务器。通过部署两个spring引导应用程序作为源、处理器和接收器，我在数据流服务器中创建了一个数据处理管道。为了访问每个服务的日志，我要么必须从停靠器( bash )内部跟踪它，要么我必须将它从docker容器复制到本地磁盘。
我想使用log4j-kafka附录将这些日志推送给kafka，以便以后进行分析。我已经为在之外运行的其他服务这样做了。是否有一种
浏览 2提问于2017-05-18得票数 0
回答已采纳
1回答
我试图将我的源的最后一次阅读记录存储在kafka的一个单独的主题中，作为一个流源。如何使用spring云数据流应用程序实现这一目标。任何建议都会有很大帮助。
浏览 3提问于2017-04-04得票数 0
回答已采纳
2回答
用于NRT数据应用的Google
、、、、
我正在评估Kafka/Spark/HDFS，用于开发NRT (子秒级) java应用程序，该应用程序接收来自外部网关的数据，并将其发布到桌面/移动客户端(使用者)，用于各种主题。Kafka、Spark和HDFS可以通过亚马逊EC2 (或Google使用连接器)进行可选部署。
我读到了谷歌云DataFlow，云存储，BigQuery和Pub。数据流提供了实时监测数据管道的
浏览 2提问于2016-02-16得票数 0
Random.nextInt(3), Random.nextString(2), }我正在使用这样的RateStreamSource生成数据流 .readStream .map(RemoteCopyGroup.get).map(rcg
浏览 7提问于2022-02-25得票数 0
1回答
我正在设计卡夫卡的实时消费工作，并考虑春季启动批处理和弹簧引导。哪种更好些呢？弹簧引导批+ kafka 弹簧引导+kafka
请告诉我原因:)
浏览 3提问于2019-10-11得票数 1
我正在尝试构建一个Spring应用程序，它使用来自一个Kafka主题的事件，对其进行一些处理(可能涉及对反应性db查找的操作)，并将它们发送到另一个kafka主题。目前，该应用程序为kafka使用了webflux和spring云数据流。
请有人建议使用好吗，还是应该使用其他方法来实现端到端的反应行为。尝试用Spring引导WebFlux，春季云数据流</e
浏览 7提问于2022-12-02得票数 0
我正在尝试简单的spring XD应用程序在HDFS中加载日志事件。我已经使用spring-ampq/rabbit log4j appender ( org.springframework.amqp.rabbit.log4j.AmqpAppender类)配置了目标应用程序我设置了以下流来从HDFS中提取这些消息并将其推送到HDFS，在HDFS中，源模块和宿模块都是现成的X
浏览 0提问于2014-04-21得票数 0
2回答
带有avro记录的Kafka
、、、、
我有:源- kafka主题(trans)通道-内存宿- Hdfs (avro_event)而不是：我猜这是因为flume期望的记录类型是{header} {b
浏览 0提问于2015-03-01得票数 2
我正在研究如何使用GCP，特别是大数据和分析函数，我不太确定它们的功能。我做了一些映射来理解这些组件。你能帮我查一下我的理解吗？云Pub/Sub: Apache Kafka
浏览 3提问于2019-02-10得票数 0
我对Kafka和阅读文档有点陌生。卡夫卡办公网站有一个。其中应用程序被绑定到一个主题，并且消息一到达就被处理。结果会回发到主题或数据库。Spring Kafka注解@KafkaListener具有相同的功能。例如，我尝试过。在这里，我们也会监听一个主题，并在发布内容时对其进行处理。
所以我很好奇地想知道1.这2个有什么不同?
浏览 5提问于2018-01-18得票数 1
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
