SCDF自定义spring云源应用不向Kafka topic写入生产消息
SCDF（Spring Cloud Data Flow）是一个用于构建和部署数据流的开源框架，它基于Spring Cloud和Spring Boot。它提供了一种简单而强大的方式来构建、部署和管理数据处理应用程序。
自定义Spring Cloud Data Flow应用程序可以通过实现自定义的Source、Processor和Sink来实现特定的数据处理逻辑。在这个问题中，我们需要自定义一个Spring Cloud Data Flow应用程序，使其不向Kafka topic写入生产消息。
要实现这个功能，可以按照以下步骤进行操作：
- 创建一个新的Spring Cloud Data Flow应用程序项目。
- 在项目中定义一个自定义的Source应用程序，该应用程序不会向Kafka topic写入生产消息。可以通过在应用程序中禁用消息发送功能来实现这一点。
- 在应用程序中实现自定义的逻辑，例如从外部数据源读取数据并进行处理。
- 构建和打包应用程序，并将其部署到Spring Cloud Data Flow服务器上。
- 在Spring Cloud Data Flow控制台中创建一个新的数据流，并将自定义的应用程序作为Source添加到数据流中。
- 配置数据流的其他组件，例如Processor和Sink，以完成整个数据处理流程。
在这个过程中，可以使用一些腾讯云的相关产品来辅助实现自定义的Spring Cloud Data Flow应用程序。例如，可以使用腾讯云的云服务器（CVM）来部署Spring Cloud Data Flow服务器，使用腾讯云的数据库服务（TencentDB）来存储应用程序所需的数据，使用腾讯云的容器服务（TKE）来运行应用程序的容器等。
总结起来，自定义Spring Cloud Data Flow应用程序不向Kafka topic写入生产消息可以通过禁用消息发送功能来实现。在实际实现过程中，可以结合腾讯云的相关产品来构建和部署应用程序。
相关·内容
1回答
SCDF自定义spring云源应用不向Kafka topic写入生产消息
spring-boot、apache-kafka、spring-cloud-stream、spring-cloud-dataflow
我已经用kafka绑定器创建了一个简单的spring cloud streaming "source“& "Sink”应用程序，并在SCDF (Spring Cloud Data Flow)中注册了jars。 在SCDF ( source-app | sink-app )中创建流，并成功部署流。 当我尝试调用source时，source产生的消息没有写入Kafka topic。topic是以“steam-name.sourceapp-.i”名称创建的，通过从SCDF源日志中的Kadeck tool.and检查，我看到消息是从源应用端产生的，因为well.but该消息没
浏览 10提问于2019-09-17得票数 0
1回答
K8s上的SCDF :当向Kafka - ticktock +没有关于ticktock.time主题的消息发送消息时，生产者异常
kubernetes、spring-cloud-dataflow
当试图向Kafka发送消息时，计时器应用程序将引发每秒错误。
2017-08-03 10:20:58,805 ERROR kafka-producer-network-thread | producer-2 o.s.k.s.LoggingProducerListener:76 - Exception thrown when sending a message with key='null' and payload='{-1, 2, 11, 99, 111, 110, 116, 101, 110, 116, 84, 121, 112, 101, 0, 0, 0, 12,
浏览 0提问于2017-08-03得票数 0
1回答
使用函数接口创建的Spring云流应用程序没有在Spring云数据流中进行数据通信
spring-boot、spring-cloud-stream、spring-cloud-dataflow、spring-cloud-function
我已经使用Spring云函数方法transferring创建了3个简单的Spring云流应用程序(Source/Processor/Sink)。
来源-app：
@SpringBootApplication
public class SourceApplication {
public static void main(String[] args) {
SpringApplication.run(SourceApplication.class, args);
}
@PollableBean
public Supplier<Flux<
浏览 2提问于2020-06-05得票数 0
1回答
Google Pub/Sub上的Spring云数据流
spring、google-cloud-platform、spring-cloud-dataflow
我使用过spring cloud data flow、rabbitmq和kafka，但我想知道是否可以使用google pub/sub安装scdf。
我不想创建一个流(新的应用程序，spring云流)，它的源或宿都是gcp，我想让google pub/sub over spring cloud数据流服务器作为一个中间消息传递代理。
有什么建议吗？
浏览 1提问于2019-12-30得票数 1
2回答
无法在春季云kafka中设置每个主题/绑定层的serde、生产者和消费者属性
apache-kafka、spring-kafka、spring-cloud-stream、spring-cloud-stream-binder-kafka
我正在尝试使用spring绑定来提供简单的发布子应用程序。但是，我无法在DeSerialzer中设置序列化器、DeSerialzer属性和其他生产者和使用者属性。我始终会得到序列化/反序列化错误。甚至卡夫卡在春季启动项目中的日志显示，生产者和消费者配置仍然是用户ByteArraySerializer。下面是相同的代码。
pom.xml
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xs
浏览 1提问于2020-02-21得票数 0
回答已采纳
2回答
Spring数据流错误:无法访问jarfile
spring-boot、spring-cloud-stream
我在这个网站上发布了基于的Spring云数据流。
我创建了3个应用程序，源代码，处理器和水槽。
我在Spring数据流云仪表板上注册了它们。
然后，我创建了一个流，其中源连接到处理器，连接到接收器。
当我部署应用程序并打开{流名}时，
我得到以下错误，
{
logs: {
testdir-stream.sender1-v3: "Error: Unable to access jarfile /testdir/data-sender-0.0.1-SNAPSHOT.jar ",
testdir-stream.sink1-v3: "Error: Unable to acce
浏览 0提问于2019-09-09得票数 0
回答已采纳
2回答
如何在spring云数据流中使用自定义处理器的命名目标？
java、spring、spring-boot、spring-cloud-stream、spring-cloud-dataflow
这些天我正在学习SCDF…我有一些关于命名目的地的问题。我创建了一个类似于":test-topic > log“的流。我可以看到日志接收器使用主题"test- topic“中的数据。但是，如果我向SCDF.Then添加一个自定义处理器，我会创建一个如下所示的流：
:test-topic-source > etl-data-transform > :test-topic-sink
我认为"etl- data -transform“处理器会消耗测试主题-主题-源( kafka )中的数据和产品数据到”测试-主题-接收器“，但日志是”订阅主题:字符串操作-入
浏览 1提问于2021-04-02得票数 0
2回答
Spring Cloud数据流DLQ配置不起作用
spring-cloud、spring-cloud-stream、spring-cloud-dataflow
我正在尝试在Spring Cloud数据流中配置DLQ。下面是Stream的定义以及我如何部署它
stream create --definition ":someTestTopic > custom-transform
--spring.cloud.stream.bindings.input.consumer.headerMode=raw | log --spring.cloud.stream.bindings.input.consumer.headerMode=raw" --name ticktran
stream deploy ticktr
浏览 0提问于2016-09-16得票数 0
1回答
在春季云数据流中获取DataFlowClientException
spring-boot、spring-cloud、spring-cloud-stream、spring-cloud-config、spring-cloud-dataflow
当我试图在shell中给出下面的命令时，我得到了下面的错误。你能让我知道为什么我收到这个错误吗？我正在尝试执行下面的链接程序 Maven存储库本地: C:\maven https://www.javainuse.com/spring/cloud-data-flow Error :
dataflow:>app register --name source-app --type source --uri maven://com.spring.cloud:soruce:jar:0.0.1-SNAPSHOT
dataflow:>app register --name p
浏览 16提问于2019-02-03得票数 0
回答已采纳
1回答
如何使用Spring Cloud Stream在发布到Kafka主题前为消息添加头部
java、spring-cloud、spring-cloud-stream、spring-cloud-stream-binder-kafka
我刚刚意识到，在Kafka主题上收到的消息丢失了标题。有没有办法在发布到Kafka Topic之前给消息添加头部，然后在消费者端阅读？我使用的是Java11，Spring Cloud Hoxton.SR6，Spring2.2.4，kafka_2.13-2.6.0。提前感谢！
浏览 0提问于2020-09-08得票数 0
1回答
是否支持具有相同接收器和源主题的Kafka流？
java、apache-kafka、apache-kafka-streams
我有一个复杂的Kafka应用程序，其中两个流在同一个流中完全有状态：
它使用Execution主题作为源，增强消息并将其重新发布回相同的Execution主题。it加入另一个主题WorkerTaskResult，将结果添加到Execution并发布回Execution主题.
主要目标是提供一个工作流系统。
去尾逻辑是：
the an 是一个 Execution列表，查看所有TaskRun的所有当前状态，找到下一个要执行(如果有)的列表，执行更改其TaskRunsList并添加下一个TaskRunsList并发布回卡夫卡，另外，它向另一个队列发送要执行的任务，(WorkerTask)the Wo
浏览 5提问于2020-04-20得票数 1
回答已采纳
2回答
无法追踪弹簧云流侦听器与弹簧云侦查
spring、trace、spring-cloud-stream、spring-cloud-sleuth
我有两个非常简单的春云流应用程序。Service3，消息生产者，通过绑定器-卡夫卡向消费者Service4发送消息。
我用春云雪橇来追踪它们之间的跨度。但是在zipkin服务器中，只有Service3中的spans可用。Service4没有span显示。
Service3
依赖关系{ compile('org.springframework.boot:spring-boot-starter-web') compile('org.springframework.boot:spring-boot-starter-thymeleaf') compile('
浏览 9提问于2017-02-22得票数 0
1回答
卡夫卡连接FileStreamSink连接器删除引号，并更改冒号为等号的JSON消息
apache-kafka、apache-kafka-connect
摘要
当我将它与控制台生成器进行流时
{"id":1337,"status":"example_topic_1 success"}
我是从我的消费者那里得到这个的
/data/样例_topic_1.txt
{id=1337, status=example_topic_1 success}
这对我来说是个大问题，因为如果不对引号过去的位置进行假设，就无法恢复原始的JSON消息。如何在保留引号的同时将消息输出到文件中？
详细信息
首先，启动文件接收器连接器。# sh /connect-Standalone.sh\> config/worke
浏览 0提问于2019-06-27得票数 1
回答已采纳
1回答
spring云流:在spring云数据流服务器cf上流部署失败。
spring-cloud-stream、spring-cloud-dataflow
在我们的用例中，我们需要创建消息流应用程序并将其部署到我们的私有云创建环境中。流应用程序用于侦听RabbitMq队列，并触发流中定义的任务。
为了达到同样的目的，我们通过在Mac上本地运行cloud-dataflow-server-cloudfoundry来使用它。
以下是实现这一目标的一组命令：
设置Maven远程回购export MAVEN_REMOTE_REPOSITORIES_REPO1_URL=https://ftl.abc.com/NEXUS
安装云铸造目的地-
出口SPRING_CLOUD_DEPLOYER_CLOUDFOUNDRY_URL=出口SPRING_CLOUD_
浏览 1提问于2016-11-10得票数 0
回答已采纳
1回答
Stream (Hoxton)卡夫卡生产者/消费者不参与EmbeddedKafka集成测试
java、apache-kafka、spring-cloud-stream、spring-cloud-stream-binder-kafka
我有一个工作的应用程序，使用最新的生产者更新，与霍克斯顿。现在，我正在尝试添加一些集成测试，断言生产者实际上正在按照预期生成一条消息。问题是，我在测试中使用的使用者从来不阅读主题中的任何内容。
为了使这个问题重现，我从spring云流样本中重新研究了一个项目(spring-cloud-stream-samples/source-samples/dynamic-destination-source-kafka)，并对其进行了如下调整：
DynamicDestinationSourceApplication ( EmitterProcessor现在是一个bean)
@SpringBootAppli
浏览 3提问于2020-02-02得票数 1
回答已采纳
1回答
在春天云流中忽略消息--反应性的Kafka
spring-cloud-stream、spring-cloud-stream-binder-kafka
我有一个spring云应用程序，使用听两个主题，每个主题都有10个分区。
在用户中，我只是简单地读取消息和打印主题、分区和偏移，一些消息没有被读取。
我已经尝试过自动提交和手动确认。
测试设置:将30K消息推入每个主题1和主题2并启动应用程序，它只读取59999条记录，而不是60000条。
所有主题的所有分区中的滞后值为0，这意味着所有的数据都被消耗了。
接收机代码：
@Bean
public Consumer<Flux<Message<String>>> receiver() {
return (sink -> {
浏览 3提问于2020-05-22得票数 0
回答已采纳
1回答
如何正确创建消费者进行集成测试，以验证消息是否被推送到kafka？
java、spring-boot、apache-kafka、spring-cloud、spring-cloud-stream
我正在使用avro生成一个java类( Heartbeat )，并且我正在使用Spring云消息处理器，以便通过此Heartbeat类将消息推送到kafka。
所以这是我的服务：
@Service
public class HeartbeatServiceImpl implements HeartbeatService {
private Processor processor;
public HeartbeatServiceImpl(Processor processor) {
this.processor = processor;
}
@Override
浏览 1提问于2021-05-28得票数 0
2回答
Spring Cloud Data Flow (SCDF) + Apache Kafka -在哪里部署Kafka Broker？
java、apache-kafka、spring-cloud、spring-cloud-stream、spring-cloud-dataflow
我不确定我是否理解了Spring Cloud Data Flow (SCDF)和Apache Kafka Broker(及其相关的Zookeeper)之间的关系。
我阅读了一些文档，并观看了一个关于Spring Cloud数据流(SCDF)的网络研讨会。我了解不同的绑定选项(RabbitMQ，Kafka，...)用于此框架中不同微服务之间的通信。
我找到了很多关于如何使用Kafka的信息，但不知道在哪里运行/操作它。我的假设是否正确，即您必须独立于SCDF安装/管理/操作Kafka代理(+ Zookeeper)？SCDF“只是”使用Kafka代理进行内部通信，以及-可选的-用于微服务内的业务逻
浏览 0提问于2017-10-25得票数 1
2回答
在应用和编写多个转换时只读取一次星火流源
apache-spark、pyspark、apache-kafka、spark-streaming、spark-structured-streaming
我正在尝试使用Spark结构化流来实现以下流：
┌──────────────────────┐
┌──►│Transformation DF (1) ├──┐
│ └──────────────────────┘ │
┌──────────────────┐ ┌─────────┬──┘ └──►┌────
浏览 7提问于2022-05-30得票数 2
1回答
作为Spring-Cloud-Data-Flow流的一部分部署的Spring-Cloud-Function应用的Kafka主题名称错误
spring-cloud-dataflow、spring-cloud-function
我有一个简单的SCDF流，如下所示： http --port=12346 | mvmn-transform | file --name=tmp.txt --directory=/tmp mvmn-transform是一个简单的自定义转换器，如下所示： @SpringBootApplication
@EnableBinding(Processor.class)
@EnableConfigurationProperties(ScdfTestTransformerProperties.class)
@Configuration
public class ScdfTestTransformer {
浏览 13提问于2020-04-28得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
