腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
作为
Spring-Cloud-Data-Flow
流
的
一部分
部署
的
Spring-Cloud-Function
应用
的
Kafka
主题
名称
错误
spring-cloud-dataflow
、
spring-cloud-function
显然忽略了SCDF源和目标
主题
的
名称
,而是创建了
主题
transform-in-0和transform-out-0。SCDF创建
名称
类似<stream-name>.<app-name>
的
主题
,例如TestStream123.http和TestStream123.mvmn-transform。以前,它们被用于transformer -因为它是SCDF
流
的
一部分
,所以它应该是。因此,我
的</
浏览 13
提问于2020-04-28
得票数 0
回答已采纳
2
回答
我们能用Kstream和火花
流
一起使用吗?
apache-spark
、
apache-kafka
、
spark-streaming
、
apache-kafka-streams
这是一种推荐
的
方法,还是使用火花
流
是一个更好
的
解决方案?
浏览 1
提问于2021-10-18
得票数 0
回答已采纳
1
回答
在ksqldb无头
部署
模式中使用创建
流
查询更改源
主题
名称
apache-kafka
、
ksqldb
我有一个
主题
,它
的
名字包含点,它是用Debezium连接器创建
的
,它就在那里,我对它无能为力。 使用ksqldb,我必须在其中创建一个物化
流
视图,但SELECT子句中不允许使用带点
的
主题
名称
。所以我必须先用一个新
的
名字来声明原来的话题,对吗?CREATE STREAM datachanges_my_event WITH (
KAFKA
_TOPIC='datachanges.my.event', <...>
浏览 4
提问于2022-06-15
得票数 0
回答已采纳
1
回答
如何让
kafka
在spring运行时使用http
流
数据?
spring
、
spring-xd
、
http-streaming
、
apache-kafka
在spring运行时,可以让
kafka
源模块
作为
处理器模块工作吗?有代码样本吗?我正试图实现这样
的
目标: http (xd源)、xd源(xd处理器)、xd使用者(xd接收器)stream create kafkaSourceTest --definition "http --outputType=application/json |
kafka
--zkconne
浏览 3
提问于2015-05-12
得票数 0
回答已采纳
1
回答
用卡夫卡连接来转换卡夫卡信息有意义吗?
apache-kafka
、
apache-kafka-streams
、
apache-kafka-connect
、
confluent-platform
我们
的
基础设施中有汇合点平台。在核心方面,我们正在使用
kafka
代理来分发事件。数十种设备都会产生卡夫卡
主题
的
事件(每种类型
的
事件都有一个
kafka
主题
),其中事件在google
的
protobuf中被序列化。我们有confluent
的
模式注册中心来跟踪protobuf模式。我们需要
的
是,对于一些事件,我们需要
应用
一些转换,然后将转换输出发布到其他
kafka
主题
。当
浏览 6
提问于2021-03-20
得票数 0
回答已采纳
1
回答
带有本地数据
流
服务器
的
多语言处理器
python
、
apache-kafka
、
spring-cloud-dataflow
、
polyglot
我一直在尝试使用polyglot并构建一个简单
的
python处理器。我遵循了polyglot recipe,但我无法获得要
部署
的
流
。我最初
部署
的
处理器与示例中使用
的
处理器相同,但得到以下
错误
: 请求
的
未知命令行参数:请求
的
spring.cloud.stream.bindings.input.destination未知环境变量: SPRING_CLOUD_STREAM_
KAFKA
_BINDER_BRO
浏览 24
提问于2020-07-17
得票数 1
回答已采纳
2
回答
卡夫卡
流
异常: GroupAuthorizationException
apache-kafka
、
apache-kafka-streams
、
spring-kafka
我正在开发一个
Kafka
流
应用
程序,它将读取来自输入
Kafka
主题
的
消息,并过滤不必要
的
数据并将其推送到输出
Kafka
主题
。Thread.currentThread().getId() + " #####Filtered Document: " + key + ": " + value));} 当我从基于春季
的
Kafka
浏览 0
提问于2019-05-27
得票数 8
4
回答
KStreams +火花
流
+机器学习
apache-spark
、
machine-learning
、
apache-kafka
、
spark-streaming
、
apache-kafka-streams
我正在做一个在数据流上运行机器学习算法
的
POC。Spark Streaming -->聚合多个表中
的
数据-->在数据流上运行MLLib -->产生输出。问题: 火花
流
和卡夫卡
流
有什么区别?我如何才能与KStreams +火花
流
+机器学习结合起来?我
的
想法是持续训练测试数据,而不是批量训练。
浏览 2
提问于2016-12-14
得票数 9
2
回答
如何定期向hadoop提供数据
mysql
、
hadoop
我
的
公司每天产生大约600万条记录,我看到hadoop是处理大量数据
的
一个很好
的
解决方案。我发现了如何从mysql加载数据,但它正在导出完整
的
数据库,有没有办法保持我
的
mysql DB和Hadoop之间
的
数据同步?
浏览 2
提问于2020-03-07
得票数 1
2
回答
Apache Beam over Apache
Kafka
流
处理
apache-kafka
、
apache-beam
、
apache-kafka-streams
、
stream-processing
Apache Beam和Apache
Kafka
在
流
处理方面有什么不同?我也在努力掌握技术和编程上
的
差异。 请通过您
的
经验报告来帮助我理解。
浏览 1
提问于2018-06-15
得票数 10
1
回答
重新
部署
SCDF
流
时,
Kafka
偏移量有何变化?
apache-kafka
、
spring-cloud-dataflow
对于
流
应用
程序,我使用带有
Kafka
0.10.0
的
SCDF on YARN 1.0.2.RELEASE。当我取消
部署
一个
流
,然后重新
部署
它时,似乎有时它会从当前
的
Kafka
主题
偏移量继续,而有时它会从最旧
的
偏移量开始。在哪里配置可以在重新
部署
流
时获得可预测
的
行为(例如,当前偏移量、最新偏移量、最旧偏移量)? 有没有办法期望不同
的</em
浏览 0
提问于2017-05-22
得票数 1
2
回答
为SCDF对流
应用
进行Docker化
spring-cloud-stream
、
spring-cloud-dataflow
但是当我尝试在像"http | myApp | log“这样
的
流
中运行我自己
的
Dockerized stream
应用
时,我似乎无法让它工作……
部署
很好,
流
的
Kafka
主题
是按照预期创建
的
,没有来自任何pod
的
错误
消息,但是myApp处理器似乎不知道
Kafka
主题
,因此永远不会从http源接收数据。我
的
问题是:为SCDF
浏览 2
提问于2017-08-11
得票数 0
2
回答
Kafka
-如何将Rest服务消息转换为
kafka
主题
?
json
、
apache-kafka
、
confluent-platform
、
kafka-rest
我是
kafka
社区
的
新手,我面临着一个具有挑战性
的
问题。我有两个
应用
程序,它们通过Rest webservice相互通信,主体是一个json消息。我如何使用
kafka
作为
这两个
应用
程序之间
的
中间件,而对
应用
程序
的
影响很小或为零? 这是我
的
原样场景: ? 我
的
未来场景: ? 我考虑过使用STM或一些拦截器来转换头部和正文。{ "first n
浏览 35
提问于2019-01-25
得票数 2
回答已采纳
1
回答
将电火花与卡夫卡连接起来
apache-spark
、
pyspark
、
apache-kafka
、
spark-structured-streaming
、
spark-kafka-integration
我很难理解卡夫卡和PySpark之间
的
联系。 AnalysisException:未能找到数据源:
kafka
。请按照“结构化
流
-卡夫卡集成指南”
的
部署
部分
部署</em
浏览 6
提问于2021-12-16
得票数 4
回答已采纳
2
回答
Apache Flink State Store与
Kafka
Streams
apache-kafka
、
apache-flink
、
apache-kafka-streams
、
stream-processing
据我所知,处理
Kafka
流
的
状态在内存、磁盘或
Kafka
主题
中都是本地
的
,因为所有的输入数据都来自一个分区,其中所有的消息都是由一个定义
的
值键控
的
。大多数情况下,计算可以在不知道其他处理器
的
状态
的
情况下完成。如果是这样的话,您有另一个Streams实例来计算结果。如图所示:Flink到底在哪里存储它
的
状态?是否可以将Flink配置为将状态存储在
Kafka
代理中?
浏览 0
提问于2019-02-10
得票数 3
1
回答
如何将星火模式
应用
于星火结构化
流
中基于
Kafka
主题
名
的
查询?
scala
、
apache-spark
、
apache-kafka
、
spark-structured-streaming
我有一个星火结构
的
流
作业,它是基于subscribePattern
的
来自多个
Kafka
主题
的
流
数据,对于每个
Kafka
主题
,我都有一个火花模式。当从
Kafka
流
数据时,我想根据
主题
名称
将Spark模式
应用
于
Kafka
消息。 假设我有两个
主题
:cust & customers。基于subscribePat
浏览 3
提问于2020-04-29
得票数 0
2
回答
用于NRT数据
应用
的
Google
apache-spark
、
apache-kafka
、
google-cloud-platform
、
google-cloud-dataflow
、
bigdata
我正在评估
Kafka
/Spark/HDFS,用于开发NRT (子秒级) java
应用
程序,该
应用
程序接收来自外部网关
的
数据,并将其发布到桌面/移动客户端(使用者),用于各种
主题
。客户端根据数据包(
Kafka
)发布不同
主题
的
数据,并将其传递给流式分析管道(Spark)。桌面/移动用户
应用
程序订阅各种
主题
并接收NRT数据事件(
Kafka
) 消费者还从流式
浏览 2
提问于2016-02-16
得票数 0
1
回答
如何在运行时根据一些值字段创建
Kafka
主题
名称
java
、
apache-kafka-streams
因此所有具有相似字段值
的
records<K,V>都放在Topic_<Field>中。如何使用kstream完成此操作?
浏览 2
提问于2018-05-23
得票数 1
1
回答
如何轻松地将
流
结果保存到远程数据库中?
apache-kafka
、
apache-kafka-connect
我已经检查了合流卡夫卡
流
字数和异常检测
的
例子。在本例中,结果被写入
主题
。相反,如何通过REST或其他任何方法轻松、快速地将结果保存到远程数据库中。汇合平台上有什么结构吗?
浏览 0
提问于2019-03-27
得票数 1
回答已采纳
1
回答
在
流
应用
程序
的
所有实例中使用
主题
的
所有消息
apache-kafka
、
apache-kafka-streams
在
Kafka
Streams
应用
程序中,实例只获取已分配给该实例
的
分区
的
输入
主题
消息。
作为
基于(对于所有实例相同
的
) group.id
的
application.id,这意味着每个实例只看到一个
主题
的
一部分
。当然,这一切都很有意义,我们在高吞吐量数据
主题
中使用了这一点,但我们也希望通过在输入
主题
中添加
主题
范围
的
“控制消息”来控制<
浏览 1
提问于2020-06-26
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
CDC Debezium 介绍
“事件驱动架构”Apache Kafka中的事务
“消息中间件”Apache Kafka中的事务
“Kafka技术”Apache Kafka中的事务
为什么BAT互联网都爱用kafka?看完你就知道了
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券