腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Rest数据摄取到数据湖
、
、
将数据加载到
kafka
主题中,不重复
浏览 0
提问于2018-01-30
得票数 1
1
回答
将保存点添加到
数据流
、
、
、
我有一个
kafka
源,我的flink应用程序从它读取数据并
处理
它,我想添加flink的savepoint机制,以便从它离开的最后一个地方恢复进程,而不是将savepoint添加到
kafka
源,我希望我的应用程序保持最后
处理
的流的状态,这样它就不会重新
处理
由我的应用程序部分
处理
的数据。我已经向
kafka
源文件添加了存储点,以恢复
kafka
流,但我想恢复已
处理
的
数据流
DataStream<String>
浏览 2
提问于2019-01-17
得票数 0
1
回答
如何在spark
中
缓存
数据流
、
、
我想从
kafka
中
读取结构化的流数据作为
数据流
,对于每个数据,我想用许多函数来
处理
它,所以我尝试缓存
数据流
。lines = spark\ .format("
kafka
")\ .option("
kafka
.bootstrap.servers", bootstrapServers
浏览 0
提问于2018-01-11
得票数 0
2
回答
管理Spring
数据流
服务器日志
、
、
我正在使用docker部署spring
数据流
服务器。通过部署两个spring引导应用程序作为源、
处理
器和接收器,我在
数据流
服务器
中
创建了一个数据
处理
管道。我想使用log4j-
kafka
附录将这些日志推送给
kafka
,以便以后进行分析。我已经为
在
之外运行的其他服务这样做了。是否有一种方法可以使用log4j管理
在
春季云
数据流
中
运行的服务日志?
浏览 2
提问于2017-05-18
得票数 0
回答已采纳
1
回答
Kafka
重新分区(用于基于键的组)
、
、
当我们
在
基于某个键的流上应用group函数时,
kafka
如何计算这个值,因为
在
不同的分区
中
可能存在相同的键?我看到了()函数,它基本上对数据进行了重新划分,但我不明白这意味着什么。它会将所有具有相同键的消息移动到一个分区
中
吗?另外,我们可以通过()方法调用多久一次?如果有要求,我们能在收到每条消息后打电话给它吗?请建议一下。谢谢
浏览 1
提问于2020-05-18
得票数 1
回答已采纳
1
回答
用于批量使用的spring云
数据流
只需要跳过吗?
、
、
我想了解一下spring云
数据流
的体系结构。特别是使用它来编排纯粹的批
处理
管道。我已经
在
k8s中部署了所有组件,并且注意到我可以
在
没有中间件(
Kafka
/ RabbitMQ)的情况下部署skipper组件,并通过服务器组件成功地运行批
处理
作业。当纯粹用于批
处理
作业或任务时,skipper (以及随后的
Kafka
/RabbitMQ中间件)是否是春季云
数据流
的必要部分?
浏览 0
提问于2020-04-23
得票数 0
回答已采纳
1
回答
带有弹簧引导网络流的反应性
kafka
流示例
、
、
我正在尝试构建一个Spring应用程序,它使用来自一个
Kafka
主题的事件,对其进行一些
处理
(可能涉及对反应性db查找的操作),并将它们发送到另一个
kafka
主题。目前,该应用程序为
kafka
使用了webflux和spring云
数据流
。这里的
处理
器示例
浏览 7
提问于2022-12-02
得票数 0
2
回答
暂停流消耗
、
、
我们的团队已经决定使用
Kafka
,我认为它不适合用例,因为
Kafka
最适合流数据。相反,我们本来也可以更好地使用传统的消息模型。虽然
Kafka
确实为每个分区提供了排序,但在传统消息系统上,如果消息数量较少,数据源也较低,则可以实现同样的功能。这是一个公平的声明吗?我们使用
Kafka
流来
处理
数据,而
处理
要求我们对外部系统进行查找。如果外部系统不可用,则当外部查找系统可用时,我们停止
处理
并自动向目标系统传递消息。目前,我们停止
处理
,
在
<e
浏览 10
提问于2016-08-11
得票数 1
回答已采纳
1
回答
Apache
处理
流水线-应用状态、错误
处理
和容错?
、
、
、
我正在开发我的第一个Apache波束管道,以
处理
AWS Kinesis
中
的
数据流
。我熟悉
Kafka
的概念,了解它如何
处理
消费者的偏移量/状态,并具有实现apache / experience
处理
的经验。但是,想知道
在
apache w.r.t
中
如何
处理
以下区域的引用实现或指针。KinesisIO - 如何在Kinesis
中
唯一地标识消费者应用程序(类似于
Kafka
中</em
浏览 3
提问于2020-08-21
得票数 0
2
回答
在
kafka
中
处理
数据流
我正在尝试设置一个
kafka
消费者来
处理
来自
Kafka
流的数据。我能够设置到流的连接,数据是可见的,但它是特殊字符和ASCII的混合。我正在使用内置的
kafka
控制台,但也尝试了python版本的confluent-
kafka
。唯一需要遵循的参数是将SASL_PLAINTEXT安全协议与SCRAM-SHA-256一起使用。
Kafka
控制台 bin/
kafka
-console-consumer.sh --bootstrap-server server:9092
浏览 37
提问于2019-04-08
得票数 0
1
回答
GCP
数据流
中
的流数据
处理
支持哪些数据源?
、
、
、
在
阅读了很多关于
数据流
的内容后,我发现只有PubSub和bigquery是GCP
数据流
中支持流数据
处理
的数据源。 还支持哪些其他数据源?我是否可以使用
数据流
完成所有的流任务,这些任务可以使用其他ETL工具,如Spark或
Kafka
?
浏览 26
提问于2020-07-01
得票数 0
1
回答
哪些运行器支持apache
中
的kafkaIO?
、
、
、
我的任务是从
kafka
主题中提取数据,并在
数据流
中进行
处理
。
数据流
是否支持kafkaIO? KafkaIO支持哪些runners?
浏览 0
提问于2020-07-08
得票数 2
2
回答
可以从Google Dataflow向
Kafka
推送消息吗?
、
有没有办法将
Kafka
连接成Google
数据流
中
的接收器?我知道我们可以
在
发布/订阅和
Kafka
中使用CloudPubSubConnector,但我不想在
数据流
和
Kafka
之间使用发布/订阅。
浏览 20
提问于2018-03-06
得票数 0
回答已采纳
1
回答
org.apache.
kafka
.common.errors.TimeoutException:超时:获取主题元数据时过期的java.lang.RuntimeException
、
、
我正在使用
数据流
kafka
到bigquery模板。启动
数据流
作业后,它会在队列
中
停留一段时间,然后失败,出现以下错误:
在
应聘工作时,我提供了以下参数:
kafka
主题名引导服务器ip和端口(私有ip)bigquery主题名SA
浏览 3
提问于2020-12-07
得票数 0
2
回答
如何在失败的火花作业后从一开始就使用
kafka
信息
、
我是卡夫卡和火花的新手,想知道如何在电火花工作失败后从卡夫卡恢复过来。
浏览 3
提问于2019-04-04
得票数 0
2
回答
我可以
在
一个
Kafka
集群
中
拥有100个或数千个主题吗?
我有一个
数据流
用例,其中我希望根据每个客户存储库(可能在100,000秒左右)定义主题。每个
数据流
都是一个主题,其中包含定义流的不同阶段的分区(大约10秒左右)。
Kafka
适合这样的场景吗?如果不是,我该如何重塑我的用例来
处理
这样的场景。此外,即使
在
处理
过程
中
,每个客户存储库数据也不能与其他数据混合。
浏览 1
提问于2015-10-05
得票数 29
1
回答
flink
中
的API源代码支持
、
flink是否提供了定期从api轮询并从中创建
数据流
对象以供进一步
处理
的方法? 我们目前将消息推送到
kafka
,并通过
kafka
阅读。有没有办法通过flink直接轮询api?
浏览 17
提问于2019-06-25
得票数 0
1
回答
泉云
数据流
中
的
Kafka
源
、
、
我正在从Spring迁移到Spring
数据流
。当我寻找模块列表时,我意识到有些源没有
在
中
列出--其中之一就是
KAFKA
源代码。 我的问题是为什么
在
春云
数据流
中
从标准源列表
中
删除
KAFKA
源?
浏览 4
提问于2016-07-24
得票数 4
回答已采纳
1
回答
Spark Streaming如何
处理
多个主题
Spark如何在一个
数据流
中
处理
多个
Kafka
主题?2.同时(每个执行者的主题分区)。
浏览 0
提问于2016-07-13
得票数 0
1
回答
如何使用
数据流
并行读取pubsub源文件
、
我是一个非常新的
数据流
,我希望建立管道,将使用pubsub作为源。我曾经
在
流水线上工作过,它以flink为流引擎,
kafka
为源,因为我们可以
在
flink
中
设置并行性,以便从
kafka
读取消息,这样消息
处理
可以并行进行,而不是顺序进行。我想知道
在
pubsub->dataflow
中
是否也可以这样做,或者它只按顺序读取消息。
浏览 2
提问于2019-03-26
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
使用Spark Streaming处理Kafka数据流
大数据流处理:Flume、Kafka和NiFi对比
基于Spark Streaming实时处理Kafka数据流
docker实战入门(6)在docker中安装和使用kafka
数据流中的大数据的发展生态环境与数据处理流程化
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券