腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(892)
视频
沙龙
1
回答
关于
多个
spark
streaming
作业
消耗
同一个
群组
id
的
kafka
主题
的
问题
、
、
、
我提交了
多个
spark
streaming
作业
,这些
作业
使用相同
的
group.
id
消耗
同一个
kafka
topic,正如纯
Kafka
文档中所说
的
,拥有相同group.
id
的
多个
消费者将加入
同一个
消费组,并且
kafka
topic中分块
的
记录将被拆分成这些消费者。然而,正如我在
浏览 63
提问于2021-07-30
得票数 0
1
回答
拥有相同groupId
的
多个
星火卡夫卡消费者
、
、
、
我试图让
多个
用户使用相同
的
groupId来处理卡夫卡
主题
的
多个
分区,这将帮助我扩展消息
的
消耗
。将消费者作为
同一个
消费者组
的
一部分意味着提供来自
主题
分区
的
消息分布在组成员之间
的
“竞争消费者”模式。Fundamentally different stream should use different group
id
at org.apache.
spark</
浏览 1
提问于2019-10-14
得票数 2
1
回答
Spark
Streaming
job如何在
Kafka
主题
上发送数据并保存在Elastic中
、
、
、
、
我正在做一个数据分析项目,在这个项目中,我从CSV文件中读取数据,在
Kafka
主题
上遍历该文件,并使用
Spark
Streaming
来使用该
Kafka
主题
数据。我在一个单一
的
项目中使用
的
所有组件。现在,在使用
Spark
Streaming
消费数据后,我必须对其进行一些计算,我必须将数据保存到elastic search中,并且我必须将该数据发送到另一个
主题
。1)我
的
方法很好吗,即在
浏览 0
提问于2019-06-04
得票数 0
1
回答
星星之火卡夫卡结构化流:发布并发更新
的
日志。检测到
多个
流
作业
、
我正在尝试从
kafka
源运行结构化流,并将其退回到
kafka
主题
。每一项工作都有自己独特的卡夫卡
主题
。但他们都写了一个共同的话题。我目前
的
火花违约情况包括:
spark
.scheduler.mode FAIR 当这两个工作都是独立调度时,它们就会按预期工作。但是,当我试图将它们放在一起时,通过一
浏览 0
提问于2018-09-13
得票数 1
1
回答
星星之火1.6
Kafka
流对dataproc py4j错误
的
影响
、
、
方法( org.apache.
spark
.
streaming
.api.java.JavaStreamingContext,类java.util.HashMap,类java.util.HashSet,类py4j.reflection.ReflectionEngine.getMethodLang.Thread.run(Thread.java:745)\n‘,) 我使用
的
是星火流-
kafka
-assembly_2.10-1.6.0.jar(它存在于我所有节点+主节点上
的
/usr/lib
浏览 3
提问于2016-02-26
得票数 4
回答已采纳
1
回答
Spark
streaming
kafka
在google云平台中
的
集成
问题
、
、
、
我们在Google云平台上使用Bitnami
Kafka
0.8.2 +
spark
1.5.2。我们
的
spark
streaming
作业
(消费者)没有接收到发送到特定
主题
的
所有消息。它会收到50条消息中
的
1条(已在
作业
流中添加日志并已标识)。我们在
kafka
日志中没有看到任何错误。无法从
kafka
层进一步调试。控制台使用者显示在控制台中接收到输入
主题
。它没有达到
浏览 1
提问于2015-12-24
得票数 0
1
回答
如何使用结构化流检查点管理HDFS内存
、
、
我有一个长期运行
的
结构化流媒体
作业
,它
消耗
了几个
Kafka
主题
,并在滑动窗口上聚合。我需要了解如何在HDFS中管理/清理检查点。
作业
运行良好,我能够从失败
的
步骤中恢复,而不会丢失数据,但是,我可以看到HDFS利用率每天都在增加。我找不到任何
关于
Spark
如何管理/清理检查点
的
文档。以前,检查点存储在s3上,但由于要读/写大量
的
小文件,这被证明是非常昂贵
的</em
浏览 34
提问于2019-01-07
得票数 2
回答已采纳
1
回答
在卡夫卡星火流
的
情况下,
spark
.
streaming
.
kafka
.maxRatePerPartition和
spark
.
streaming
.backpressure.enabled有什么关系?
、
、
、
、
.save() # SCHEMA正式文件对上述参数
的
解释如下: 启用或禁用火花流
的
内部背压机制(自1.5起)。此速率是由
spark
.
streaming<
浏览 0
提问于2021-09-13
得票数 4
回答已采纳
1
回答
使用
spark
和
spark
streaming
构建服务
、
、
、
我读过一些
关于
spark
streaming
的
文章,我想知道是否有可能使用rabbitmq作为代理从自定义来源流式传输数据,并通过
spark
流提供这些数据,
Spark
的
机器学习和图形处理算法将在这些数据上执行附注:我用python编写代码,我没有任何使用
spark
的
经验,我可以称之为我试图实现
的
微服务吗? 谢谢。
浏览 5
提问于2020-09-02
得票数 0
1
回答
使用组
ID
的
Spark
Streaming
Direct Stream方法
、
我在最新
的
文档页面中阅读了
Spark
Streaming
kafka
集成指南,它是基于
Kafka
010版本
的
。我可以看到其中一个卡夫卡参数是"group.
id
" -> "example" 我认为当我们使用DirectStream方法时,我们不需要将group.
id
作为一个参数传递。我对这个文档感到困惑。group.
id
和
Spark
Streaming
浏览 0
提问于2016-10-13
得票数 1
1
回答
从
Kafka
回放偏移
Spark
结构化流
、
、
、
我正在使用
spark
structured
streaming
(2.2.1)来消费来自
Kafka
(0.10)
的
主题
。val df =
spark
.format("
kafka
") .option("
kafka
.bootstrap.servers", fromKafkaServers然而,即使我从HDFS目录中删除了所有检查点数据并重新提交了jar,<
浏览 1
提问于2018-04-18
得票数 0
2
回答
卡夫卡火花流媒体消费者不会收到任何信息,从卡夫卡控制台生产者?
、
、
、
我试图整合星火和卡夫卡,因为它
消耗
了卡夫卡
的
信息。我也有生产者代码来发送
关于
“临时”
主题
的
信息。另外,我正在使用卡夫卡
的
控制台制作人来制作
关于
“临时”
主题
的
信息。我已经创建了下面的代码来使用来自
同一个
“临时”
主题
的
消息,但是它也不会接收单个消息。;impor
浏览 3
提问于2017-08-31
得票数 1
2
回答
当我们在Apache
Spark
中使用时,找不到Set([TOPICNNAME,0])
的
领导者
、
、
我们使用Apache
Spark
1.5.1和
kafka
_2.10-0.8.2.1以及
Kafka
DirectStream接口来使用
Spark
从
Kafka
获取数据。我们在
Kafka
中使用以下设置创建了
主题
当所有
Kafka
实例都在运行时,
Spark
作业
工作正常。然而,当集群中
的
一个
Kafka
实例宕机时,我们会得到下面重现
的
浏览 3
提问于2015-11-20
得票数 4
1
回答
面向1000+
主题
的
火花流设计
、
、
我正在寻找最好
的
方法来解决这个
问题
。Ex.Input Type 1 Topic -->
Spark
Streaming
--> Output Type 1 Topic Input Type 2 Topic -
浏览 2
提问于2017-06-13
得票数 2
1
回答
Spark
-
Streaming
挂起,
kafka
最早开始偏移(
Kafka
2,
spark
2.4.3)
、
、
、
我对
Spark
-
Streaming
和
Kafka
有意见。在运行示例程序从
Kafka
主题
消费并将微批结果输出到终端时,当我设置选项时,我
的
作业
似乎挂起了: df.option("startingOffsets", "earliest") 从最新
的
偏移量开始工作很好我在想,也许这是一个资源
问题
--我正在尝试从一个有相当多数据
的
主题
中阅读。但是,我似乎没有内存
浏览 21
提问于2019-09-18
得票数 4
回答已采纳
1
回答
Spark
结构每个微批两次流式读取数据。如何避免
、
、
、
我对
spark
structure
streaming
有一个非常奇怪
的
问题
。
Spark
structure
streaming
为每个微批次创建两个
spark
作业
。因此,从
Kafka
读取数据两次。但是使用
spark
创建了两个
作业
,一个只有1个阶段从
Kafka
读取,第二个有3个阶段读取-> shuffle ->写入。因此,第一个
作业
的
结果
浏览 40
提问于2020-04-10
得票数 0
回答已采纳
1
回答
重新启动火花结构化流
作业
消耗
数百万卡夫卡消息和死亡
、
、
、
我们有一个在
Spark
2.3.3上运行
的
星火流应用程序
kafka
_stream =
spark
\ .format("
kafka
()当我们重新启动流数据
作业
使用火花提交,第一批将是太大,将需要很长时间才能完成。我们试过:
spar
浏览 1
提问于2019-04-02
得票数 10
回答已采纳
1
回答
独立
的
Kafka
Spark
Sinks (多名制片人和经纪人)
、
、
、
、
所以我有一个
问题
,卡夫卡辛克斯在星火流,同时发送JSON到
多个
主题
和不可靠的卡夫卡经纪人。下面是代码
的
一些部分:(ssc,Subscribe在我
的
内心深处 kafkaSinkMirror.value.send(kafkaTopicMirrorBroker,对于您提出
浏览 0
提问于2018-06-07
得票数 1
2
回答
spark
流中奇怪
的
延迟
、
、
、
、
我最近一直在使用
spark
streaming
来处理
kafka
中
的
数据。大多数情况下,数据处理在1-5秒内完成。我意外地发现
Kafka
的
request.timemout.ms默认设置为40秒,并将此设置更改为10秒。实际处理时间为1-5秒。我
的
环境如下所示。
Spark
streaming
2.
浏览 2
提问于2017-01-18
得票数 4
2
回答
在阅读多分区
的
kafka
主题
时,星火结构
的
流媒体使用者是如何发起和调用
的
?
、
、
、
如果一个kakfa
主题
在java中有
多个
分区,那么这许多使用者实例/线程将在使用者端实例化。周围
的
任何设计建议/例子都是非常感谢
的
。 你好,夏安
浏览 1
提问于2019-06-10
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Spark Streaming和Kafka集成深入浅出
携程实时计算平台架构与实践
Flume-Kafka-SparkStreaming实战2
Spark Streaming如何读Kafka数据 Hbase如何设计表
Spark Streaming 中管理 Kafka Offsets 的几种方式
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券