腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Spark
Streaming
中
的
"Job Duration“
和
"Batch Processing Time”
有
什么
区别?
apache-spark
、
spark-streaming
我
的
应用程序在
Spark
UI
中
的
作业
持续时间
如下:请注意,
批处理
时间
通常比作业
持续时间
长。那么,它们之间
的
区别是
什么
呢?
浏览 0
提问于2016-01-15
得票数 1
2
回答
spark
ui
中
的
持续时间
、
处理
时间
和
批处理
持续时间
有
什么
不同
?
apache-spark
、
spark-ui
如下图所示,
spark
UI
中
的
时长、批量时长
和
处理
时间
有
什么
区别? 谢谢
Spark
UI
Picture
浏览 50
提问于2020-04-28
得票数 0
回答已采纳
1
回答
理解流应用程序
的
Spark
apache-spark
、
spark-streaming
、
spark-ui
我试图理解我
的
星火
UI
中
的
条目意味着
什么
。调用一个操作会导致创建一个作业。我发现很难理解 新StreamingContext(spar
浏览 0
提问于2018-03-21
得票数 1
1
回答
Spark
UI
输出操作
持续时间
与作业
持续时间
:
有
什么
区别?
spark-streaming
在
Spark
UI
页面上,"Output Op Duration“
和
"Job Duration”这一列
有
什么
区别?
浏览 10
提问于2016-08-03
得票数 5
回答已采纳
1
回答
与
Spark
资源使用相关
的
疑虑
apache-spark
、
spark-streaming
、
rdd
我正在执行
Spark
Streaming应用程序,并且正在缓存rdds用于历史回顾,我
的
批处理
持续时间
为1分钟,平均
处理
时间
为14秒,因此执行器不会计算整个
批处理
持续时间
。当我在内存
中
缓存rdd时,执行器也是如此。如果执行者被拖延,我们是否应该认为这种拖延执行者是浪费资源。
浏览 14
提问于2017-06-29
得票数 0
1
回答
火花结构化流媒体应用程序
中
的
死执行者
apache-spark
、
spark-streaming
、
spark-structured-streaming
我
有
一个简单
的
流媒体工作,它从卡夫卡主题中提取数据并将其推送到S3。\ .trigger(processingTime='150 seconds')\触发
时间
是我
的
星火配置在此工作
的
下面。但是当我检查我
的
星星之火时,我看到了很多死去
的
执行者。 这些死去
的
刽子手还在不断增加。每一批150秒,我正在
浏览 8
提问于2020-10-27
得票数 2
回答已采纳
1
回答
kafka max.poll.records不适用于火花流。
apache-spark
、
apache-kafka
、
spark-streaming
、
kafka-consumer-api
我
的
火花流版本是2.0,kafka版本是0.10.0.1,火花流-kafka-0-10_2.11。我使用直接
的
方式获得卡夫卡
的
记录,我现在想限制我在一批
中
获得
的
信息
的
最大数量。星星之火中
的
消费者数量是卡夫卡
中
的
分区数?那么火花流
中
记录
的
最大数量是max.poll.records*consumers?
浏览 1
提问于2018-09-27
得票数 2
1
回答
OSRM: /路由/v1/驱动
中
相同(子)路由
的
-different距离/
持续时间
osrm
我使用OSRM检索数百万短途
的
持续时间
/距离。这应该是正常
的
,直到我发现调用一个单独
的
骑行并不会导致与
批处理
请求相同
的
持续时间
/距离。
持续时间
: 268.3 奇怪
的
是,网上
的
结果是一样
的
,但与我
的
离线结果
不同
。后者可能是由于设置(我根本没有更改),但我不明白为
什么
批处理
和
单个调用是
不
浏览 0
提问于2018-08-03
得票数 0
回答已采纳
1
回答
Spark
Streaming与Kafka实时集成
apache-spark
、
spark-streaming
我集成了
Spark
Streaming Process
和
Kafka来阅读特定
的
主题。创建了
Spark
上下文,轮询
时间
为5秒,运行正常。或者有没有其他更好
的
选择来
处理
这种情况。
浏览 0
提问于2018-05-05
得票数 0
1
回答
在纱线上使用火花流
的
动态分配,而不是缩小执行器
apache-spark
、
spark-streaming
、
apache-spark-2.2
我在yarn集群上使用
spark
-streaming (
spark
version 2.2),并尝试为我
的
应用程序启用动态内核分配。executor
的
数量可以根据需要增加,但是一旦分配了executor,即使流量减少了,它们也不会缩小,也就是说,一旦分配了executor就不会被释放。我在
spark
-submit命令
中
设置
的
配置如下: --conf
spark
.dynamicAllocation.enabled=false \
浏览 19
提问于2018-12-25
得票数 1
回答已采纳
1
回答
为
什么
Spark
UI
中
的
总正常运行
时间
不等于所有作业
持续时间
的
总和
apache-spark
、
spark-ui
我运行
Spark
Job,并尝试更快地调优它。奇怪
的
是,总
的
正常运行
时间
是1.1小时,但我把所有的工作
时间
加起来。只需要25分钟。我很好奇为
什么
Spark
UI
中
的
总正常运行
时间
不等于所有作业
持续时间
的
总和? 但所有作业
持续时间
浏览 4
提问于2020-09-08
得票数 0
1
回答
火花结构流-输入速率
中
的
尖峰减少批
持续时间
apache-spark
、
spark-streaming
、
spark-structured-streaming
我遇到了一些东西,乍一看,星火流新手似乎是违反直觉
的
:这可能不是最精确
的
图片,但我看到了更清晰
的
图案。 接下来,我需要澄清是如何触发小型<em
浏览 1
提问于2019-09-23
得票数 0
3
回答
Spark
Streaming
中
的
窗口?
apache-spark
、
spark-streaming
在
spark
streaming
中
,我们接收
的
DStreams是一批RDDs。那么窗口如何进一步提供帮助呢? 据我所知,它还
批处理
RDDs。如果我错了,请纠正我(
Spark
Streaming
的
新手)。
浏览 4
提问于2015-10-08
得票数 7
回答已采纳
2
回答
Spark
Structured StreamingQueryListener.onQueryProgress不是针对每个微批调用
的
吗?
apache-spark
、
spark-structured-streaming
、
spark-kafka-integration
我正在使用
Spark
3.0.2,我
有
一个流作业,它消耗Kafka
中
的
数据,触发
持续时间
为"1分钟“。我在
Spark
UI
中看到,按照定义,每1分钟就会有一个新作业,但我看到onQueryProgress方法每5到6分钟被调用一次。我认为这个方法应该在每个微批之后直接调用。有没有办法控制这个
持续时间
,使其等于触发
持续时间
?
浏览 8
提问于2021-04-19
得票数 1
2
回答
火花流执行流
apache-spark
、
spark-streaming
我是“星火流”
的
新手,我对同样
的
事情有一些怀疑 我们总是需要一个以上
的
执行人,还是我们可以做好我们
的
工作?我正在使用createDirectStream从卡夫卡提取数据,这是一种减少接收量
的
方法,
批处理
持续时间
为一分钟,因此,我
的
数据被接收一批,然后在其他
批处理
期间
处理
,或者同时
处理
。如果是同时
处理
,那么如何确保我
的
处理
在
批处理</e
浏览 2
提问于2017-06-20
得票数 1
2
回答
星火流mapWithState似乎周期性地重建完全状态
scala
、
apache-spark
、
spark-streaming
整个状态由3GB
处理
,集群
中
的
每个节点都可以
处理
该状态。在每个
批处理
中
,一些数据被添加到一个状态
中
,但直到进程结束时(即15分钟)才会被删除。在遵循应用程序
UI
时,与其他
批处理
相比,每10批
批处理
的
处理
时间
非常高。见图片:黄色字段代表较高
的
处理
时间
。 一个更详细
的
作业视图显
浏览 0
提问于2016-03-16
得票数 16
回答已采纳
5
回答
批处理
文件
中
HH:MM:SS次数
的
算术运算
batch-file
、
cmd
在我
的
一个
批处理
脚本
中
,我需要计算视频文件中间隔
的
持续时间
。首先,要求用户输入开始
和
结束
时间
:set /p EndPosition=End position (HH:MM:SS): 然后,我希望
批处理
脚本在中间计算
持续时间
。我如何从这样
的
%StartPosition%
中
减去%EndP
浏览 5
提问于2017-03-05
得票数 1
回答已采纳
2
回答
Spark
流到配置单元,每个分区有太多小文件
apache-spark
、
hadoop
、
hive
、
apache-kafka
、
spark-streaming
我
有
一个
spark
流作业,
批处理
间隔为2分钟(可配置)。dataset.coalesce(1).write().mode(SaveMode.Append).insertInto(targetEntityName); 现在传入
的
数据并不是那么大,如果我将
批处理
持续
浏览 0
提问于2018-03-20
得票数 2
1
回答
Azure服务总线/服务结构消息未从队列
中
删除
c#
、
azure
、
azureservicebus
、
azure-service-fabric
、
azure-servicebus-queues
它
的
工作方式是侦听服务总线上
的
消息,然后根据消息内容进行
处理
。 目前,计算工作正常,但如果计算
时间
超过一分钟左右,则消息在完成后不会从队列
中
删除。在工作者角色
中
,我们通过增加"AutoRenewTimeout“来解决这个问题。我使用作为引用来设置实际运行计算
的
无状态服务。下面是对无状态服务进行初始化
的
CalculateService.cs
的
摘录。
浏览 3
提问于2016-09-08
得票数 7
回答已采纳
1
回答
使用计时器进行
批处理
操作
micrometer
、
spring-micrometer
我是使用测微计
的
新手,我正在尝试看看是否
有
一种方法可以使用计时器,该计时器还可以在
批处理
场景
中
包含项目数量
的
计数。因为我是使用Java streams
处理
批处理
的
,所以我没有看到一种明显
的
方法来记录
处理
的
每个项目的计时器,所以我在寻找一种方法来设置
批处理
大小属性。我认为一种可行
的
方法是使用
的
FunctionTimer,但我认为这需要应用程序维护一
浏览 0
提问于2019-04-19
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Apache NiFi用户指南-数据流的命令和控制
大数据处理框架是怎样的原理
Spark的数据处理模型是什么,它与传统MapReduce有何不同?
Flink与storm的主要区别译文
大数据计算模式:批处理&流处理
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券