腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
接收器是否将其流内容存储在执行器运行
的
位置?
apache-spark
假设有3个
执行者
(ex1、ex2、ex3)。在一个执行器(Ex1)中,假设接收方正在运行,那么当数据进入该源时会发生什么。它是否将其分解并分发给其他
执行者
?在火花作业中运行了多少个接收器?这取决于输入源
的
数量吗?如果火花是从四
浏览 4
提问于2020-04-24
得票数 0
1
回答
群算子后
的
火花
执行者
理想
scala
、
apache-spark
、
spark-streaming
我们
的
工作是星火流。dfGrouped.flatMapGroups{} 我们分配了8名火种
执行者
在我们
的
数据集中,我们有10个
不同
的
单元,所以我们有10个
不同
的
unitID,所以我们不认为作业处理会以同样
的
方式在所有的
执行者
上分开,但是当我们通过UI查看
执行者
的
性能
浏览 1
提问于2022-07-21
得票数 0
1
回答
两个
不同
的
执行者
java
、
android
、
scheduledexecutorservice
我有
两个
不同
的
执行者
。使用
不同
的
线程池是正确
的
吗?我之所以这样问,是因为我看到我
的
第二个executor通常会同时执行所有调度
的
可运行文件。我也使用shutdownNow。=null) executor2.shutdownNow(); 我可以同时运行
两个
executors吗?
浏览 35
提问于2019-06-27
得票数 0
1
回答
同一
两个
节点类型相同但属性
不同
的
多个关系
neo4j
、
graph-databases
是否可以在相同
的
两个
节点之间创建多个相同类型
的
关系?我正在尝试发现与相同关系类型连接
的
节点中
的
模式。例如,关系PERFORMED_BY可以具有将Person1记录为具有从节点A到节点B
的
转换
的
时间戳
的
执行者
的
属性,并且第二关系PERFORMED_BY可以具有在相同
的
两个
节点之间
的
不同
时间作为
执行者
的
Person
浏览 0
提问于2011-09-30
得票数 3
3
回答
詹金斯:
两个
奴隶对一个奴隶,
两个
遗嘱执行人
jenkins
、
jenkins-slave
我在同一台Windows服务器上创建
两个
从服务器或一个具有
两个
执行程序
的
从服务器之间有什么区别吗?
浏览 5
提问于2016-05-20
得票数 11
回答已采纳
2
回答
Dataproc动态与静态分配中
的
火花作业
apache-spark
、
spark-streaming
、
hadoop-yarn
、
google-cloud-dataproc
我提交了相同
的
两个
配置相同
的
作业:spark.executor.memory=12g5容器为
两个
作业分配了59g内存,71g为第二个作业保留了内存。在火花UI,我看到4个
执行者
和驱动程序在这
浏览 2
提问于2019-03-04
得票数 1
回答已采纳
1
回答
了解AWS Glue详细作业指标
amazon-web-services
、
apache-spark
、
pyspark
、
etl
、
aws-glue
请看附件中CPU负载
的
屏幕截图:驱动程序和执行器。在前6分钟内看起来很好,多个执行器处于活动状态。但是在6分钟之后,图表只显示了
执行者
的
平均值和驱动器线。当我将鼠标放在线上时,没有所有17个执行器
的
使用数据。这是否意味着所有的执行器在6分钟后都处于非活动状态?
执行者
平均值是如何计算
的
?
浏览 12
提问于2019-08-23
得票数 1
1
回答
如何改变火花
的
核心数目?
apache-spark
._这需要大约1小时30分钟
的
时间才能完成,但在此过程中它会产生以下输出其中26674是任务
的
总数,12是完成
的
任务,是数字2中最重要
的
任务,也就是可以并行运行
的
任务数,换句话说,这个应用程序可以使用
的
最大内核数是2,所以我
的
大问题是如何改变这个?。我有一个火花主节点
浏览 1
提问于2016-11-29
得票数 0
1
回答
星火提交只运行一个工作节点。
apache-spark
当我们执行火花提交-
执行者
只运行在单一
的
工作节点。为什么映射转换
不同
时在
两个
工作节点上运行?有什么设置或因素决定了这一点吗?谢谢
浏览 4
提问于2016-03-13
得票数 1
2
回答
用例:几乎相同
的
用例,
不同
的
参与者
uml
、
use-case-diagram
我有一个用例“转移请求”链接到
两个
执行者
(分析员和检查员)。场景/异常/备用流本质上是相同
的
,但是对于每个参与者来说,前置条件和后条件是
不同
的
。请求有
不同
的
状态,最后
的
状态和以前
的
状态根据调用用例
的
参与者
的
不同
而
不同
。 如何有效地解决这个问题?
浏览 0
提问于2015-05-21
得票数 1
回答已采纳
2
回答
EMR忽略火花提交参数(内存/核心/等)
amazon-web-services
、
apache-spark
、
amazon-emr
我正在尝试使用我
的
电子病历集群中
的
所有资源。这只给了我
两个
执行者
在这里 什么都不做,留下火花-默认做他们
的
工作使用AWS关于如何在EMR中配置集群
的
指南 在之后,我推导出以下spark-submit参数:也许我遗漏了一些东西,或者这可能是预期
的
行为,但是当"maximizeAllocation“只跨越集群中
的
两个
执行者
和3个工作人员时
浏览 7
提问于2021-09-22
得票数 5
回答已采纳
2
回答
启动许多小文件
的
缓慢重新分区
scala
、
apache-spark
我正在尝试读取一个文件夹,它由许多小
的
拼花文件组成:600个文件,每个文件500 to。然后将它们repartition到
两个
文件中。spark.read.parquet("folder")这是非常缓慢
的
,从火花UI,我可以看到2个
执行者
正在处理2个任务。我给每个
执行者
10 of
的
内存。
浏览 0
提问于2018-10-02
得票数 0
3
回答
詹金斯-让繁重
的
工作等待一定数量
的
执行者
可用。
jenkins
在一个中,我问如果
两个
执行者
中有
两个
可用,如何只让一个繁重
的
任务运行。这保证了,快速构建总是有一个
执行者
不会被一个沉重
的
。如何保证(至少x% of executors )是可用于快速工作
的
?如x%少于1名遗嘱执行人(例如4名遗嘱
浏览 1
提问于2015-08-11
得票数 2
1
回答
只对
两个
线程使用Executors.newFixedThreadPool?
java
、
multithreading
、
concurrency
、
executorservice
对于特定
的
操作,应用程序创建
两个
线程(执行
不同
的
任务),主线程不等待它。同样,在某些情况下,它也只能是一个线程。如果我将这个移动到Executors.newFixedThreadPool(),会有什么
不同
吗?我知道
执行者
在做线程管理。它将有利于多线程方案。但我想知道,至少当
两个
线程被更改为使用执行器时,这会有什么小
的
区别吗?请帮帮忙。 提前谢谢。
浏览 1
提问于2014-04-11
得票数 0
回答已采纳
2
回答
防止
两个
作业在同一节点上同时运行,但允许在
不同
节点上同时运行。
jenkins
我正在使用Jenkins 1.609,我有一个要求,即1)没有
两个
作业可以在同一个节点上同时执行,但是当在
不同
的
节点上触发时,它们可以同时执行。在所有从节点上配置
的
执行器
的
编号是1。默认Jenkins行为:如果作业A和作业B都是在同一个节点上触发
的
,那么job将处于executor饥饿状态,因为与执行它所需
的
时间相比,build等待
的
时间“太长”。 尝试使用“排除插件”。另外,尝试过使用Throttle并发构建插件,但是Job还是进入了
执行者<
浏览 6
提问于2015-09-28
得票数 1
2
回答
火花执行器RAM和文件大小
apache-spark
、
apache-spark-sql
、
spark-streaming
我正在用WholeTextFiles方法读取8.2GB大小
的
文本文件(文件夹中
的
所有文件)。2个执行程序
的
内存总数为8GB,每个执行程序有4GB。但我
的</em
浏览 0
提问于2017-04-07
得票数 0
1
回答
在粗粒中间簇上通过Kafka接收器
的
火花流
apache-spark
、
spark-streaming
、
mesos
、
mesosphere
我一直在使用kafka接收器在一个以粗粒度模式运行
的
Mesos 0.28集群上对星火流0.28进行原型化。我
的
目标是在所有的三个
执行者
(每个在一个
不同
的
mesos奴隶)与每个
执行者
有一个卡夫卡接收器从一个卡夫卡分区读取。当我启动spark应用程序时,spark.cores.max设置为24,spark.executor.memory设置为8GB,我得到
两个<
浏览 1
提问于2016-04-23
得票数 4
回答已采纳
2
回答
使用RabbitMQ和Server
的
С无关过程
sql-server
、
architecture
、
rabbitmq
我有分布式系统,在那里有接受订单
的
服务。传入
的
订单将同时发送给所有
执行者
,但只有一个
执行者
可以接受这一点。为此,我使用RabbitMQ和SQL server。如何处理案件,当
两个
执行者
试图同时接受命令?当然,我可以在Server中设置事务隔离,但是兔子呢? 我知道,这个问题太宽泛了,但我不知道该如何处理呢?
浏览 0
提问于2019-01-02
得票数 1
回答已采纳
1
回答
火花:执行器丢失故障(添加groupBy作业后)
scala
、
hadoop
、
apache-spark
、
out-of-memory
、
executors
我想在亚恩
的
客户上做火花作业。我有
两个
节点,每个节点都有以下配置。 我得到了“ExecutorLostFailure(遗嘱执行人1丢失)”。 我
的
数据大小是6GB,我正在工作中做
浏览 2
提问于2015-11-11
得票数 5
4
回答
如何设定火种
执行者
的
数量?
java
、
scala
、
cluster-computing
、
apache-spark
、
hadoop-yarn
如何从Java (或Scala)配置具有SparkConfig和SparkContext
的
执行器
的
代码量?我经常看到
两个
执行者
。看起来spark.default.parallelism不起作用,而且是关于
不同
的
东西
的
。 我只需要将执行器
的
数量设置为与集群大小相等,但始终只有
两个
。我知道我
的
集群大小。
浏览 2
提问于2014-10-02
得票数 43
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
UGNX:教你设置两个不同颜色的实体求差
两个不同的视频怎么合成一个完整的视频?
两个表格对比,如何快速找出不同数据!
由法律的“执行者”向“蹂/躏者”的疯狂/蜕/变。“推荐/腾讯”
时代造人,两个女儿两个姓氏,两种截然不同的人生
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券