腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
YARN
申请
的
资源
处于
非
活动
状态
,
其他
作业
会
使用
吗
?
apache-spark
、
hadoop
、
hadoop-yarn
我运行了一个spark任务,在纱线上分配了大量
的
资源
,而且这个任务持续了很长时间。 最后,spark
作业
的
任务只是
活动
的
一个核心和两个核心。我想知道不活跃
的
资源
是不是可以被
其他
spark工作或mr工作
使用
。 或者只完成第一个spark
作业
,
资源
就可以被
其他
作业
使用
。
浏览 12
提问于2021-08-09
得票数 0
回答已采纳
1
回答
如果对星火中
的
大小数据集设置高值
的
-executor,会发生什么情况?
apache-spark
、
hadoop-yarn
我想找出两个问题
的
答案你能帮忙
吗
?
浏览 1
提问于2020-08-26
得票数 0
2
回答
Spark (纱线客户端模式)在
作业
/阶段完成后不释放内存
apache-spark
、
hadoop-yarn
我们一直在通过spark-shell中
的
交互式spark
作业
或在RStudio中运行Sparklyr等方式来观察这种行为。假设我在纱线客户端模式下启动了spark-shell,并执行了一个操作,该操作在
作业
中触发了几个阶段,并消耗了x内核和y内存。此
作业
完成后,相应
的
spark会话仍
处于
活动
状态
,即使该
作业
已完成,分配
的
内核和内存也不会释放。这是正常行为
吗
?在相应
的
spark会话完
浏览 0
提问于2018-09-12
得票数 1
1
回答
如何结束火种
的
提交和国家接受
apache-spark
、
hadoop
、
hadoop-yarn
我正在
使用
apache运行数据清理
作业
:火花提交-类org.apache.griffin.measure.Application -主纱线-部署-客户端-队列默认\-驱动程序-内存_0247
申请
报告(国家:接受) 20/04/08 13:18:34 INFO
yarn
.Client: application_1586344612496_0247
的
申请
报告(
状态
:接受) 20/04_1586344612
浏览 1
提问于2020-04-08
得票数 0
回答已采纳
1
回答
Cloudera -用户
的
动态
资源
池
dynamic
、
resources
、
scheduler
、
cloudera
我在版本为5.8.2
的
Yarn
上运行Cloudera集群。
资源
管理器
的
计划程序正在作为公平计划程序运行。假设我有三个用户通过USER1连接到USER3,并进行以下轮
浏览 0
提问于2017-03-22
得票数 0
5
回答
如何杀死运行中
的
Spark应用程序?
apache-spark
、
hadoop-yarn
、
pyspark
我有一个正在运行
的
Spark应用程序,它占用了我
的
其他
应用程序不会被分配任何
资源
的
所有核心。 有人能和我一起
吗
?
浏览 3
提问于2015-04-10
得票数 132
回答已采纳
1
回答
链链接API Get请求未返回值
chainlink
我正在
使用
下面的jobID和这个节点,但是这个节点没有启动
作业
,我不知道为什么。我检查了该节点是否有链接令牌
的
余额,但它没有,并且我不知道如何向合约节点发送余额。我正在
使用
Kovan Testnet来尝试智能合约。你能告诉我一些我可以尝试
的
东西
吗
?
浏览 13
提问于2021-09-23
得票数 0
1
回答
使用
链链接请求数据,响应不是预期
的
结果
solidity
、
web3
、
chainlink
、
hardhat
我一直在尝试将Chainlink集成到我
的
合同中,设法让随机数
的
东西工作,但API调用对我不起作用。下面是我得到
的
信息: contract ValorantCards is Ownable, ERC1155, VRFConsumerBase, ChainlinkClient { public{} 我从hardhat部署,
使用
以下参数
浏览 24
提问于2021-11-02
得票数 0
回答已采纳
1
回答
samza和Kafka有没有一个简单
的
消费者任务示例?
apache-samza
我正在寻找
的
是创建一个从卡夫卡topic.The任务读取消息
的
samza任务,我没有抛出任何错误,也没有从主题读取任何消息。
Yarn
UI将task显示为accepted.Not,确定我在这里做错了什么。} 这是属性文件 job.factory.class=org.apache.samza.job.
yarn
.YarnJobFactoryjob.name=addresses
浏览 2
提问于2017-03-18
得票数 1
1
回答
使用
Direct Kafka API运行spark流媒体应用所需
的
最佳
资源
是什么?
python
、
pyspark
、
apache-kafka
、
spark-streaming
我
使用
直接
的
Kafka API以1分钟
的
批处理间隔运行我
的
spark流媒体应用程序,并在我
的
应用程序代码中
使用
Pandas和Pyspark。我已经提供了如下参数
的
spark-submit
作业
,--deploy-mode cluster--total-executor-cores4但是我
的
SPARK UI
浏览 14
提问于2017-08-28
得票数 1
1
回答
资源
管理器不会从备用
状态
转换到
活动
状态
。
mapreduce
、
hadoop-yarn
、
hadoop2
、
resourcemanager
一个火花
作业
运行了超过23天,最终导致
资源
管理器崩溃。重新启动
资源
管理器istance (在我们
的
集群中有两个)之后,它们都
处于
备用
状态
。_40101
状态
的
org.apache.hadoop.
yarn
.exceptions.YarnException:应用程序!由于
资源
管理器无法工作,我们无法从纱线中删除“application_1470300000724_40101”。因此,我们在所有节点上杀死了Unix级别上<e
浏览 1
提问于2016-09-07
得票数 0
回答已采纳
1
回答
在EMR上运行python spark
apache-spark
、
pyspark
、
emr
command-runner.jar",ActionOnFailure=CONTINUE,\ 我们正在运行相同
的
这个脚本会运行,但它会一直运行来计算π。
浏览 18
提问于2016-09-21
得票数 0
回答已采纳
3
回答
如果box有一个运行计划,但它
的
启动条件不满足,会发生什么?
autosys
我有一个盒子,它在
其他
盒子上有自己
的
开始时间和开始条件。假设盒子
的
开始时间是5:30,条件是s(a,30)&s(b,22)&s(c) 如果不满足所有条件,5:30会发生什么?即使在5:30之后,当满足条件时,盒子还会触发
吗
?
浏览 1
提问于2014-12-10
得票数 0
1
回答
创建MongoDB索引以强制字段唯一性,但仅与另一个值结合
使用
mongodb
、
spring-data
我正在跟踪集合中
的
一些
作业
。每个
作业
都有一个名称和一个
状态
。我想强制规定对于任何给定
的
名称,只能有一个
状态
为“
活动
”
的
作业
。在
其他
州中可以有多个相同名称
的
作业
,但只有一个
处于
活动
状态
。我
使用
的
是Java和Spring数据。new Index().on("name", Sor
浏览 33
提问于2021-10-29
得票数 0
1
回答
REST中
的
命令建模
rest
、
api-design
我正在寻找一种很好
的
方法来建模更改REST中
资源
状态
的
命令。我已经搜索了互联网,并找到了各种解决方案,我想得到这些利弊
的
反馈。解决办法: 客户端
使用
浏览 0
提问于2019-09-04
得票数 2
1
回答
Flink动态标度
apache-flink
、
flink-streaming
我目前正在研究Flink上
的
可伸缩性。从1.2.0版本开始,引入了动态重标度。我正在寻找一个长时间运行
的
任务,它从Kafka源读取数据。 关于动态重标度
的
问题。要扩展我
的
flink应用程序,例如:添加新
的
任务管理器,必须重新启动
作业
/纱线会话才能
使用
新添加
的
资源
?我认为可以编写
Yarn
客户端来部署新
的
任务管理器并使其与
作业
管理器对话,这在现有的flink纱线客户端应用程序
浏览 1
提问于2017-04-18
得票数 5
回答已采纳
2
回答
hive应用程序显示,即使在从命令行进行删除之后仍在运行。
hive
、
hadoop-yarn
、
apache-tez
我在一个非常大
的
数据集上运行了一个单元查询,它花费了太多
的
时间来进行查询,所以我决定用以下方法杀死这个应用程序:现在,当我从CLI检查时:
yarn
application -list 我试图在命令行中再次杀死它,但是它说应用程序已经完成了。我还签入了
资源<
浏览 1
提问于2019-01-08
得票数 2
回答已采纳
2
回答
当其中
的
作业
处于
非
活动
状态
时,autosys jil命令使机器成功
conditional-statements
、
autosys
我有一个盒子a_box,我在盒子里有一个
作业
a_job。
作业
a_job仅从星期二运行到星期五,而由于
其他
依赖关系,箱式
作业
从星期二运行到星期六。
作业
a_job将在周六变为
非
活动
状态
,而箱式
作业
在周六
处于
运行
状态
。我想使盒子与
非
活动
的
作业
自动成功。我尝试了条件box_success: n(a_job),但是这个命令似乎永远不起作用
浏览 0
提问于2013-10-23
得票数 0
1
回答
如何才能杀死所有
处于
“接受”
状态
的
纱线应用程序?
hadoop
、
hadoop-yarn
如何才能杀死所有
处于
“接受”
状态
的
纱线应用程序。我有超过1K
的
进程
处于
可接受
的
状态
,我如何才能将它们全部杀死。目前,我正在
使用
这个shell脚本来杀死所有接受
的
作业
: for app in `
yarn
application -list | awk '$6 == "ACCEPTED" { print $1 }'`; do
yarn
appli
浏览 4
提问于2016-02-22
得票数 6
回答已采纳
1
回答
如果没有任何
活动
资源
受到更新
的
影响,如何更新CloudFormation模板(通过CLI或API)?
amazon-web-services
、
amazon-cloudformation
如果我有一个现有的CloudFormation堆栈,其中一些
资源
总是
处于
活动
状态
,而另一些
资源
并不总是
处于
活动
状态
(即,具有计算为false
的
条件
的
资源
),并且我试图通过CLI或API更新那些
非
活动
资源
的
模板,而不激活它们(即,它们
的
条件仍然是false),则会得到一个No updates are to be
浏览 10
提问于2022-02-03
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Zzreal的大数据笔记-SparkDay03
YARN 在字节跳动的优化与实践
在Apache Hadoop 中运行深度学习框架
Spark 运行架构以及常用组件
Apache Flink 进阶(六):Flink 作业执行深度解析
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券