腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
spark-submit
流程
在
作业
完成后
不会
自动
终止
apache-spark
、
pyspark
、
spark-submit
我
在
yarn的客户端模式下使用
spark-submit
提交一个pyspark
作业
。,我可以
在
Spark历史以及Yarn中验证这一点。即使
在
Job完成之后,我仍然看到
spark-submit
进程在运行,并且它
不会
终止
。 我希望从调用提交
作业
的调用程序中返回一个
作业
状态(Jenkins使用通过ssh发布插件)。有没有办法确保
spark-submit
进程
在
完成任务后以正确的退出代码<em
浏览 333
提问于2020-10-02
得票数 0
1
回答
完成后
不
终止
流的弹簧批
作业
java
、
spring
、
spring-batch
对于Spring批处理
作业
,我有以下配置:第一个
流程
: .start(stepA).next(stepB) .end(); return new.end() return job; 基于从决策器返回的
浏览 4
提问于2022-06-09
得票数 0
2
回答
Spark on Kubernetes驱动程序pod清理
apache-spark
、
kubernetes
我
在
kubernetes 1.19上运行spark 3.1.1。
作业
完成后
,executor pod将被清理,但driver pod仍处于已完成状态。
完成后
如何清理驱动实例?是否有要设置的配置选项?
浏览 0
提问于2021-04-29
得票数 1
4
回答
让R停止它正在运行的EC2机器
r
、
amazon-ec2
、
amazon-web-services
我有几个工作
流程
,我希望R
在
脚本
完成后
停止Linux机器的运行。我可以想出两种类似的方法来做到这一点: 从根shell脚本(可以以任何用户的身份运行R脚本)运行R,然后
在
R位
完成后
让shell脚本运行这里的用例是运行在AWS上的脚本,在那里,我希望实例
在
脚本
完成后
停止,这样我就
不会
因为运行机器时post
作业
而收费。我使用的用于数据分析的实例是一个EB
浏览 14
提问于2011-09-01
得票数 8
回答已采纳
1
回答
Spark
作业
未显示
在
独立群集GUI上
apache-spark
我正在实验室中运行spark
作业
,并且有一个三节点的独立集群。当我通过CLI
在
主节点上执行新
作业
时,虽然
作业
按预期完成,但它根本
不会
显示
在
集群
spark-submit
sparktest.py --master spark://myip:7077上。
在
作业
执行期间和
完成后
,当我导航到http://mymasternodeip:8080/时,正在运行的
作业</e
浏览 9
提问于2021-08-09
得票数 1
回答已采纳
1
回答
Amazon上次
作业
完成后
终止
集群所需的时间
amazon-web-services
、
apache-spark
、
amazon-s3
、
emr
我启动了一个EMR集群,其规格如下: 星火
作业
是相关的经过几次尝试后,似乎每次火花
作业
大约在1小时零15分钟内
终止
(我可以
在
Spark中看到完成的
作业
,我可以
在
S3中看到很好的输出)。但是EMR集群
在
关闭前挂在20到30分钟之间。为什么EMR集群在上一次
浏览 3
提问于2018-05-18
得票数 0
2
回答
Jenkins -在所有下游
作业
完成后
触发
作业
,而不仅仅是直接的
作业
continuous-integration
、
jenkins
、
jenkins-plugins
Jenkins Join插件允许在所有直接下游
作业
完成后
运行
作业
。 A --+-----------+----+----+-------+--
浏览 1
提问于2012-09-04
得票数 10
2
回答
如何知道屏幕上的
作业
何时完成?
gnu-screen
、
job-control
是否有可能知道
在
屏幕会话中执行的脚本是否完成?可以通过键入jobs来查看脚本,我希望
在
脚本
完成后
终止
screen session。我如何做到这一点,或者
在
脚本成功执行之后让屏幕自行
终止
?如果能
自动
检查屏幕会话中
作业
的状态,并将它们打印到stdout中,并让screen会话在任务
完成后
终止
,那就太好了。
浏览 0
提问于2014-08-31
得票数 0
回答已采纳
1
回答
在
OS X上防止屏幕变暗和显示睡眠
macos
、
cocoa
、
power-management
、
iokit
我想防止屏幕
自动
变暗,只要我的应用程序中的任何文件正在播放,我就会显示睡眠。
浏览 1
提问于2013-04-02
得票数 2
1
回答
完成MapReduce工作后,RunJar仍处于活动状态。
hadoop
、
mapreduce
我
在
hadoop集群上执行了几个mapreduce程序。程序成功地执行并给出了所需的输出。 使用jps命令,我注意到RunJar仍然作为进程运行。我停止了我的集群,但进程id仍然在运行。我知道Hadoop会调用base来执行jar,但是即使
在
作业
完成之后,
流程
已经结束也是正常的吗?如果是的话,在这种情况下,多个Runjar实例将继续运行,我如何确保
在
作业
完成后
,运行jar甚至停止(我不希望
终止
该进程)
浏览 3
提问于2016-02-07
得票数 1
3
回答
如何停止/退出AWS
作业
(PySpark)?
amazon-web-services
、
aws-glue
、
aws-glue-spark
我有一个成功运行的AWS Glue
作业
,它为预测转换数据。is None: job.commit() 这不是
在
AWS中运行的,而是Glue
作业
开始使用Lambda (例如,start_job_run())。
浏览 4
提问于2021-04-09
得票数 6
回答已采纳
1
回答
从S3事件触发AWS EMR火花
作业
java
、
amazon-web-services
、
apache-spark
、
amazon-s3
、
amazon-emr
我正在考虑使用AWS来针对存储
在
S3上的非常大的Parquet文件运行一个Spark应用程序。这里的总体
流程
是一个Java进程将这些大型文件上传到S3,我想
自动
触发在这些文件上运行一个Spark
作业
(注入了上传的文件的S3密钥名)。然而,我的理解(如果我错了,请纠正我)是启动火花工作的唯一方法是: 因此,如果我必须做基于Lambda的技术,我不太确定触发EMR
浏览 7
提问于2020-03-14
得票数 1
回答已采纳
3
回答
Boto:如何在完成/失败后保持EMR
作业
流运行?
python
、
boto
、
amazon-emr
如何使用boto将步骤添加到正在等待的Amazon EMR
作业
流,而
作业
流在
完成后
不会
终止
? 我已经
在
Amazon的Elastic Map Reduce上创建了一个交互式
作业
流,并加载了一些表。当我使用Boto的emr_conn.add_jobflow_steps(...)向
作业
流传递新步骤时,
作业
流在完成或失败后
终止
。我知道可以使用带有keep_alive参数的run_jobflow使用boto启动一个
作业
浏览 6
提问于2011-11-01
得票数 1
回答已采纳
1
回答
Hadoop后挂钩和
作业
完成通知
hadoop
、
mapreduce
、
notifications
我想将Hadoop
作业
输出导入Hive表。如何在地图中实现后挂钩-减少
作业
/
流程
?或者其他
自动
选择? 此外,我会在工作
完成后
发出通知,例如向用户发送电子邮件。
浏览 1
提问于2015-07-21
得票数 2
回答已采纳
1
回答
Codeigniter数据库查询缓存不更新新数据或删除数据
codeigniter
但是当添加或删除时,
不会
更新。
浏览 3
提问于2016-12-13
得票数 1
1
回答
Apache Nifi -通过Apache Livy提交Spark批处理
作业
apache-spark
、
apache-nifi
、
livy
我想从Nifi调度我的spark批处理
作业
。我可以看到有处理器将spark
作业
提交给Livy,但它执行属性中提供的代码或从传入流文件的内容中执行。我应该如何从Nifi调度我的spark批处理
作业
,并在批处理
作业
失败或成功时采取不同的操作?
浏览 1
提问于2018-07-18
得票数 0
2
回答
如何从DataBricks中删除
自动
集群?
azure
、
databricks
、
azure-databricks
我意外地
在
Azure DataBricks上创建了
自动
集群。有办法删除吗?我只想删除其中一个。
浏览 7
提问于2020-08-11
得票数 1
回答已采纳
1
回答
运行平台EC2插件配置实例
amazon-web-services
、
jenkins
、
amazon-ec2
、
continuous-integration
、
rundeck
我安装了: - rundeck-ec2-nodes-plugin - 1.5.5我是否可以使用rundeck将EC2实例配置为节点,然后在其上执行
作业
,当然,
在
作业
完成后
自动
终止
此EC2实例??
浏览 1
提问于2018-01-02
得票数 0
1
回答
Azure Kubernetes群集
自动
分频器-设置用于扩展节点的内存阈值
kubernetes
、
azure-aks
在
我的1节点AKS中,我部署了在任务
完成后
终止
的多个
作业
资源(类别:
作业
)。当太多
作业
正在消耗第一个节点内存时,我启用了群集
自动
分配器来添加第二个节点,但是由于内存不足,
作业
/pod无法创建之后,它就缩小了。
在
我的工作yaml中,我还定义了资源内存限制和请求。是否有可能配置群集
自动
分配器,使其
在
达到某个内存阈值(例如,节点内存的70% )时,而不仅仅是
在
无法部署
浏览 7
提问于2021-03-09
得票数 0
回答已采纳
1
回答
Jenkins-当当前没有
作业
运行时,运行一个批处理文件。
jenkins
我需要在工作
完成后
终止
由maven启动的子进程。我尝试过Dhudson.util.ProcessTree.enabled=true,但它
不会
在
作业
完成后
杀死所有java.exe进程。问题是,
在
Jenkins中执行这个批处理文件之前,我必须确保当前没有
作业
正在进行。是否有办法达到这一要求? 提前谢谢。
浏览 4
提问于2016-03-31
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何在CDH集群上部署Python3运行环境及运行Python作业
每天读一本:Spark快速大数据分析
Python中的while循环
【云原生】Spark on k8s 讲解与实战操作
企业如何建设一个智能仓储
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券