腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
3
回答
如何
从
spark
web
UI
中
终止
在
后台
运行
的
apache
SPARK
应用程序
、
、
当我使用
spark
submit提交并
运行
良好时,下面的代码成功地创建了
spark
上下文。当我
从
Apache
spark
web
UI
中
终止
Running Applications下
的
应用程序
时,
应用程序
状态显示为killed,但在
终止
后还会在屏幕上打印Test application:
在
apache
<em
浏览 101
提问于2019-06-20
得票数 2
3
回答
如何
可靠地
终止
使用
spark
-submit提交
的
spark
应用程序
、
、
当
应用程序
运行
时,当我
在
控制台终端上按下ctrl-C组合键时,进程会被
终止
,
spark
master
UI
中
的
应用程序
也会被
终止
。> my.pid$> bash myscript.sh 该
应用程序
已正确提交给
spark
master,我可以将其视为
spark
master
UI</e
浏览 2
提问于2015-11-21
得票数 1
4
回答
使用命令提示符杀死火花作业
从
终端杀死火花作业
的
命令是什么。我不想通过星星之火用户界面扼杀
运行
中
的
火花作业
浏览 5
提问于2017-04-05
得票数 8
回答已采纳
1
回答
如果我让
spark
driver撞车了会怎么样。执行者会很清楚吗?
假设我有一个
在
客户端模式下
运行
的
spark
驱动程序。如果我命令'kill -9 xxx‘,而xxx是驱动程序
的
进程号,会发生什么?是否会收集分配给驱动程序
的
执行器和工作程序。如果这样做了,又是
如何
做到
的
?
浏览 16
提问于2018-08-13
得票数 0
4
回答
火花-
如何
在本地
运行
独立
的
集群
、
是否有可能仅在一台机器上(这与仅在本地开发作业(即local[*]))本地
运行
星火独立集群?到目前为止,我正在
运行
两个不同
的
VM来构建集群,如果我可以
在
同一台机器上
运行
一个独立
的
集群,例如有三个不同
的
JVM在
运行
呢? 像有多个回环地址这样
的
事情能起作用吗?
浏览 2
提问于2015-05-06
得票数 20
回答已采纳
4
回答
你怎样才能杀死CLI
的
星火作业?
这就是我希望能回答我
的
问题
的
线索。但这四个答案都解释了
如何
杀死整个
应用程序
。我可以
在
Spark
中
通过单击相应任务上
的
“杀死”来完成这一任务。我认为,必须能够列出正在
运行
的
作业,并通过CLI直接与它们交互。 实际上,我是
在
Glue端点上使用PySpark编写笔记本。如果我杀死了
应用程序
,那么整个端点就会死掉,我必须创建一个新
的
集群。
浏览 4
提问于2019-10-01
得票数 1
回答已采纳
4
回答
如何
获取
apache
星火作业状态并将其实时传输到前端
web
?
我希望实时获取
Apache
作业状态或
应用程序
状态,并将状态推送到前端
web
进行演示(
web
将向用户显示此状态)。除了通过查看星星之火
的
RESTFUL获取json
中
的
信息之外,我还
如何
做到这一点?
浏览 0
提问于2019-09-12
得票数 0
回答已采纳
2
回答
如何
确保
Spark
主节点正在使用工作节点?(Google集群)
、
、
、
、
我刚刚创建了一个Google Cloud集群(1个master和6个worker),并且默认情况下配置了
Spark
。
如何
确保master正在使用worker,以减少执行时间?
浏览 3
提问于2018-08-09
得票数 0
4
回答
如何
访问
Spark
Web
UI
?
我
在
本地
运行
4个节点
的
Spark
应用程序
。当我
运行
我
的
应用程序
时,它显示我
的
驱动程序
的
地址为10.0.2.15: INFO Utils: Successfully started service 'SparkUI' on port 4040.: Stopped
Spark
web
UI
at http://10.0.2.15
浏览 2
提问于2016-12-26
得票数 6
回答已采纳
1
回答
从
web
应用程序
连接
Spark
代码
、
、
、
可以有人请让我知道
如何
连接到
Spark
应用程序
从
网络
应用程序
。我们所拥有的
Spark
代码都在Scala上,我们希望
从
web
应用程序
中
访问这些代码。如果我们可以提供一个小
的
代码片段,这将是有帮助
的
。
浏览 1
提问于2015-06-12
得票数 0
5
回答
在打开火花弹时发出
如何
修复它。WARN util.Utils: Service 'SparkUI' could not bind on port 4040. Attempting port 4041.
浏览 8
提问于2016-12-06
得票数 10
回答已采纳
8
回答
如何
让
Spark
web
UI
保持活动状态?
在
Spark
submit
的
执行结束后,
Spark
web
UI
将被
终止
。有没有办法让它活着? 我使用
的
是
Spark
1.2.1。
浏览 7
提问于2015-02-23
得票数 20
1
回答
Intellij
中
的
ScalaTest不打印控制台消息。
、
、
我正在
运行
使用ScalaTest
的
火花测试。它们
在
命令行中使用以下命令非常健谈(显然忽略了-Dtest= --所有核心测试都在
运行
中
):17:03:30.289 IN
浏览 0
提问于2014-07-20
得票数 1
回答已采纳
1
回答
Spark
web
UI
不随
应用程序
运行
而更新(
在
Yarn上)
、
我们
的
Spark
web
UI
(当
从
Yarn
UI
或
Spark
History Server访问时)不再更新,当我查看正在
运行
的
Spark
应用程序
(我们
的
应用程序
在
Hadoop/Yarn集群上以客户端模式
运行
似乎当我第一次
在
Spark
web
UI</em
浏览 0
提问于2018-08-19
得票数 2
3
回答
从
Java
中
的
另一个
应用程序
部署
Apache
Spark
应用程序
,最佳实践
、
、
、
、
我是
Spark
的
新用户。我有一个
web
服务,它允许用户通过从数据库读取并将结果推回到数据库来请求服务器执行复杂
的
数据分析。我已经将这些分析转移到了各种
Spark
应用程序
中
。目前我使用
spark
-submit来部署这些
应用程序
。 然而,我很好奇,当我
的
web
服务器(用Java编写)收到用户请求时,什么被认为是启动相应
Spark
应用程序
的
“最佳实践”
浏览 6
提问于2015-03-26
得票数 5
2
回答
如何
将基于TypeSafe激活器
的
应用程序
部署到
Apache
集群?
、
、
我
的
应用程序
使用
Apache
作为
后台
数据处理,并为前端接口使用Play Framework。
在
Scala
应用程序
中使用Play Framework与TypeSafe激活器一起使用它
的
最佳方法。现在,问题是我想要将这个
应用程序
部署到一个星火集群
中
。关于
如何
使用
spark
-submit将SBT
应用程序
部署到集群
中
,有很好
的
文档,但是
如何</
浏览 0
提问于2015-03-17
得票数 1
回答已采纳
1
回答
在
Apache
Spark
中使用
spark
-submit
运行
应用程序
时,给出了警告消息
、
、
、
、
我已经将
Apache
Spark
独立集群配置为两个Ubuntu 14.04虚拟机。其中一个虚拟机(即主虚拟机)和另一个虚拟机(即工作者虚拟机)都使用无密码ssh描述
的
进行连接。之后,我通过
spark
主目录
中
的
以下命令启动了Master和worker -然后,我
从
Master和Woker VM
运行
以下命令。jps6047 jps并进入Wor
浏览 0
提问于2016-02-10
得票数 0
1
回答
如何
在
Apache
Spark
中使用历史服务器
我
在
大学中使用以下代码片段记录了我
在
Apache
Spark
中
的
一个工作。登录到我
的
本地系统,并尝试按照以下命令浏览录制
的
Spark
Web
UI
。sbin/start-history-server.sh ~/Downloads/log/app-20170416171823-0000failed to l
浏览 1
提问于2017-04-17
得票数 0
4
回答
火花提交输出结果
、
、
、
我是火花和scala编程
的
初学者,我试着
在
本地模式下
运行
spark
submit示例,它
运行
完整,没有任何错误或其他消息,但我看不到任何输出结果在领事或星火历史网络用户界面.Where,我
如何
才能看到我
的
程序
的
结果在火花这是我
运行
的
命令
spark
-submit --master local[*] --conf
spark
.history.fs.logDirectory=/
浏览 0
提问于2018-04-26
得票数 1
回答已采纳
1
回答
为什么
从
SparkContext
应用程序
连接到
Spark
Standalone时会抛出“无法
在
已停止
的
Java上调用方法”?
、
我已经下载了为Hadoop2.6和更高版本预先构建
的
Apache
Spark
1.4.1。我有两台Ubuntu 14.04机器。其中一台我设置为
Spark
主机,只有一台
从
机,第二台机器
运行
一台
Spark
从
机。当我执行./sbin/start-all.sh命令时,主设备和
从
设备都成功启动。之后,我
在
spark
-shell
中
运行
了示例PI程序,将-
浏览 0
提问于2015-11-09
得票数 5
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何监控和调试Spark作业,有哪些常用的工具和技术?
【云原生】Spark on k8s 讲解与实战操作
一文读懂Apache Spark
什么是 Apache Spark?大数据分析平台详解
【大数据】yarn proxyserver和historyserver 讲解
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券