首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >如何访问Spark Web UI?

如何访问Spark Web UI?
EN

Stack Overflow用户
提问于 2016-12-26 00:24:34
回答 3查看 42.1K关注 0票数 6

我在本地运行4个节点的Spark应用程序。当我运行我的应用程序时,它显示我的驱动程序的地址为10.0.2.15:

代码语言:javascript
运行
复制
INFO Utils: Successfully started service 'SparkUI' on port 4040.
INFO SparkUI: Bound SparkUI to 0.0.0.0, and started at http://10.0.2.15:4040

在运行结束时,它显示:

代码语言:javascript
运行
复制
INFO SparkUI: Stopped Spark web UI at http://10.0.2.15:4040
INFO MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint stopped!
INFO MemoryStore: MemoryStore cleared
INFO BlockManager: BlockManager stopped
INFO BlockManagerMaster: BlockManagerMaster stopped
INFO OutputCommitCoordinator$OutputCommitCoordinatorEndpoint: OutputCommitCoordinator stopped!
INFO SparkContext: Successfully stopped SparkContext

我试图通过10.0.2.15:4040访问Spark Web,但该页面无法访问。尝试以下地址也无济于事:

代码语言:javascript
运行
复制
 http://localhost:18080

使用ping 10.0.2.15的结果是:

代码语言:javascript
运行
复制
Send a request 'Ping' 10.0.2.15 with 32 bytes of data

Waiting time exceeded

Waiting time exceeded

Waiting time exceeded

Waiting time exceeded

Ping statistics for 10.0.2.15: Packages: sent = 4, received = 0, lost = 4 (100% loss)

已使用netstat -a检查端口4040的可用性,以验证哪些端口可用。结果如下:

代码语言:javascript
运行
复制
   Active connexion:

    Active       local address        Remote address                      state

    TCP          127.0.0.1:4040      DESKTOP-FF4U.....:0                 Listening

附言:知道我的代码正在成功运行。可能的原因是什么?

EN

回答 3

Stack Overflow用户

发布于 2016-12-26 02:41:54

web ui仅在Spark应用程序运行时可访问。Spark应用程序完成后,UI也完成了。

要查看已经完成且当前正在运行的Spark应用程序的日志,您必须使用Spark History server

票数 3
EN

Stack Overflow用户

发布于 2021-05-21 02:21:55

因此,如果您在scala IDE上运行spark代码,则需要输入以下行。

scala.io.StdIn.readLine()

然后转到网站,输入localhost:4040或localhost:4041。

干杯!

票数 0
EN

Stack Overflow用户

发布于 2022-01-27 13:18:14

在Java中,在关闭SparkContext之前,将

代码语言:javascript
运行
复制
Scanner scanner = new Scanner(System.in); 
scanner.nextLine();

然后关闭SparkContext,如下所示

代码语言:javascript
运行
复制
sparkContext.close();

然后访问http://localhost:4040上的spark UI

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/41322755

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档