如何访问Spark Web UI？
如何访问Spark Web UI？
提问于 2016-12-26 00:24:34
我在本地运行4个节点的Spark应用程序。当我运行我的应用程序时，它显示我的驱动程序的地址为10.0.2.15：
INFO Utils: Successfully started service 'SparkUI' on port 4040.
INFO SparkUI: Bound SparkUI to 0.0.0.0, and started at http://10.0.2.15:4040在运行结束时，它显示：
INFO SparkUI: Stopped Spark web UI at http://10.0.2.15:4040
INFO MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint stopped!
INFO MemoryStore: MemoryStore cleared
INFO BlockManager: BlockManager stopped
INFO BlockManagerMaster: BlockManagerMaster stopped
INFO OutputCommitCoordinator$OutputCommitCoordinatorEndpoint: OutputCommitCoordinator stopped!
INFO SparkContext: Successfully stopped SparkContext我试图通过10.0.2.15:4040访问Spark Web，但该页面无法访问。尝试以下地址也无济于事：
http://localhost:18080使用ping 10.0.2.15的结果是：
Send a request 'Ping' 10.0.2.15 with 32 bytes of data
Waiting time exceeded
Waiting time exceeded
Waiting time exceeded
Waiting time exceeded
Ping statistics for 10.0.2.15: Packages: sent = 4, received = 0, lost = 4 (100% loss)已使用netstat -a检查端口4040的可用性，以验证哪些端口可用。结果如下：
Active connexion:
Active local address Remote address state
TCP 127.0.0.1:4040 DESKTOP-FF4U.....:0 Listening附言:知道我的代码正在成功运行。可能的原因是什么？
回答 3
Stack Overflow用户
发布于 2016-12-26 02:41:54
web ui仅在Spark应用程序运行时可访问。Spark应用程序完成后，UI也完成了。
要查看已经完成且当前正在运行的Spark应用程序的日志，您必须使用Spark History server。
Stack Overflow用户
发布于 2021-05-21 02:21:55
因此，如果您在scala IDE上运行spark代码，则需要输入以下行。
scala.io.StdIn.readLine()
然后转到网站，输入localhost:4040或localhost:4041。
干杯!
Stack Overflow用户
发布于 2022-01-27 13:18:14
在Java中，在关闭SparkContext之前，将
Scanner scanner = new Scanner(System.in);
scanner.nextLine();然后关闭SparkContext，如下所示
sparkContext.close();然后访问http://localhost:4040上的spark UI
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/41322755
复制相关文章
相似问题
腾讯云开发者
