我在本地运行4个节点的Spark应用程序。当我运行我的应用程序时,它显示我的驱动程序的地址为10.0.2.15:
INFO Utils: Successfully started service 'SparkUI' on port 4040.
INFO SparkUI: Bound SparkUI to 0.0.0.0, and started at http://10.0.2.15:4040
在运行结束时,它显示:
INFO SparkUI: Stopped Spark web UI at http://10.0.2.15:4040
INFO MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint stopped!
INFO MemoryStore: MemoryStore cleared
INFO BlockManager: BlockManager stopped
INFO BlockManagerMaster: BlockManagerMaster stopped
INFO OutputCommitCoordinator$OutputCommitCoordinatorEndpoint: OutputCommitCoordinator stopped!
INFO SparkContext: Successfully stopped SparkContext
我试图通过10.0.2.15:4040
访问Spark Web,但该页面无法访问。尝试以下地址也无济于事:
http://localhost:18080
使用ping 10.0.2.15
的结果是:
Send a request 'Ping' 10.0.2.15 with 32 bytes of data
Waiting time exceeded
Waiting time exceeded
Waiting time exceeded
Waiting time exceeded
Ping statistics for 10.0.2.15: Packages: sent = 4, received = 0, lost = 4 (100% loss)
已使用netstat -a
检查端口4040的可用性,以验证哪些端口可用。结果如下:
Active connexion:
Active local address Remote address state
TCP 127.0.0.1:4040 DESKTOP-FF4U.....:0 Listening
附言:知道我的代码正在成功运行。可能的原因是什么?
发布于 2016-12-26 02:41:54
web ui仅在Spark应用程序运行时可访问。Spark应用程序完成后,UI也完成了。
要查看已经完成且当前正在运行的Spark应用程序的日志,您必须使用Spark History server。
发布于 2021-05-21 02:21:55
因此,如果您在scala IDE上运行spark代码,则需要输入以下行。
scala.io.StdIn.readLine()
然后转到网站,输入localhost:4040或localhost:4041。
干杯!
发布于 2022-01-27 13:18:14
在Java中,在关闭SparkContext之前,将
Scanner scanner = new Scanner(System.in);
scanner.nextLine();
然后关闭SparkContext,如下所示
sparkContext.close();
然后访问http://localhost:4040上的spark UI
https://stackoverflow.com/questions/41322755
复制相似问题