apache spark master ui不工作
Apache Spark是一个开源的大数据处理框架，它提供了高效的数据处理和分析能力。Spark的主要特点是速度快、易用性高和可扩展性强。
Apache Spark Master UI是Spark集群的管理界面，用于监控和管理Spark集群的运行状态。它提供了集群的概览信息、任务的监控和调度、资源的分配和管理等功能。
如果Apache Spark Master UI不工作，可能有以下几个可能的原因和解决方法：
- 网络连接问题：首先要确保Spark Master节点和UI所在的机器之间的网络连接正常。可以尝试通过ping命令或telnet命令检查网络连通性。如果网络连接有问题，需要解决网络故障或配置问题。
- 配置问题：检查Spark Master节点的配置文件，确保配置正确。可以查看spark-env.sh或spark-defaults.conf文件，确认是否有相关的配置项缺失或配置错误。可以参考Spark官方文档进行配置。
- 日志分析：查看Spark Master节点的日志文件，通常位于logs目录下，查找是否有相关的错误或异常信息。根据日志信息进行排查和解决问题。
- 重启服务：尝试重启Spark Master节点和相关的服务，包括Spark Master进程、Spark Worker进程和Spark History Server进程。可以使用启动脚本或命令进行重启。
- 版本兼容性：确保Spark Master UI的版本与Spark集群的版本兼容。如果版本不兼容，可能会导致UI不工作。可以查看Spark官方文档或社区论坛了解版本兼容性信息。
对于Apache Spark Master UI不工作的问题，腾讯云提供了一系列与Spark相关的产品和服务，例如腾讯云的弹性MapReduce（EMR）服务。EMR是一种大数据处理和分析服务，基于开源的Hadoop和Spark生态系统，提供了高性能、高可靠性的大数据处理能力。您可以通过腾讯云EMR服务来搭建和管理Spark集群，并使用EMR的管理界面来监控和管理Spark集群的运行状态。
腾讯云EMR产品介绍链接地址：https://cloud.tencent.com/product/emr
相关·内容
1回答
Jupyter + EMR + Spark -从本地计算机上的Jupyter笔记本连接到EMR群集
python、pyspark、jupyter、emr
我是PySpark和电子病历的新手。
我尝试通过Jupyter notebook访问在EMR集群上运行的Spark，但遇到错误。
我使用以下代码生成SparkSession：
spark = SparkSession.builder \
.master("local[*]")\
.appName("Carbon - SingleWell parallelization on Spark")\
.getOrCreate()
尝试跟随访问远程群集，但出现错误：
spark = SparkSession.builder \
.maste
浏览 4提问于2017-06-28得票数 2
2回答
AWS EMR Spark应用- CPU和内存利用率较低
apache-spark、spark-streaming、emr、amazon-emr
我正在AWS EMR上运行我的Spark Streaming应用程序的两个副本(Spark 2.2.1，EMR 5.11，Scala) (3个节点* m4.4xlarge集群-每个节点16vCPU和64G RAM )。
在内置的EMR集群监控(Ganglia)中，我看到集群的CPU利用率不到30%，可用内存不超过32 30，网络也远未达到100%。但是应用程序几乎不能在批处理间隔内完成批处理。
以下是我使用客户端模式将应用程序的每个副本提交给Master时使用的参数：
--master yarn
--num-executors 2
--executor-cores 20
--executor-
浏览 1提问于2018-01-12得票数 1
2回答
Amazon EMR和Yarn部署模式
amazon-web-services、pyspark、hadoop-yarn、amazon-emr
我正在学习Spark基础知识，为了测试我的Pyspark应用程序，我在AWS上创建了一个使用Spark、Yarn、Hadoop和Oozie的EMR实例。我成功地使用spark-submit从驱动程序节点执行了一个简单的pyspark应用程序。我有使用Yarn Resource Manager的AWS创建的默认/etc/spark/conf/spark-default.conf文件。一切都运行得很好，我还可以监控跟踪URL。但我无法区分spark作业是在“客户端”模式下运行还是在“集群”模式下运行。我该如何确定呢？
摘录自/etc/spark/conf/spark-default.conf
sp
浏览 0提问于2020-01-27得票数 0
2回答
在没有spark UI的AWS EMR中监控spark集群
amazon-web-services、pyspark、emr、apache-spark-2.0
我在AWS EMR上运行spark集群。如何在不使用spark UI的情况下获取在AWS EMR上运行的作业和执行器的所有详细信息。我将使用它来进行监控和优化。
浏览 0提问于2016-12-08得票数 4
1回答
AWS EMR step Vs命令行火花-提交
apache-spark、amazon-emr
在EMR集群的主节点上提交EMR步骤与运行火花提交步骤有什么区别？
EMR step
aws emr add-steps --cluster-id j-2AXXXXXXGAPLF --steps Type=Spark,Name="Spark Program",ActionOnFailure=CONTINUE,Args=[--class,org.apache.spark.examples.SparkPi,/usr/lib/spark/lib/spark-examples.jar,10]
火花提交
spark-submit --master yarn --deploy-mode c
浏览 5提问于2021-11-09得票数 1
回答已采纳
1回答
如何监控AWS EMR集群中托管的spark中的配置单元thrift服务器运行状况？
amazon-web-services、apache-spark、hive、amazon-emr、spark-thriftserver
我们使用JDBC连接到spark EMR集群上的hive thrift服务器。我们遇到了一些暂时性的问题，比如thrift服务器崩溃并需要手动重新启动。
我们想知道是否有任何希望简单的方法让我们监控thrift服务器的健康状况？至少，我们希望在它出现故障时得到警报。如果有其他的服务器健康指标也会很好。
浏览 7提问于2018-12-13得票数 0
2回答
在EMR上运行pyspark脚本
python、apache-spark
目前，我使用EC2s集群使用预配置的./ec2目录自动化了Apache脚本。出于自动化和调度的目的，我想使用Boto EMR模块向集群发送脚本。
我能够引导并在EMR集群上安装Spark。我还可以在EMR上启动一个脚本，方法是使用本地机器的火花放电版本，并像这样设置主程序：
$: MASTER=spark://<insert EMR master node of cluster here> ./bin/pyspark <myscriptname.py>
但是，这需要我在本地运行该脚本，因此我无法充分利用Boto的能力来启动集群2)添加脚本步骤和3)停止集群。我已经找到了
浏览 4提问于2014-04-25得票数 25
1回答
GKE自动驾驶仪集群在UI中不显示任何内容
kubernetes、google-cloud-platform、google-kubernetes-engine、autopilot
我在GKE自动驾驶仪上有一个Kubernetes集群，它以各种方式工作:我可以在云终端中使用kubectl查看所有内容，并且我的应用程序正在按预期成功运行。问题是谷歌云平台上几乎没有UI。尽管能够使用kubectl查看资源，但我还是看不到任何工作负载、入口或容器日志。我刚刚将集群从标准的GKE集群( UI工作的地方)移到自动驾驶的GKE集群，我是不是做错了什么？GKE不应该自动获取资源并在UI中显示它们吗？
根据谷歌的文档“所有GKE自动驾驶仪集群都配置成将度量标准和日志发送到谷歌云的操作套件，而不需要您做任何工作。因此，当您导航到GKE仪表板时，您将看到您的自动
浏览 13提问于2021-11-06得票数 0
回答已采纳
1回答
在EMR机群外运行Spark客户端并与纱线连接
apache-spark、hadoop-yarn、amazon-emr
我有以下情况：
我在一家大公司工作。
我们有一个EMR集群，在纱线上运行Spark/Hadoop堆栈。
我可以SSH到集群的主节点，从那里，我可以创建火花外壳或火花提交作业到星火集群没有任何问题。
但是，我想在我公司的服务器上运行Spark客户端，因为我们所有的代码库都在那里，因此我有能力在该服务器上进行主动开发，因为我可以克隆并推送到位于我公司服务器上的存储库。我不想把所有的公司代码转移到AWS的主节点进行主动开发。
那么，我如何修改星火设置来使用AWS的纱线作为资源管理器呢？
我尝试将星火安装(在/user/lib/spark中)和HADOOP_CONF_DIR (
浏览 4提问于2016-12-06得票数 3
2回答
在AWS EMR中启用Spark
amazon-web-services、apache-spark、amazon-s3、amazon-ec2、amazon-emr
我在EMR集群上提交了一个Spark作业，我希望看到Spark，它提供了关于主节点和工作节点的配置和状态的信息。
配置详细信息：
释放标签 emr-5.17.0
应用程序 SPARK 2.3.1
启动群集后，在群集的“连接摘要”页下，唯一可单击的链接是“启用Web连接”。
选项1:我尝试了“启用Web连接”中提到的步骤，但是没有成功。
选项2:我尝试在Linux 上使用本地端口转发将SSH隧道设置为主节点。我仍然无法打开Sark或界面。
选项3:我尝试使用选项2+为火狐配置Foxy ()，并且仍然尝试通过键入master-public-dns，然后是端口号或URL ()来打开web
浏览 0提问于2019-03-21得票数 1
2回答
如何增加Yarn UI上显示的“内存总量”？
apache-spark、hadoop、pyspark、hadoop-yarn、apache-zeppelin
我在EMR (emr-5.20.0)上有一个集群，其中一个m5.2xlarge作为Node Master，两个m4.large作为核心，三个m4.large作为节点工作节点。这个集群的内存ram总和是62 in，但在YARN UI中显示的总内存是30 in。 有人能帮我理解这个值是如何计算的吗？ 我已经检查了Yarn-site.xml和spark-default.conf中的配置，它们是根据亚马逊网络服务的建议进行配置的：https://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/emr-hadoop-task-config.html#
浏览 41提问于2019-05-22得票数 0
1回答
SparkException java IOException:未能在/tmp/blockmgr中创建本地dir
apache-spark、hadoop、hive、amazon-emr、beeline
我有一个带有星火的AWS电子病历集群。我可以连接到它(火花)：
从SSHing后的主节点到它
来自另一个AWS EMR集群
但无法连接到它：
我的本地机器(macOS Mojave)
来自非电子病历机器，如和
我读过的答案。我已经检查了所有节点上的文件夹权限和磁盘空间是否正常。我的假设是，我正面临着类似的问题，在评论中提出了这样的问题。然而，我没有足够的声誉在那里添加评论。而且，考虑到这是AWS EMR特有的问题，这可能是另一个问题。
连接工作良好后，SSHing到主节点。
# SSHed to master node
$ ssh -i ~/identityf
浏览 0提问于2019-05-07得票数 1
2回答
如何在aws上已运行的EMR群集上安装apache drill
amazon-web-services、amazon-emr、apache-drill
我有一个持久的正在运行的EMR集群。我不想毁了你。
如何在aws上已运行的EMR群集上安装apache drill？
浏览 6提问于2017-08-20得票数 1
2回答
通过记录器的Java Spark应用程序日志未显示在EMR日志中
java、apache-spark、logging、amazon-emr
我有一个在EMR上运行的Spark java应用程序。当我尝试在本地运行spark作业登录到EMR实例时，我从控制台上的EC2应用程序获得了我的Logger信息。
/usr/lib/spark/bin/spark-submit --class com.myproject.MyMainSparkClass --conf 'spark.driver.extraJavaOptions=-Dcong.parameters=somepropertiesparameter' --conf 'spark.executor.extraJavaOptions=-Dcong.paramet
浏览 0提问于2019-05-29得票数 0
5回答
AWS EMR上的Spark
apache-spark、amazon-emr
我正在运行一个AWS EMR集群，通过EMR控制台下拉菜单安装Spark (1.3.1)。Spark是当前的数据，正在处理数据，但我正在试图找出分配给WebUI的哪个端口。我尝试过端口转发4040和8080，没有连接。我是这样转发的
ssh -i ~/KEY.pem -L 8080:localhost:8080 hadoop@EMR_DNS
1)如何找出Spark的指定端口是什么? 2)如何验证星火WebUI正在运行？
浏览 17提问于2015-07-16得票数 15
回答已采纳
1回答
如何通过EMR集群增加spark应用的运行容器数量？
python、apache-spark、pyspark、amazon-emr
我使用的是包含1个master和11个m5.2xlarge核心节点的EMR集群。在对这种类型的节点进行了一些相关计算之后，下面的json在EMR上设置我的spark应用程序配置：
[
{
"Classification": "capacity-scheduler",
"Properties": {
"yarn.scheduler.capacity.resource-calculator":"org.apache.hadoop.yarn.util.resourc
浏览 0提问于2020-02-26得票数 1
2回答
AWS EMR spark-scala作业失败，出现AWS Datapipeline:线程"main“org.apache.spark.SparkException中出现异常
scala、apache-spark、amazon-emr、amazon-data-pipeline
我正在尝试使用Amazon Data-Pipeline在Amazon EMR集群上运行spark scala应用程序。在EMRActivity中添加的步骤如下所示：
command-runner.jar,spark-submit,--deploy-mode,cluster,--class,com.demo.GettingStarted,s3://myBucket/sampleApps/HelloWorld.jar
查看EMR日志后，作业始终失败，并显示以下堆栈跟踪：
线程“主”应用程序中出现异常:org.apache.spark.SparkException
application_15170
浏览 1提问于2018-01-28得票数 1
1回答
无法使用kubernetes pod内的纱线创建spark会话
apache-spark、kubernetes
我有一个安装了spark客户端的kubernetes pod。
bash-4.2# spark-shell --version
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/___/ .__/\_,_/_/ /_/\_\ version 2.1.1.2.6.2.0-205
/_/
Using Scala version 2.11.8, Java HotSpot(TM) 64-Bit Server VM, 1.8.0_
浏览 21提问于2019-10-31得票数 0
1回答
如何为大数据集群分配物理资源？
hadoop、apache-spark、hadoop-yarn、hadoop2、bigdata
我有三台服务器，我想在这些服务器上部署Spark Standalone Cluster或Spark on Yarn Cluster。现在我有一些关于如何为大数据集群分配物理资源的问题。例如，我想知道是否可以在同一节点上部署Spark Master进程和Spark Worker进程。为什么？
服务器详细信息：
CPU Cores: 24
Memory: 128GB
我需要你的帮助。谢谢。
浏览 3提问于2016-10-26得票数 1
2回答
在AWS EMR集群上使用SparkLauncher时缺少SPARK_HOME
amazon-web-services、apache-spark、pyspark、emr、amazon-emr
我使用的是EMR 5.0和Spark 2.0.0。我正在尝试使用org.apache.spark.launcher.SparkLauncher从Scala spark应用程序运行子spark应用程序
我需要使用setSparkHome设置SPARK_HOME：
var handle = new SparkLauncher()
.setAppResource("s3://my-bucket/python_code.py")
.setAppName("PythonAPP")
.setMaster("spark://" + s
浏览 18提问于2016-09-15得票数 10
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频活动推荐
腾讯云开发者
