在HA设置后，两台Spark Master计算机都显示为待机状态
是因为高可用（High Availability）配置成功。高可用是指在系统出现故障或节点失效时，能够自动切换到备用节点，保证系统的持续可用性和稳定性。
Spark Master是Spark集群中的主节点，负责协调和管理整个集群的资源分配和任务调度。通过HA设置，可以实现Spark Master的高可用性，确保即使主节点发生故障，集群仍然能够正常运行。
在HA设置后，两台Spark Master计算机都显示为待机状态的原因是其中一台计算机被选举为主节点，而另一台计算机则作为备用节点。主节点负责处理所有的请求和任务，而备用节点则处于待机状态，随时准备接管主节点的工作。
这种配置的优势是可以提高系统的可用性和容错性。当主节点发生故障时，备用节点会自动接管主节点的工作，确保集群的正常运行。同时，HA设置还可以实现负载均衡，将请求和任务分配到不同的节点上，提高系统的性能和吞吐量。
HA设置的应用场景包括大规模数据处理、实时流处理、机器学习等需要高可用性和稳定性的场景。例如，在大规模数据处理中，如果主节点发生故障，整个数据处理过程可能会中断，导致任务失败。而通过HA设置，备用节点可以接管主节点的工作，确保数据处理的连续性和准确性。
腾讯云提供了一系列与Spark相关的产品和服务，可以帮助用户实现高可用的Spark集群。其中，腾讯云的弹性MapReduce（EMR）是一种基于Hadoop和Spark的大数据处理平台，支持HA设置和自动故障转移。用户可以通过EMR快速搭建高可用的Spark集群，并进行大规模数据处理和分析。
更多关于腾讯云弹性MapReduce（EMR）的信息和产品介绍，可以访问以下链接： https://cloud.tencent.com/product/emr
相关·内容
1回答
在HA设置后，两台Spark Master计算机都显示为待机状态
apache-spark、apache-zookeeper、high-availability
我们正在尝试使用ZK设置Spark HA设置。我们有2台主机用于Spark进程，另外3台用于Spark Slaves，spark HA的Master Machine中的配置如下在spark-env.sh中完成：
# - SPARK_DAEMON_JAVA_OPTS在下面提到的spark配置文件中添加了curator jar。当我们使用命令sbin/ start -
浏览 18提问于2016-09-07得票数 1
3回答
Spark独立模式多个shell会话(应用程序)
apache-spark
在具有多个工作节点的Spark 1.0.0独立模式下，我尝试从两台不同的计算机(相同的Linux用户)运行一个Spark shell。在文档中，它说“默认情况下，提交到独立模式集群的应用程序将以FIFO (先进先出)的顺序运行，并且每个应用程序将尝试使用所有可用的节点。”每个工作线程的核心数设置为4，其中8个可用(通过SPARK_JAVA_OPTS="-Dspark.cores.max=4")。内存也是有限的，因此
浏览 2提问于2014-06-24得票数 6
1回答
ElasticSearch未分配的碎片
elasticsearch
我在elastic search集群中有2个节点，8个CPU和16 GB RAM。我已经将ES_HEAP_SIZE设置为10 GB。在两台机器上的yml配置文件中，我都设置了index.number_of_replicas: 1
并且两台计算机都允许作为主/数据true.Now问题是节点1的第0个分片在重新启动后未分配。"al
浏览 1提问于2015-05-26得票数 0
1回答
用于HA的2台服务器的最佳解决方案
apache-2.2、windows-server-2008、iis、sql、high-availability
至于IIS和apache，我与DFS有一个域共享设置，这两个web服务器都用于那里的文件，这也是一种可以接受的方法吗？我一直在与数据库做斗争，到目前为止，我已经将它们设置为镜像，并且我可以从一个到另一个失败，这对于SQL来说运行良好，因为我可以在连接字符串中指定一个合作伙伴服务器，但这并不理想，因为它也是每个数据库的，
浏览 0提问于2011-07-28得票数 0
回答已采纳
4回答
SPARK +独立群集:无法从另一台机器启动工作人员
apache-spark
我已经设置了一个星火独立的集群设置。我有两台机器；第一台(ubuntu0)既是主机器又是工人，第二台(ubuntu1)只是一台工人。无密码ssh已经为两台机器进行了正确的配置，并通过在两边手动执行SSH进行了测试。
现在，当我尝试./start-all.ssh时，主计算机(ubuntu0)上的主程序和工作人员都已正确启动。这体现在：(1)WebUI是可访问的(本地主机:8081)和(2)在WebUI上注册/显示的工
浏览 1提问于2014-05-23得票数 3
回答已采纳
2回答
火花工作人员询问密码
ssh、apache-spark
下面是链接：
在我的主计算机(将是主计算机的计算机)中，我已经设置了从文件(它包含工作计算机的ip，即192.168.10.131)，我已经设置了火花-env.sh文件(导出SPARK_MASTER_IP=192.168.2.57和其他一些输出，用于从机的核心和内存，仍然在主计算机上)。我使用ssh-keygen (在我的主计算机上)并使用ssh-copy-id
浏览 3提问于2015-09-03得票数 4
回答已采纳
1回答
应用程序从应用程序列表中消失，但主机始终存在
cloudify
我有一个问题，我的应用程序"zdaas“由cloudify安装，它已经工作了很长一段时间，但今天，我发现应用程序"zdaas”正在从应用程序通信框中消失(附件图片1)，但在主机选项卡中，机器和usm gsa等正常存在(图2)为了解决这个问题，我尝试重新启动管理，但问题始终存在那么，我如何解决这个问题呢？
https: //cloudifys
浏览 1提问于2014-10-19得票数 0
5回答
火花独立群集-从不连接到主
apache-spark
我正在尝试在正式文档之后建立一个独立的星火集群。
我的主人在运行ubuntu的本地vm上，我也有一个工作人员在同一台机器上运行。它是连接的，我能够看到它在主程序的WebUI中的状态。这是当我从另一台机器启动时在工作人员中得到的日志消息。在更新了conf\ also之后，我尝试了从主服务器上使用start-slaves.sh，也从从服务器上使用了start-slave.sh spark://spark:7077。我已经在这两台机器上的
浏览 1提问于2015-07-01得票数 23
1回答
是否建议进行负载平衡或HA设置？
nginx、web-server、load-balancing、high-availability、web-applications
我在另一个ws2服务器(Ws2)和另一个应用服务器(As2)上运行相同的应用程序。但我只有一台反向代理服务器。所以我的设置就像因此，目前我正在这些服务器之间进行负载平衡。80;
proxy_pass http://myapp1; }但是，通过Nginx负载平衡还是让HA设置更好呢？如果我设置了HA，那么web服务器和应用服务器应该是集群的吗？
浏览 0提问于2017-05-11得票数 0
回答已采纳
2回答
如何在独立集群上正确提交spark作业
apache-spark、pyspark
我刚刚在Ubuntu 14上构建了一个spark 2.0单节点集群，正在尝试提交一个pyspark作业：
~/spark/spark-2.0.0$ bin/spark-submit --driver-memory1024m --executor-memory 1024m --executor-cores 1 --master spark://ip-10-180-191-14:7077 examples/src146964151
浏览 20提问于2016-07-28得票数 1
回答已采纳
1回答
为什么从SparkContext应用程序连接到Spark Standalone时会抛出“无法在已停止的Java上调用方法”？
java、apache-spark
我已经下载了为Hadoop2.6和更高版本预先构建的Apache Spark 1.4.1。我有两台Ubuntu 14.04机器。其中一台我设置为Spark主机，只有一台从机，第二台机器运行一台Spark从机。当我执行./sbin/start-all.sh命令时，主设备和从设备都成功启动。之后，我在spark-shell中运行了示例PI程序，将--master spark<
浏览 0提问于2015-11-09得票数 5
回答已采纳
1回答
无论"connect_timeout“如何，Postgresql WalReceiver进程都会等待连接主服务器。
postgresql、kubernetes、tcp
我使用PostgreSQL 10和流复制(cluster-main-cluster-master-service是一个总是路由到主服务器的服务，所有副本都连接到这个服务进行复制)。我尝试过在recovery.conf的primary_conninfo中设置connect_timeout和keepalive，在待机的postgresql.conf中设置wal_receiver_timeout首先，当主服务器关闭时，复制将停止，并显示以下错误(状态
浏览 39提问于2019-10-06得票数 1
回答已采纳
3回答
自动伸缩待机销毁实例
amazon-web-services、amazon-ec2、autoscaling、elastic-load-balancer
需要销毁待机实例。这是怎么做到的。如何在不接收任何请求的情况下终止节点并从待机状态转移。
浏览 43提问于2018-01-24得票数 1
1回答
Spark+Mesos初始作业未接受任何资源；请检查群集UI以确保工作进程已注册并具有足够的资源
apache-spark、cloud、mesos、mesosphere
我在云上有一个主人，有3个主人和10个奴隶。所有从属设备都显示为活动状态，但在Mesos Master UI中分配的资源为0：在主页上，我可以看到10个激活的代理，但其中9个无法访问：我试图在集群上运行的作业永远停留在运行状态Spark需要启动并运行(在每个从服务器上运行start-slve.sh)，还是mesos需要？会出什么问题呢？计算机</em
浏览 3提问于2020-09-02得票数 0
1回答
从服务启动活动-当然(Android)
android、service、android-activity、background、standby
几天来，我一直在尝试从一个服务开始一个活动。这不可能有那么难！我想要的就是：i.setFlags(Intent.FLAG_ACTIVITY_NEW_TASK);2)无论根活动是否在顶部、根活动是否通过后退按钮销毁、根活动是否通过主页按钮暂停，都显示此活动
3)无论设备是否处于待机状态，<em
浏览 2提问于2011-02-28得票数 2
3回答
在Yarn客户端上运行Spark
hadoop、apache-spark、hadoop-yarn
我最近设置了一个多节点Hadoop HA (Namenode & ResourceManager)集群(3个节点)，安装已经完成，所有守护进程都按预期运行2945 JournalNodeYarn设置上运行Spark Jobs很感兴趣。我已经在我的NN1上安装了Scala和Spark，我可以通过发出以下命令来成功启动我的spark现在，我对SPARK一无所知
浏览 2提问于2016-04-04得票数 0
2回答
从另一个分支重新定位，然后在合并另一个分支后合并为master
git、merge、rebase、branching-and-merging
同时，我的团队为一个新的图形特性(称为graphics)从主人那里开发了一个新分支，我也在那里工作(保持另一个分支的待机状态)。分支graphics将在完成和评审后合并为master，但现在我希望将graphics更改也集成到我的分支feature中，后者也将在完成后与master合并。因此，在feature已经被合并之后，我们将不得不将graphics合并为master。
做这件事最好的方法是什么？我能用feature的变化重新定位
浏览 5提问于2016-08-12得票数 1
回答已采纳
1回答
引导Glyphicon在不同的机器上使用不同的颜色
html、css、twitter-bootstrap、glyphicons
我有一列图标图钉，它们在我自己的计算机(Windows7)上显示为，在另一台计算机(Windows10)上显示为。这两家公司都在使用Chrome浏览器查看页面。两台机器上的和是相同的。默认情况下，我应该如何将它们都设置为黑色？
浏览 0提问于2018-06-21得票数 0
1回答
Git LFS -在2台不同的机器上丢失的不同文件的致命错误
git、repository、bitbucket、git-lfs、bfg-repo-cleaner
目前有两台机器:A和B。
在机器B上有一些提交，但没有发送到服务器，因为它们会导致回购超过配额。因此，我运行git r
浏览 6提问于2017-04-07得票数 0
3回答
如何在客户端模式下设置`spark.driver.memory` (版本2.3.1)
python、pyspark、config
我是PySpark的新手，我正尝试在本地计算机上使用pySpark (Ver2.3.1)和朱庇特笔记本。通过这样做，我想将spark.driver.memory设置为9Gb： .master("local[2]") \'),这很奇怪，因为当
浏览 0提问于2018-12-04得票数 10
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
