在spark集群中配置主节点

文章/答案/技术大牛

发布

1回答

如何在多节点Hadoop集群上建立星点？

hadoop、apache-spark、hdfs

我想在多节点集群上安装Hadoop和Spark。我怀疑我是否也要在奴隶中配置火花？

浏览 0提问于2017-05-19得票数 1

回答已采纳

1回答

如何在ec2上运行星型集群？

scala、amazon-web-services、amazon-ec2、sbt、apache-spark

我有一个用scala编写的程序，使用spark，当我用sbt run启动它时，它在本地运行良好 "org.apache.spark" %% "spark-core&qu

浏览 2提问于2013-11-27得票数 1

回答已采纳

1回答

如何在Datastax企业集群中选择火花主服务器？

apache-spark、datastax

如何在Datastax企业集群中选择火花主服务器？我看过/etc/dse/dse-env.sh、/etc/dse/spark/spark-defaults.conf和/etc/dse/spark/spark-env.sh中的配置。在我们的集群中，星火主节点

浏览 0提问于2015-04-10得票数 1

回答已采纳

1回答

MasterNode是如何融入星盘集群的？

apache-spark、hadoop-yarn、amazon-emr

我有点搞不懂如何使用Spark作为资源管理器来设置工作负载的Spark配置。我现在有一个小的集群，它有一个主节点和两个核心节点。我是否应该为任何东西指定主节点，特别是在星火配置中？

浏览 3提问于2018-05-14得票数 0

回答已采纳

1回答

如何将星火配置设置为使用AWS上的任务节点？

amazon-web-services、apache-spark、cluster-computing、amazon-emr

我不是火花配置专家，我对任务节点有一个问题。我在AWS中的集群有一个主节点、三个核心节点和五个任务节点。我只能在主节点和3个核心节点上看到加载，而Task节点什么也不做。实例：我的配置： .set("

浏览 5提问于2020-06-08得票数 0

1回答

apache-spark

我已经在独立模式下创建了一个包含4个worker的spark集群，在成功配置worker属性之后，我想知道如何配置master属性。我正在编写一个应用程序，并使用SparkSession.builder将其连接到集群(我不想使用spark- submit提交它)。我知道工作进程可以在conf/spark-env.sh文件中配置，并且具有可以设置的参数，例如'<e

浏览 10提问于2017-07-26得票数 1

回答已采纳

3回答

设置--master选项时，Apache Spark -“初始作业未接受任何资源源”

apache-spark、pyspark

我在Digital Ocean上设置的集群中使用Spark已经有几个星期了，有一个主站和一个从站，但我一直收到相同的错误“初始作业没有接受任何资源；检查你的集群UI以确保工人已经注册并拥有足够的资源”。因此，我在我的计算机上尝试，同时也在master上尝试这个命令：并且shell可以正确启动，但是如果我用

浏览 1提问于2015-10-13得票数 0

1回答

如何在亚马逊EC2上安装spark客户端？

apache-spark、amazon-ec2、amazon-emr

如何在亚马逊EC2上安装spark客户端，其中spark作业将提交到具有集群工作节点的EMR主节点？你能告诉我上面架构中的文档配置spark吗？

浏览 1提问于2018-01-03得票数 0

2回答

星星之火sql正在工作，但似乎没有任何集群管理器，这是可能的？

apache-spark

我有一个hadoop集群，它有4个节点(1主节点，3节点)。我用hdfs中存储的文件创建了一些单元表。然后，我将mysql配置为蜂窝转移，并将hivesite.xml文件复制到星星之火的conf文件夹中。要安装spark，我只需下载并提取主节点中的spark。在星星之火文件夹中复制hive-site.xml之后，我开始使用spark</

浏览 3提问于2016-05-09得票数 0

回答已采纳

1回答

无法在start-all.sh独立模式下启动Spark集群

apache-spark

我是新的火花，我试图安装一个3节点集群独立的火花。我已经完成了从主节点到其他节点的无密码SSH。更新了conf/slves.sh文件中2个节点的主机名。创建星星之火-env.sh文件，并使用主URL更新SPARK_MASTER_IP，并尝试更新火花-defaults.conf文件中的spark.master值。spark:&#

浏览 3提问于2016-02-28得票数 0

1回答

在备用name-node上以kubernetics容器的身份访问spark的UI

apache-spark、kubernetes

我们在k8es集群中将所有spark作业作为kubernetics(k8es)容器启动。我们还在每个作业上创建一个服务，并为spark UI进行端口转发(容器的4040映射到SvcPort，比如31123)。同一组节点还托管一个Yarn集群。已为活动名称节点分配了VIP。当spark容器在活动名称节点上启动时，spark UI和它的所有选项卡都可以使用VIP:SvcPort从任何地方轻松访问。我试

浏览 0提问于2017-10-25得票数 1

1回答

在google cloud dataproc上使用spark管理python依赖项

apache-spark、pyspark、google-cloud-platform、google-cloud-dataproc

"Test App", version="0.1",然后，在我的spark脚本中，我有需要包的代码#!/test.py 主节点可以导入test_package，但在mapreduce的中间，我在</e

浏览 1提问于2017-02-19得票数 1

2回答

在启动主机和从机之后，我应该启动工人吗？

apache-spark、pyspark

那么，要以独立模式启动Spark，我是否应该在启动master和slaves之后在master和slaves中启动worker？

浏览 0提问于2015-11-26得票数 0

2回答

如何利用EMR使从节点为星团簇工作？

amazon-web-services、apache-spark、emr

我试图使用EMR在我的星火集群上运行一个作业。集群有一个主节点和两个从节点，每个节点(主节点或从节点)有32个核心。作业通过控制台使用"Add Step“，配置设置如下： sparkConf.setMaster("local24").set("spark.executor.memory"，"40g") .set(

浏览 4提问于2015-02-11得票数 0

回答已采纳

1回答

本地运行SparkPi时拒绝连接

apache-spark

我启动了主程序和一个工作人员，然后在本地的“集群”上执行了作业，但最终得到了一系列的错误，这些错误都以最初，我尝试在没有配置的情况下运行我的主程序和工作程序，但结果却出现了同样的错误我的conf/spark-conf.sh包含以下内容： expo

浏览 1提问于2014-03-02得票数 8

回答已采纳

1回答

火花容器手动配置

apache-spark、hadoop

我一直试图在Hadoop上运行Spark来运行应用程序，但是一切似乎都很好，并且我已经成功地运行了一个应用程序，但是当O看到Spark的应用程序跟踪UI时，它只向节点显示有一个4节点集群的容器(包括主服务器我无法将每个节点配置为有一个集群。

浏览 0提问于2018-12-01得票数 0

1回答

带火花连接器的MongoDB

mongodb、apache-spark、sharding、in-memory-database

如果我有一个mongodb的副本集，那么主服务器正在接收所有的写/读操作，并将它们写入服务器。辅助服务器正在从操作日志中读取操作并复制它们。现在我想用spark- mongodb -connector来分析mongodb副本集中的数据。我可以在所有三个节点上安装spark集群，并在内存中对其运行分析。我知道spark集群有一个主节点，在那里我必须提交spark作业以进行分

浏览 15提问于2017-01-25得票数 1

1回答

为什么Apache Spark* ML on Dataproc仅在单个节点上训练？*

apache-spark、google-cloud-platform、pyspark、google-cloud-dataproc

我是分布式ML的新手，目前正在做我的个人项目spark = SparkSession.builder.appName('sparkify-train').getOrCreate()

浏览 3提问于2021-03-14得票数 2

1回答

GCP Dataproc:直接使用Spark* over Yarn Cluster*

google-cloud-dataproc

我正在尝试最大限度地减少代码更改，所以我想知道是否有一种方法可以从我的个人PC/VM提交spark-streaming作业，如下所示：谢谢

浏览 1提问于2019-01-22得票数 2

1回答

spark.worker.cleanup不工作，日志不会被删除。

apache-spark、worker

我希望定期清理存储在火花集群(1主+4工作人员)的${SPARK_HOME}/logs中的日志文件。火花日志的默认日志目录应该是${SPARK_HOME}/logs，因为我没有在火花-env中配置SPARK_LOG_DIR，所以所有日志都存储在那里。为了测试它，我在一个worker节点中添加了下面的conf (spark.worker.clea

浏览 4提问于2020-06-03得票数 1

点击加载更多

如何在多节点Hadoop集群上建立星点？

如何在ec2上运行星型集群？

如何在Datastax企业集群中选择火花主服务器？

MasterNode是如何融入星盘集群的？

如何将星火配置设置为使用AWS上的任务节点？