我有一台有80个内核的机器。我想在这台机器上以独立模式启动一个Spark服务器，有8个执行器，每个执行器有10个核心。但是，当我尝试在主服务器上启动我的第二个worker时，我得到了一个错误。在documentation中，它清楚地声明“您可以启动一个或多个工作进程，并通过：./sbin/start-slave.sh <
浏览 38提问于2020-01-29得票数 2
回答已采纳
我在星火文档中寻找答案，但找不到答案。我想知道这种(独立的)部署模式以及Mesos/Yarn选项的答案。谢谢你的时间和帮助。
浏览 5提问于2017-06-28得票数 2
回答已采纳
在特定的机器/节点上启动多个火花实例(主或工作人员)有什么好处吗？
最后，请注意，Java并不总是在200 GB以上的RAM中
浏览 4提问于2015-06-22得票数 0
2回答
在阅读了这个之后，我想提出更多的问题：
主节点和驱动节点是否可能是同一台机器？我认为应该有一个规则，说明这两个节点应该是不同的？如果驱动节点失败，谁负责重新启动应用程序？到底会发生什么呢？例如，主节点、集群管理器和工作人员节点将如何参与(如果它们参与
浏览 7提问于2016-01-11得票数 29
回答已采纳
我正在使用Spark1.3.1的独立模式(不涉及纱线/HDFS-只涉及火花)在一个集群3台机器。我有一个专门的主节点(没有工作人员在上面运行)和两个独立的工作节点。集群健康启动，我只是尝试通过火花-shell (CLI -这是我在主计算机上启动的)运行一些简单的示例来测试我的
浏览 3提问于2015-06-05得票数 5
回答已采纳
6回答
Apache最近将版本更新为0.8.1，其中提供了yarn-client模式。我的问题是，纱线-客户模式到底意味着什么？文件中说：
“本地启动”是什
浏览 5提问于2013-12-27得票数 53
回答已采纳
2回答
我正在尝试设置一个独立的Spark2.0服务器，以并行处理分析功能。要做到这一点，我希望有一个具有多个执行者的单个工作人员。我在用：
我的配置如下：
conf\spark-d
浏览 6提问于2016-10-11得票数 8
回答已采纳
Spark不会自动将JAR文件(包含火花应用程序)从主程序发送到从服务器，这是正常的吗？在早期版本中(并在Amazon服务上使用)，它起了作用！该功能是在1.2.2版本之后更改的，还是由没有公共dns地址的集群引起的？还是这个“自动复制jar”函数只在AWS集群中工作？.class prototype.Test --master spark://192.168.178.1
浏览 5提问于2015-12-02得票数 2
回答已采纳
我运行星火在高性能HPC环境下，在slurm上使用火花独立模式火花版本1.6.1。问题是我的slurm节点没有在火花独立模式中完全使用。我正在使用火花提交在我的slurm脚本。有16个核心在一个节点上可用，我得到了每个执行器的所有16个核心，就像我在SPARK上</e
浏览 2提问于2017-04-27得票数 3
我有一个Spark独立集群(不是Spark/Mesos)和一个正在运行的驱动程序应用程序(在客户端模式下)，它与集群对话以执行其任务。但是，如果我关闭并重新启动星火主和工作人员，则驱动程序不会重新连接到主服务器并继续其工作。
也许我对火花大师和司机之间的关系感到困惑。在这种情况下，主人是否负责重新连接到司机？如果是，主服务器是否将其当前状态序列化到可以在
浏览 5提问于2016-10-13得票数 7
回答已采纳
我有点搞不懂如何使用Spark作为资源管理器来设置工作负载的Spark配置。我现在有一个小的集群，它有一个主节点和两个核心节点。我是否应该为任何东西指定主节点，特别是在星火配置中？
浏览 3提问于2018-05-14得票数 0
回答已采纳
我使用的是星火+独立集群管理器。我有5个工作节点，每个工作节点有2个核心和14 GB的RAM。用例1
此时，Spark在每个工作节点上启动</e
浏览 1提问于2017-05-17得票数 2
回答已采纳
1回答
我在Jboss 7上有一个主节点和两个从节点，所有三个节点都在运行，并且在此过程中。
-If主节点突然下降，从节点仍能独立运行并正常工作吗？在这种情况下单独运行从节点的缺点是什么？这是可能的吗？-If (主从节点之一)在主节点停机时，从节点可以独立地
浏览 6提问于2022-02-22得票数 0
1回答
我已经启动了多个Postgres服务器，在主/从流复制模式下运行。
我想知道所建议的将通信量路由到主节点和向从节点发送读通信量的方法。
浏览 0提问于2014-03-27得票数 1
对于openshift来说，我有点困惑，我们是否可以在主节点或下节点上运行用户荚。我们有两个工作节点，一个主节点和下节点，每个节点构成4个节点。更改的原因是在所有4个节点之间而不是在两个计算节点之间共享负载。
通过阅读一些文档，似乎可以为一个节点分配两个角色
浏览 5提问于2020-10-16得票数 1
回答已采纳
我们使用的是Jboss 7 App Server，我们尝试在一个机器和其他机器上运行多个服务器节点*基本上是2个机器，每个机器上运行2个Jboss服务器节点)。我的问题是在独立模式下的单个机器上有多个Jboss服务器节点。我是否必须复制两次带有端口偏移量的服务器文件夹？
或者，可以只通过端口偏
浏览 2提问于2018-01-06得票数 0
1回答
我试图在独立模式下为高可用性设置多主火花。所有6名员工都出现在主用户界面上，在哪里作为火花主2没有列出任何员工？我也需要启动2师父的工人吗？或者，如果主1出现故障，ZooKeeper会将这些工作切换到主控2吗？
还有一件事是，我在相同的节点上</e
浏览 7提问于2016-10-08得票数 2
回答已采纳
1回答
火花流和高可用性
、、
我正在构建运行在多个流上的Apache应用程序。我不明白的是：
1)流接收器是否位于多个工作节点上，还是驱动程序机器？2)如果接收数据的节点之一失败(关闭/重新启动)，会发生什么？
浏览 3提问于2016-09-15得票数 3
回答已采纳
openGauss是一个开放源码的关系数据库管理系统，它深入地集成了华为在数据库领域的多年经验。结合企业场景的需求，它在企业架构中支持哪些部署形式？
单节点安装可用于个人学习吗？
浏览 6提问于2022-07-31得票数 -1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
