我在一个独立的集群中使用Drools和Spark。我希望在启动时加载所有工作节点上的知识会话，即在map reduce任务之前。我尝试将Statefull会话从驱动节点传递到从节点，但它不起作用。因此，仅将规则添加到Knowledge Builder中，我的第一个工作就需要大约900毫秒。
浏览 5提问于2016-08-01得票数 0
我注意到，当我使用yarn在spark submit中启动一个作业时，会随机设置驱动程序和执行器节点。是否可以手动设置，以便在收集数据并将其写入文件时，每次都可以在同一节点上写入数据？到目前为止，我尝试使用的参数是：spark.yarn.am.port <driver-ip-address>和spark.driver.hostname <driver-ip-address>
谢谢!
浏览 0提问于2016-12-07得票数 1
我是Spark和HDInsight的新手。我想知道下面的代码是如何工作的？我的意思是如何在集群节点之间调度作业。假设我有2个头节点和4个工作节点，哪些代码将在头节点上运行，哪些代码将在工作节点上运行？ 我如何让Spark知道我想要在工作节点上执行一些代码？&
浏览 30提问于2019-09-24得票数 0
我正在探索火花工作恢复机制，我对此有一个疑问，
如何从驱动节点恢复failurerecovery从执行器节点故障如何处理这些场景?
浏览 3提问于2022-05-02得票数 0
回答已采纳
我已经安装了hadoop on ubuntu on virtual box(host os Windows7).I还安装了Apache spark，在.bashrc中配置了SPARK_HOME，并将HADOOP_CONF_DIR添加到了spark-env.sh中。现在，当我启动spark-shell时，它抛出了错误，并且没有初始化spark context，sql context。我是不是在安装中遗漏了什么，而且我想在集群</
浏览 0提问于2016-07-26得票数 0
1回答
我阅读了集群模式概述(链接：)，我想知道如何将驱动程序、执行器和工作节点等组件映射到Spark生态系统的组件上，如Spark核心、Spark SQL、Spark Streaming、Spark MLlib、Spark GraphX和调度/集群管理器。这些组件中的哪些是用于驱动程序、执行器和工作节点<e
浏览 11提问于2021-11-30得票数 0
2回答
运行整个管道作业的Bash文件：docker exec project_master_1 bin/spark-submit因此，我要做的是创建一个带有初始化操作的dataproc集群，以安装docker：
gs://dataproc-initialization-actions/docker/dock
浏览 0提问于2018-10-19得票数 1
我正在从事一个Scala (2.11) / Spark (1.6.1)流项目，并使用mapWithState()来跟踪以前批次中看到的数据。我曾希望将状态分布在整个集群中，但似乎每个节点都拥有完整的状态，并且始终只执行一个节点的执行。
Locality Level Summary: Node local: 50显示在每个批次的UI中，完整的批次是Shuffle read。然后，我向Kaf
浏览 0提问于2016-03-22得票数 6
在为spark创建了一个包含2个工作节点的集群后，我更改了我的初始化脚本。然后我稍微修改了一下脚本，尝试用另外两个工作节点来更新集群。脚本失败是因为我只是在apt-get install之前忘记了apt-get update，所以dataproc报告错误，并且集群的状态更改为ERROR。当我再次尝试将大小减少到2个节点时，它不再工作，并显示以下消
浏览 2提问于2016-08-06得票数 1
我在Digital Ocean上设置的集群中使用Spark已经有几个星期了，有一个主站和一个从站，但我一直收到相同的错误“初始作业没有接受任何资源；检查你的集群UI以确保工人已经注册并拥有足够的资源”。我不得不问，因为这里或互联网上都没有解决这个问题的答案。./bin/pyspark --master s
浏览 1提问于2015-10-13得票数 0
2回答
Docker群尺度
、、、
我有一个用docker-swarm构建的集群，我们在其中运行apache spark应用程序。在集群中，我有一个管理器节点和3个worker nodes.In这个集群，我们有一个spark的主容器和许多worker容器。我可以使用以下命令扩展工作节点的数量。sudo docker service scale spark_worker=<number of w
浏览 0提问于2018-06-19得票数 2
我是新的使用火花与Hadoop。我已经使用预构建的二进制"spark-1.5.2-bin-hadoop2.6“在4个节点集群上配置了Spark。在我的环境中还有一个Hadoop2.4集群，其中有4个节点。我计划对Hadoop集群中hdfs中的数据使用Hive HQL使用<e
浏览 4提问于2015-11-24得票数 0
回答已采纳
1回答
如何在ec2上运行星型集群？
、、、、
我有一个用scala编写的程序，使用spark，当我用sbt run启动它时，它在本地运行良好~/git-reps/cs262a $ sbt --version我的build.sbt文件：
version := "
浏览 2提问于2013-11-27得票数 1
回答已采纳
Spark提供了一个函数broadcast来指示数据集足够小并且应该被广播。ResolvedHint(df.logicalPlan, HintInfo(broadcast = true)))(df.exprEnc)我知道我可以用以下方法：val b = spark.range(100).as("b")
val df = a.join(broadcast(b)).where($"a.id" === $"
浏览 1提问于2018-02-27得票数 1
回答已采纳
我已经部署了一个带有Apache的3节点AWS ElasticMapReduce集群。在本地机器上，我可以通过SSH访问主节点：
ssh -i <key> hadoop@ec2-xx-xxx-xxx-xxx.compute-1.amazonaws.com一旦进入主节点，我就可以通过pyspark此外(尽管不安全)，我已经将主节点的安全组配置为专门在端口7077上从本地机器的IP地址接受TCP流量。但是，我
浏览 2提问于2016-12-01得票数 10
回答已采纳
那么，要以独立模式启动Spark，我是否应该在启动master和slaves之后在master和slaves中启动worker？
浏览 0提问于2015-11-26得票数 0
其中一个参数是'--jars‘(或其Java API等效项)，其中我提供了要提供给executor和驱动程序类路径的jar文件的逗号分隔列表：
gs://google-storage-bucket/lib每次我提交作业时，都会将相同的JAR文件从Google storage bucket复制到executor节点上每个SparkContext的工作目录中，这需要大约2分钟的时间，然后作业才真正开
浏览 2提问于2018-03-24得票数 1
我是spark和pyspark的新手。如果有人能解释一下SparkContext参数到底是做什么的，我将不胜感激。如何为python应用程序设置spark_context？
浏览 0提问于2014-07-28得票数 17
回答已采纳
我正在尝试使用一个主节点和几个工作节点在集群上调试Spark应用程序。我已经成功地使用Spark独立集群管理器设置了主节点和工作节点。我下载了包含二进制文件的spark文件夹，并使用以下命令设置工作节点和主节点。这些命令是从spark目录执行的。.&#x
浏览 0提问于2015-03-17得票数 21
根据我的理解，火花不需要安装在纱线集群的所有节点上。只需要在触发火花提交脚本的节点(通常是网关节点)上安装火花。按火花编程指南
要使Spark运行时jars可以从纱线侧访问，可以指定spark.yarn.archive或spark.yarn.jars。包含火花运行时jar的库是如何分发到纱线集群中的物理<em
浏览 7提问于2016-11-28得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
