腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(5504)
视频
沙龙
1
回答
Spark
作业
未
显示
在
独立
群集
GUI
上
apache-spark
我正在实验室中运行
spark
作业
,并且有一个三节点的
独立
集群。当我通过CLI
在
主节点
上
执行新
作业
时,虽然
作业
按预期完成,但它根本不会
显示
在
集群
spark
-submit sparktest.py --master
spark
://myip:7077
上
。
在
作业
执行期间和完成后,当我导航到http://mymas
浏览 9
提问于2021-08-09
得票数 1
回答已采纳
1
回答
Spark
独立
集群行为查询
apache-spark
我们有两台安装了20核linux的unix机器,each.We需要设置一个
独立
的集群和
spark
调度器。目前我们暂时不能使用cloudera/Hortonwork。我的问题是关于
Spark
Scheduler。 如果我创建一台unix机器同时作为Master和Slave,另一台机器作为slave节点,那么有多少内核可供我运行
spark
代码。是40还是更少?我可以
在
群集
模式下在此
群集
上
运行多个
作业
吗?
浏览 0
提问于2016-07-27
得票数 0
1
回答
在
收集连接两个DataFrame的结果时,毫无例外地触发
作业
挂起
eclipse
、
scala
、
apache-spark
、
cassandra
我可以得到正确的结果,火花工作可以正常完成
在
我的电脑月蚀。但是当我提交到server (本地模式)时,
作业
就会挂起,没有任何异常或错误消息,直到我按Ctrl+C停止它,一个小时后才能完成。我不知道为什么工作不能工作
在
火花服务器,有什么区别的eclipse和火花服务器。如果原因是OutofMemory问题,那么是否有可能火花没有抛出任何异常而只是挂起?提交命令 /usr/bin/
spark
-submit --class com.test.c2c --jars file:&
浏览 3
提问于2016-12-12
得票数 1
回答已采纳
1
回答
从ResourceManager图形用户界面访问终止的
Spark
作业
日志
hadoop
、
apache-spark
我
在
YARN
上
运行
Spark
应用程序,当我使用以下命令终止
作业
时:我无法从Hadoop
GUI
(ResourceManager)转到killed应用程序的
Spark
Job
GUI
。当我直接打开
Spark
历史服务器,并尝试
显示
不完整的应用程序日志时,它可以工作。当
作业
完成(
未
终止)时,日志可以
浏览 0
提问于2015-10-02
得票数 2
2
回答
火花在
独立
集群模式下运行所需的最小硬件缺陷是什么?
apache-spark
英特尔核心i5内存:4GB。我正试图
在
星火
独立
集群.This
上
运行eclipse
上
的
spark
程序,这是我的代码的一部分。String logFile = "/Users/BigDinosaur/Downloads/
spark
-2.0.1-bin-hadoop2.7 2/README.
浏览 2
提问于2016-11-10
得票数 1
1
回答
Spark
驱动程序未分配任何工作进程
apache-spark
、
sparkcore
我正在使用
spark
version 2.4.7-bin-hadoop.2.7java 8 具有1个主节点和2个工作节点的
spark
群集
正在作为
独立
群集
spark
配置运行
spark
.master
spark
.driver.memory 500M 主启动脚本为${
SPARK
_HOME}/sbin/start-master.sh 从启动脚本为${
SPARK<
浏览 31
提问于2021-04-17
得票数 0
2
回答
在
独立
模式下运行
spark
集群与Yarn/Mesos
hadoop
、
apache-spark
、
hadoop-yarn
、
mesos
目前,我以
独立
模式运行我的
spark
集群。我正在从平面文件或Cassandra(取决于
作业
)读取数据,并将处理后的数据写回Cassandra本身。
浏览 2
提问于2016-04-01
得票数 4
1
回答
库伯奈斯
独立
的火花:火花壳工作的奴隶,而不是主人:最初的工作没有接受任何资源;
apache-spark
、
kubernetes
我正在一个裸金属Kubernetes集群
上
测试
Spark
2.3.1(
独立
的)。我有一个带有两个虚拟机的集群,它们都有8GB的内存和2个核心。我已经部署了一个包含一个主节点和两个从节点的集群。cat /opt/
spark
/logs/
spark
-logs 37421
sp
浏览 2
提问于2018-08-29
得票数 0
回答已采纳
1
回答
是什么控制了一个应用程序拥有多少星团?
resources
、
apache-spark
在
另一个类似的注意事项
上
,是否有办法改变每个
作业
或任务级别上所要求的内存?
浏览 3
提问于2015-01-14
得票数 10
回答已采纳
3
回答
仅允许
在
spark
集群
上
执行一个驱动程序
apache-spark
、
cluster-computing
我们有一个包含8个节点的
spark
集群。每小时向
群集
提交一个
spark
作业
。如果
spark
作业
已经
在
集群
上
运行,我如何配置集群或编写一些不允许
在
集群
上
提交
spark
作业
的代码?
浏览 2
提问于2017-06-13
得票数 0
1
回答
如何从IntelliJ IDEA向远程星火库集群提交代码
intellij-idea
、
apache-spark
我有两个集群,一个
在
本地虚拟机中,另一个
在
远程云中。这两个集群都处于
独立
模式。:火花://现场1:7077
在
本地(我的笔记本
上
)
在
IntelliJ IDEA中编写代码(只是简单的字数),并将
Spark
设置为
spark
://local1:7077和
spark
://remote1
浏览 2
提问于2015-11-09
得票数 7
1
回答
查看通过Azure ADF执行的
作业
的
Spark
UI
permissions
、
azure-data-factory
、
azure-databricks
、
spark-ui
我无法查看通过Azure数据工厂中的notebook活动执行的databricks
作业
的
spark
-ui。
浏览 5
提问于2021-11-10
得票数 0
1
回答
在
群集
模式
SPARK
中写入本地文件系统
apache-spark
、
permissions
、
hadoop-yarn
、
cluster-mode
对于
spark
作业
,我们尝试添加一个
在
本地文件系统
上
创建自定义日志文件的日志记录框架。
在
客户端模式下,一切都很好,文件由启动
spark
-submit的用户
在
本地文件系统
上
创建。但是,
在
群集
模式下,本地文件是使用没有写入本地目录权限的用户yarn创建的…… 有没有什么解决方案可以让提交
作业
的用户
在
集群模式下写入本地文件,而无需将权限更改为777 everywhere?在这种情况下(我
浏览 12
提问于2020-07-02
得票数 0
1
回答
群集
上
的
Spark
作业
比
独立
群集
上
的慢
scala
、
amazon-web-services
、
apache-spark
、
rdd
我有这段代码,它在
独立
环境下运行良好,但在AWS的4个从机(8核30 to内存)集群上工作时运行缓慢。tabHash2 = sc.broadcast(tabHash(nbseg,dim))我知道这不是bary函数,因为我尝试了不带hashmin3的代码的另一个版本,它在4个从机上运行得很好,
在
8
浏览 1
提问于2015-07-22
得票数 0
1
回答
pyspark客户端没有从码头中的星火服务器得到任何结果,但正在连接。
docker
、
apache-spark
、
pyspark
我
在
一个码头容器中运行了一个火花
群集
。我有一个吡火花简单的例子程序来测试我的配置,它运行在我的桌面上,
在
码头容器外。火花控制台获取并执行
作业
并完成
作业
。然而,pyspark客户端永远不会得到结果。吡火花程序的控制台
显示
: 使用
spark
的默认log4j配置文件:org/apache/log4j/log4j-defaults.properties将默认日志级别设置为“警告”。:初始
作业
没有接受任何资源;检查
群集</
浏览 3
提问于2022-03-05
得票数 0
1
回答
从代码中按需启动火花
作业
。
scala
、
apache-spark
从企业应用程序( Java或Scala)中按需启动星火
作业
的推荐方法是什么?有一个处理步骤,目前需要几分钟才能完成。我想使用星火集群将处理减少到15秒以下: 问题2:将处理结果传输回调用方代码的推荐方法是什么?问题3:如何将<em
浏览 4
提问于2016-08-06
得票数 2
回答已采纳
2
回答
火花
独立
模式不将
作业
分配给其他员工节点
apache-spark
我正在运行一个
独立
模式的火花
作业
。我已将我的工作节点配置为连接到主节点。他们正在成功地连接起来,但是当我
在
火花公子
上
运行
作业
时,任务并没有被分发。我一直
在
收到以下信息- 我尝试
在
worker节点
上
以本地方式运行
作业
,并且运行良好此外,
spark
ui
浏览 2
提问于2016-03-21
得票数 0
1
回答
在
Apache 1.2.1
独立
集群中,“执行器的数量等于
spark
_WORKER_INSTANCES的数量”吗?
hadoop
、
apache-spark
在
Apache 1.2.1
独立
集群中,“执行器的数量等于
SPARK
_WORKER_INSTANCES的数量”吗?I have done below setting in conf/
spark
-env.sh
SPARK
_NUM_EXECUTORS=3如果没有人能告诉我如何在
独立
集群中增加执行者的数量?
浏览 0
提问于2015-04-24
得票数 0
回答已采纳
1
回答
Spark
-自动化部署和性能测试
testing
、
sbt
、
bigdata
、
apache-spark
我们正在开发一个使用
Spark
& Hive进行静态和即席报告的应用程序。对于这些静态报告,它们采用许多参数,然后在数据集
上
运行。我们希望能够更轻松地
在
群集
上
测试这些报告的性能。为了加快开发速度,通过IDE将
Spark
应用程序部署到
Spark
集群(
独立
)的最佳方式是什么? 我想我们可以创建一个SBT任务来运行
spark
提交脚本。有没有更好的方法?最终,这将提供给一些自动化的性能测试,我们计划每天运行两次Jenkins
作
浏览 0
提问于2014-07-31
得票数 4
1
回答
有可能知道特定
Spark
作业
使用的资源吗?
apache-spark
、
multi-tenant
我借鉴了使用多租户
Spark
集群的想法。
群集
按需为特定租户执行
作业
。 是否有可能“知道”特定
作业
使用的特定资源(出于支付原因)?例如,如果
作业
需要自动分配kubernetes中的几个节点,那么是否可以跟踪启动这些资源分配的是哪个
Spark
作业
(以及最后的租户)?或者,
作业
总是均匀地分布
在
已分配的资源
上
?尝试
在
Apache
Spark
站点和互联网上的其他位置查找信息,但没有成功。
浏览 12
提问于2019-09-26
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Apache Spark 2.3 加入支持Native Kubernetes及新特性文档下载
五大最佳数据框架的快速比较
基于Horovod on Ray的弹性深度学习
MATLAB大作业选登-图像处理
在云中使用Apache Hadoop,Spark和Hive的6个理由
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券