腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
无法
访问的星火web用户界面
ubuntu
、
apache-spark
、
ssh
、
cluster-computing
、
apache-spark-standalone
我已经
在
12个节点(
在
集群独立模式下)
上
安装了
spark
2.0.0,当我
启动
它时,我得到如下信息:192.17.0.18:
启动
org.apache.spark
.deploy.worker.Worker,登录到
org.apache.spark</
浏览 2
提问于2016-08-30
得票数 1
1
回答
Apache火花工作超时
java
、
scala
、
apache-spark
我一直
在
经历一个接一个的星火问题,我相信这与网络或权限有关,或者两者兼而有之。
在
主
日志或工作日志中或抛出的错误中都没有任何提示问题的内容。-编辑-附加信息export
SPARK
_LOCAL_IP="46.101.xxx.xxx" export
SPARK
_MASTER_IP="46.101.xxx.xxx"export
SPARK
_PUBLIC_DNS="46.101.xxx.xxx&qu
浏览 1
提问于2015-12-29
得票数 2
3
回答
在
独立模式下
启动
主
节点
上
的多个工作节点
apache-spark
、
apache-spark-standalone
我想在这台机器
上
以独立模式
启动
一个
Spark
服务器
,有8个执行器,每个执行器有10个核心。但是,当我尝试
在
主
服务器
上
启动
我的第二个worker时,我得到了一个错误。 $ ./sbin/start-master.sh$ ./sbin/start-slav
浏览 38
提问于2020-01-29
得票数 2
回答已采纳
1
回答
在
Windows
上
运行火花源
scala
、
apache-spark
我已经
在
我的网络
上
的一台计算机上运行了一台火花公子,运行在http 192.168.1.52:4040
上
。当我试图
在
另一台计算机上连接一个从机时,使用这个
主
url和/或使用
spark
而不是http,从将不会
启动
。当我
在
第二台计算机上访问http 192.168.1.52:4040时,web工作得很好。下面是我使用的命令:或 使用
spark
://代替htt
浏览 1
提问于2016-03-26
得票数 0
1
回答
一台Windows机器
上
的多个火花工作人员
scala
、
apache-spark
、
cluster-computing
我试图通过Scala
在
Windows
上
使用Intellij来教自己。我
在
一台机器
上
做这件事,我想在这台机器
上
启动
多个工作人员来模拟一个集群。我读过上面写着我不知道用手
启动
主人和工人意味着什么。有人能帮忙吗?非常感谢你的帮助/建议。
浏览 4
提问于2016-02-07
得票数 6
回答已采纳
1
回答
在
Windows 10
上
设置
spark
集群
apache-spark
、
windows-10
我正在尝试使用两个运行Windows10的系统来设置
spark
3的光泽。
在
spark
://<hostname>:7077
上
启动
主
服务器
的
spark
-class org.apache.
spark
.deploy.master.Master -h <hostname>
在
我试图用作工作节点的第二台机器
上
,我使用的是
spark
-class <e
浏览 24
提问于2020-07-15
得票数 0
1
回答
发射火花
主
windows7
java
、
apache-spark
、
windows-7-x64
我有火花运行,winutils,HADOOP_HOME等 根据文档说明:
启动
脚本目前不支持Windows。若要在Windows
上
运行星火群集,请手动
启动
主
服务器
和工作人员。但没说怎么做?我如何在窗户
上
发射火花大师?尝试运行sh start-master.sh通过git bash:failed to launch org.apache.
spark
.deploy.master.Master:,尽管它打印出
主
--ip但是当我尝试
spark
-
浏览 5
提问于2017-01-12
得票数 2
回答已采纳
2
回答
无法
在
星火上部署工人-1.2.0
hadoop
、
bigdata
、
apache-spark
我已经设置了
主
节点和四个从节点。但我的两个节点还没有
启动
。我已经定义了slaves文件中火花-1.2.0/conf/目录中节点的IP地址。failed to launch
org.apache.spark
.deploy.worker.Worker 这发生在两个节点<em
浏览 6
提问于2015-01-16
得票数 1
回答已采纳
1
回答
火花独立模式:未在cloudera正常
启动
的工作人员
hadoop
、
bigdata
、
apache-spark
、
cloudera-manager
在
使用cloudera管理器中可用的包安装星火之后,我对火花很陌生。我已经配置了来自的以下链接中所示的文件: 在这个设置之后,我已经通过运行/opt/cloudera/parcels/
SPARK
/lib/
spark
/sbin/start-all.sh.
启动
了星火中的所有节点但是我
无法
运行工作节点localhost.localdomain: failed to launch
org.apache.spark
.
浏览 4
提问于2014-03-12
得票数 1
回答已采纳
1
回答
spark
无法
在
主
服务器
上
启动
org.apache.spark
.deploy.worker.worker
apache-spark-standalone
我已经
在
两个Ubuntu
服务器
(
主
服务器
和一个从
服务器
)
上
设置了
Spark
Standalone Cluster。我的config /conf/
spark
-env.sh (从
spark
-env.sh.template复制之后)如下所示:
SPARK
_MASTER_HOST="master" 我通过下面的命令
在
master上成功
启动
了
s
浏览 165
提问于2020-07-12
得票数 0
回答已采纳
1
回答
在
Windows中,工作节点不能正确
启动
apache-spark
、
cluster-computing
我使用了以下步骤
在
Windows中使用独立模式集群配置
spark
, SET SCALA_HOME =C:\scala SET
SPARK
_HOME=F:\
s
浏览 1
提问于2015-04-22
得票数 4
5
回答
星星之火:员工信息不显示
在
web用户界面上
apache-spark
我已经
在
一组星系团
上
安装了独立的火花。我试图通过集群
启动
脚本
启动
集群。我已经将集群的IP地址添加到conf/ into文件中。主机通过无密码ssh连接到所有的奴隶。运行./bin/start-slaves.sh脚本后,我得到以下消息:
启动
/root/
spark
-0.8.0-incubating/bin/../logs/
spark
-root-org.apache.
spar
浏览 2
提问于2013-11-08
得票数 11
1
回答
火花工作者节点
无法
启动
。日志中不正确的java路径
apache-spark
、
java-home
主
节点已正确
启动
,WebUI也可访问。但是,由于错误,
无法
启动
从节点或辅助节点。localhost: starting
org.apache.spark
.deploy.worker.Worker, logging to /home/ashish//logs/
spark
-ashish-org.apache.
spark
浏览 1
提问于2017-07-24
得票数 0
1
回答
火花工
无法
连接到
主
apache-spark
我试图使用一个独立的集群管理器
在
windows 10上部署一个
Spark
应用程序,主机和工作程序都在本地机器
上
,
主
服务器
还在运行,但是我有一个问题,即使我确定我试图连接的
主
ip地址是正确的,我仍然使用\bin>星火类
org.apache.spark
.deploy.worker.Worker masterIP。
浏览 3
提问于2021-12-03
得票数 0
回答已采纳
3
回答
启动
Apache星系团
hadoop
、
apache-spark
、
configuration
、
installation
我已经
在
我的四个节点集群
上
安装了Hadoop。我还在其中的每一个
上
安装了Apache。我可以
在
没有密码的情况下从主人那里进入每个奴隶。我也可以很好地
启动
我的
主
节点。permitted kyrie: starting
org.apache.spark
.deploy.worker.Worker, logging to /opt/
spark
/logs/
spark
-hduser-org.apache.<
浏览 9
提问于2016-10-19
得票数 4
回答已采纳
4
回答
如何在
Spark
单机版上调试
Spark
应用?
apache-spark
我正在尝试使用一个
主
节点和几个工作节点在集群上调试
Spark
应用程序。我已经成功地使用
Spark
独立集群管理器设置了
主
节点和工作节点。我下载了包含二进制文件的
spark
文件夹,并使用以下命令设置工作节点和
主
节点。这些命令是从
spark
目录执行的。./sbin/start-master.sh./bin/
spark
-class <
浏览 0
提问于2015-03-17
得票数 21
1
回答
本地运行SparkPi时拒绝连接
apache-spark
我
启动
了主程序和一个工作人员,然后
在
本地的“集群”
上
执行了作业,但最终得到了一系列的错误,这些错误都以export
SPARK
_MASTER_IP=127.0.0.11) sbin/start-master.sh (
启动
主
服务器
) 2) bi
浏览 1
提问于2014-03-02
得票数 8
回答已采纳
3
回答
码头工人不接受工作的火花
scala
、
apache-spark
我试图用
spark
+docker制作一个hello world示例,下面是我的代码。object Generic { val sc = new SparkContext("
spark
://172.17.0.3:7077", "Generic", "/opt/
spark
-0.9.0") val coun
浏览 1
提问于2014-05-28
得票数 8
回答已采纳
1
回答
ApacheSpark2.1.0-基本设置:未与
主
节点连接的工作节点
ubuntu
、
networking
、
apache-spark
、
virtualbox
、
cluster-computing
我正在尝试让两个运行Apache的‘m连接起来:一个
主
服务器
和一个工作人员。我正在使用VirtualBox和一个网络适配器。VM可以彼此ping,但是当我
启动
工作时,它不会出现在
主
用户界面中。我使用的是静态IP,主程序是10.10.10.2,工人的10.10.10.3
SPARK
_MASTER_IP=10.10.10.2./start-master.sh starting
浏览 4
提问于2017-03-01
得票数 2
回答已采纳
1
回答
一个独立卡斯特上有多少RDD分区和从分区?
apache-spark
、
spark-streaming
我已经创建了一个独立的集群,其中包括一个
主
服务器
和一个从
服务器
,它们都位于4核ubuntu机器
上
。我打算在此运行一个火花流应用程序。另外,我可以
在
一台机器
上
创建两个奴隶吗?如果是,怎么做? 谢谢
浏览 3
提问于2015-10-16
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Spark-2
Spark 学习笔记
分布式TensorFlow:使用多台GPU服务器,减少神经网络的实验与训练时间
spark安装和提交程序测试,占用大数据最多的节点他的魔力展现在哪里?
大数据集群服务安装-mysql,hive,azkaban,sqoop,spark,python
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券