腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
更改Java
spark
端口
号
java
我
的
java
spark
web应用程序使用嵌入式jetty web服务器,使用
端口
号4567。不幸
的
是,这个
端口
号在我
的
计算机上被阻止了,不希望取消阻止它。如果
查看
spark
文档,但其中不包含如何将嵌入式Jetty服务器
的
端口
号更改为8080。
浏览 1
提问于2016-09-01
得票数 8
回答已采纳
1
回答
如何在火花作业完成并关闭上下文后
查看
其日志?
apache-spark
、
ssh
、
pyspark
、
tunneling
、
apache-spark-1.3
我在运行pyspark,
spark
1.3,standalone mode,client mode。当我提交一份工作时,我当然会打开一个火花环境。在作业运行时,我可以使用ssh隧道打开
spark
。然后,我可以
查看
当前正在运行
的
作业和已完成
的
作业,如下所
浏览 4
提问于2016-07-15
得票数 5
回答已采纳
1
回答
如果
spark
GUI不工作,如何调试它
apache-spark
我
的
SPARK
GUI不工作,尽管我可以看到我
的
4040
端口
在我启动任何
spark
-submit作业时都在监听。netstat -an | grep 4040 tcp6 0 0 127.0.0.1:4040:*监听 当我在浏览器中给出我
的
spark
主服务器
的
地址时,它显示“此站点无法访问”。我不确定为什么在指定
端口
上侦听时没有响应。我还尝试在/var/ log /
spark
/中
浏览 4
提问于2016-07-07
得票数 0
3
回答
火花用户界面
apache-spark
、
pyspark
如何访问火花放电作业
的
Spark
?我试图登录到(localhost:4040)来跟踪我
的
工作,但不加载,虽然当打开火花壳时,但是当打开火花放电时它不是登录。
浏览 3
提问于2020-10-17
得票数 0
1
回答
spark
-submit集群模式不起作用
apache-spark
在集群模式下启动独立
的
Spark
驱动程序时出现错误。根据文档,需要注意
的
是,
Spark
1.2.1版本支持集群模式。然而,它目前对我来说不能正常工作。请帮助我解决妨碍
Spark
正常运行
的
问题。我有3个节点
spark
群集node1、node2和节点3 /usr/local/
spark
-1.2.1-bin-hadoo
浏览 1
提问于2015-03-03
得票数 0
2
回答
Spark
提交申请主控主机
apache-spark
、
spark-streaming
、
hosts-file
我是
Spark
的
新手,在提交申请时遇到了一个问题。我设置了一个包含两个
spark
从节点
的
主节点,一个包含zookeeper
的
节点,以及一个包含kafka
的
节点。我想使用python中
的
spark
streaming启动kafka wordcount示例
的
修改版本。要提交应用程序,我要做
的
就是通过ssh进入主
spark
节点并运行<path to
spark
home>
浏览 6
提问于2015-05-27
得票数 4
1
回答
Mesos上
的
Apache
Spark
:初始作业未接受任何资源
apache-spark
、
apache-spark-sql
、
mesos
、
mesosphere
我使用Apache Mesos在集群模式下运行Apache
Spark
。但是,当我启动
Spark
-Shell运行一个简单
的
测试命令(sc.parallelize(0 to 10,8).count)时,我收到以下警告消息:如果我
查看
Mesos WebUI,我可以看到
Spark
-Shell被列
浏览 0
提问于2016-03-10
得票数 3
1
回答
找到带动物园管理员
的
火种独立集群中
的
领头节点
apache-spark
、
apache-zookeeper
嗨,我正在使用星火独立集群与动物园管理员,在做火花提交之前,我需要找到火星团
的
领头节点。1>能从动物园管理员那里拿来吗?2>是否有任何由火花母版公开
的
API来检查这一点?
浏览 5
提问于2017-01-16
得票数 1
回答已采纳
1
回答
在PySpark中显示配置单元查询
的
状态
hadoop
、
apache-spark
、
hive
、
pyspark
我正在从sparksession运行配置单元查询(
spark
)sql函数中是否存在参数,或者是否存在打印类似于配置单元cli中显示
的
状态
的
配置?
浏览 0
提问于2017-05-17
得票数 1
2
回答
有没有使用API提交
spark
作业
的
方法
apache-spark
、
pyspark
、
spark-streaming
、
distributed-computing
、
spark-submit
我可以使用控制台在linux服务器上提交
spark
作业。但是在linux服务器上有没有什么API或者框架可以用来提交
spark
作业呢?
浏览 0
提问于2017-01-04
得票数 0
1
回答
Spark
SQL查询历史记录
apache-spark
、
apache-spark-sql
有没有办法获得Hadoop集群中不同用户执行
的
Spark
SQL查询
的
列表?例如,有没有
Spark
应用程序以字符串格式存储查询
的
日志文件?
浏览 8
提问于2018-08-21
得票数 0
回答已采纳
1
回答
无法访问码头中
的
火花节点
docker
、
apache-spark
我正在使用这个设置()来建立星火集群,但是这里提到
的
I中没有一个像通过浏览器访问
的
10.5.0.2区域和超时。我不知道我在做什么?ENV DAEMON_RUN=trueENV HADOOP_VERSION=3.2ENV SCALA_HOME=
浏览 4
提问于2020-07-22
得票数 1
回答已采纳
2
回答
org.apache.
spark
.rpc.RpcTimeoutException:期货超时后,[120秒]。此超时由
spark
.rpc.lookupTimeout控制。
apache-spark
、
apache-spark-sql
、
hadoop-yarn
、
hadoop2
在向纱线提交火花申请时,获取与容器有关
的
以下错误。HADOOP(2.7.3)/
SPARK
(2.1)环境在单个节点集群中运行伪分布式模式。新
的
世界,因此寻求帮助。This timeout is controlled by
spark
.rpc.lookupTimeout at org.apache.
spark
.rpc.RpcTimeout.org$apache$
spark
$rpc$RpcTimeout$$createRpcTimeoutException(RpcEnv.s
浏览 3
提问于2017-04-11
得票数 10
1
回答
星火/K8s:如何以客户端模式在Kubernetes上运行
spark
提交
docker
、
apache-spark
、
kubernetes
默认情况下,
spark
-submit使用pod
的
hostname作为
spark
.driver.host,而hostname是pod
的
主机名,因此
spark
executor无法解析它。
spark
.driver.port也在舱(容器)
的
局部位置。我知道一种将一些甜点传递给
spark
-submit以便
spark
executor可以与driver交谈
的
方法,这些吐露如下: --conf
spark
.dr
浏览 4
提问于2020-01-09
得票数 7
回答已采纳
1
回答
映射到同一港口
的
码头集装箱
apache-spark
、
docker
、
dockerfile
我正在尝试使用这个链接- 来建立一个星火集群我想知道如何访问我
的
主网页用户界面火花?2c987a057223 actionml/
spark
"/entrypoint.sh wo..." 3 minutes ago Up 3 minutes4040/tcp, 6066/tcp, 7001-7006/tcp, 7077
浏览 5
提问于2017-10-02
得票数 0
回答已采纳
3
回答
SparkUI未显示选项卡(作业、阶段、存储、环境...)在独立模式下运行时
apache-spark
、
apache-spark-standalone
、
spark-ui
我正在通过以下命令运行
spark
master:在那之后我去了http://localhost:8080,我看到了下面的页面。 我需要额外
的
配置吗?朱塞佩
浏览 4
提问于2019-05-31
得票数 4
1
回答
星火历史服务器按用户id或时间筛选作业
apache-spark
、
apache-spark-sql
、
spark-streaming
我
的
星火纱集群被许多用户使用,并且在星火历史服务器中有很多作业。通过星火历史服务器分页查找我
的
工作需要花费大量时间。我找不到任何选择,通过用户id筛选作业在星星之维基上。我想知道,是否有任何方法来选择特定用户提交
的
作业列表?或者在特定
的
时间窗口?谢谢。
浏览 1
提问于2017-09-01
得票数 3
1
回答
DSE鲨鱼工人码头港
datastax-enterprise
我刚读到那个随机
的
鲨鱼工人码头不能固定。先前
的
链接指出:然而,阅读DSE文档时,我没有看到这方面的任何注释。DSE文档是错误
的
,还是Datastax以某种方式设法修补Jetty以使用固定
端口
?
浏览 0
提问于2014-11-06
得票数 0
1
回答
Podman(1):如何在主机和连接到podman网络
的
豆荚之间路由请求(无根)
podman
、
redhat-containers
让我用一个真实
的
例子来帮助这个问题。#!(Note:这个问题使用
Spark
作为帮助,但它本身并不是关于
Spark
的
)。
查看
浏览器图像
的
左下角。将鼠标悬停在唯一可用
的
Spark
worker链接上(在Worker id下面),注意,URL解析为192.168.10.2,这是属于上面创建
的
浏览 4
提问于2021-06-29
得票数 0
回答已采纳
1
回答
在火花流中运行单词计数程序时获取java.net.ConnectException
scala
、
apache-spark
、
spark-streaming
我试图在火花流中运行单词计数程序,但是我错了,我使用
的
是nc -lk 9999 import org.apache.
spark
.streaming._ import org.apache.
spark
.streaming.Secondsssc.start()
浏览 1
提问于2018-03-09
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
常见的应用层协议使用的端口及查看
linux查看端口被哪个进程被占用的六个方法,收藏下来总会用得上
SSH端口的故事
Spark快速入门-2-Spark的编程模型
端口介绍:有危险的服务器都是开放哪些端口?
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券