腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
这些部件是否适合在纱
线上
工作?
、
我
在
研究纱
线上
的
火花
。我已经
在
纱
线上
工作了,我正在努力工作“
火花
壳-主
纱
-客户”。但是我发现纱线有问题,所以我考虑了几件事要检查。你能让我知道这些守护进程
在
纱
线上
运行
是正确的吗?
浏览 1
提问于2016-03-14
得票数 0
回答已采纳
2
回答
使用thriftserver和
直线
错误将数据从hdfs加载到spark2.1表
、
我的开发环境是: <property> <value>/tmp/hive/spark-${user.name}
浏览 2
提问于2017-08-23
得票数 1
1
回答
在
纱
线上
运行
火花
直线
、
、
、
该作业似乎未显示
在
HDP 2.6上的Spark History服务器的资源管理器中。如何让它在纱
线上
运行
? 谢谢
浏览 12
提问于2019-03-06
得票数 0
回答已采纳
2
回答
斯派克使用的纱线容器的命名规则是什么?
、
、
当在纱
线上
运行
火花
作业(纱线-集群模式)时,纱线
在
容器中创建工人,其名称如下:container_e116_1495951495692_11203_01_000105。 000105 --这可能只是一个增量整数。综上所述,当在纱
线上
进行
火花
作业时,我如何知道哪些容器属于哪个执行器?
浏览 1
提问于2017-06-01
得票数 3
回答已采纳
1
回答
火花
聚集成
纱
、
、
我想让
火花
与纱线聚在一起。我需要吗? 如果1是好的,我将处理这个码头图像()。这个合适吗?
浏览 1
提问于2017-02-20
得票数 0
回答已采纳
2
回答
火花
客户端模式-纱线为司机分配一个容器?
、
我是
在
客户端模式下在纱
线上
运行
Spark,所以我希望纱线只为执行者分配容器。然而,据我所见,似乎也为驱动程序分配了一个容器,而且我没有像我所期望的那样得到更多的执行者。 --conf spark.executor.memory=10G \在
运行
此应用程序时同时,Spark的节点选项卡显示
在</
浏览 1
提问于2018-07-29
得票数 5
回答已采纳
1
回答
Apache :设置executor实例
、
、
、
我
在
纱
线上
运行
我的星火应用程序,参数如下:spark.master yarn-clientspark.driver.memory 1gspark.executor.instances 6成
纱
-site.xml: yarn.nodemanager.resource.memory-mb每次我
运行
应用程序时,
在
Spark中只有两个执行器和一个
浏览 3
提问于2016-10-26
得票数 4
2
回答
星火流和星火应用程序可以
在
同一个纱线集群中
运行
吗?
、
、
、
在下面的图片中,我想要做的是: 到目前为止,我已经用java为我的星火流和
火花
应用程序编写了源代码。我
在
火花
文档中读到,
火花
可以
在
中间层或纱线杂碎器中
运行
。如图所示,我已经有了hadoop集群。是否有可能在同一个hadoop集群中
运行
我的星火流和
火花
应用程序?如果是,是否有任何特定的配置可执行(例如节点数、RAM.)。还是我必须为
火花
流添加一个hadoop集群? 我希望我的解释是清楚的。
浏览 2
提问于2017-01-13
得票数 2
回答已采纳
1
回答
如何控制作业
运行
在哪个节点上?
、
假设我了解到节点foo没有响应,并且希望在所有其他节点上
运行
我的作业。我想做这样的事sc.exclude_nodes(["foo"])有办法做到这一点吗?
浏览 0
提问于2019-03-12
得票数 0
1
回答
可以直接显示和星火壳显示不同的数据库为同一apache
火花
?
、
、
、
我
在
ubuntu上安装了Hadoop2.8.1,然后
在
它上安装了
火花
-2.2.0bin-hadoop2.7。首先,当我通过shell创建数据库并尝试通过java程序访问它时,我发现没有表存在。然后我使用了
直线
,观察到数据库在这里也不存在。我通过
直线
创建了数据库。为什么
火花
壳和
直线
显示不同的DBs? 他们也许应该表现出同样的样子。同样的情况有时也发生在
直线上
。
浏览 4
提问于2017-08-23
得票数 0
回答已采纳
1
回答
无法从星星之火直接看到数据到单元或数据库表。
、
(id int,类型字符串),由(id)聚集成两个存储为的桶(‘事务性’=‘true’); 但是
在
火花
作业控制台中:它显示了与上述查询相关的作业之一--跳过的阶段(1) --
火花
JDBC服务器查询
浏览 5
提问于2015-11-23
得票数 2
5
回答
如何杀死
运行
中的Spark应用程序?
、
、
我有一个正在
运行
的Spark应用程序,它占用了我的其他应用程序不会被分配任何资源的所有核心。 有人能和我一起吗?
浏览 3
提问于2015-04-10
得票数 132
回答已采纳
1
回答
运行
火花
-提交与-主
纱
-簇:问题与
火花
-装配
、
、
我
在
一个内核化的集群上
运行
Spark1.1.0,HDP 2.1。我可以成功
运行
火花
提交使用-主
纱
-客户端和结果正确地写到HDFS,然而,工作没有显示
在
Hadoop所有的应用程序页面。我想
运行
火花
提交使用 appDiagnostics: Application application_1417686359838_0012 failed 2 times due to AM Container我已经配置了成
纱
-site.xml。我已经清除了
浏览 1
提问于2014-12-18
得票数 9
回答已采纳
2
回答
在
星火中使用已注册的蜂巢
、
我通过
直线
在
蜂巢中注册一个udf,使用以下方法:然后我可以
在
直线上
使用它如下:返回预期的结果。然后启动一个
火花
壳并
运行
以下命令 sqlContext.sql("
浏览 0
提问于2016-06-29
得票数 1
2
回答
从
火花
执行蜂巢查询
、
我正试图
在
火花
壳中执行这段代码:sqlContext.sql("show我将得到一个异常: org.apache.hadoop.hive.ql.Driver.getResults(Ljava/util/ArrayList;:java.lang.NoSuchMethodError
在
org.apache.spark.sql.hive.HiveContext.runHive(SchemaR
浏览 3
提问于2015-01-07
得票数 0
回答已采纳
1
回答
火花
纱
:工作提交的v/s接受?
我
运行
星火作业的纱线-集群模式。纱线被接受与纱线提交状态有什么区别?
浏览 1
提问于2020-06-18
得票数 1
回答已采纳
1
回答
警告cluster.YarnScheduler:初始作业未接受任何资源
、
、
、
我
运行
的任何
火花
作业都会失败,并出现以下错误消息 您可以从作业时间线中注意到,它无限期地
运行
,没有添加或删除任何资源。
浏览 7
提问于2017-06-16
得票数 7
回答已采纳
3
回答
星火上的蜂巢:缺少<
火花
-程序集*..jar>
、
、
我
运行
的是Hive 2.1.1、Spark2.1.0和Hadoop2.7.3。 0: jdbc:hive2://localhos
浏览 7
提问于2017-02-21
得票数 3
回答已采纳
2
回答
Apache抛出java.lang.IllegalStateException:未读块数据
、
、
、
用sbt构建一个fat应用程序,然后尝试
在
集群上
运行
它 现在,我知道(b)不是在其他集群上成功
运行
相同代码的问题,而只包含一个我提交了一份bug报告,因为Spark文档肯定有问题,因为我看到两个独立的系统管理员
在
不同集群上使用不同版本的CDH时遇到了完全相同的问题。
浏览 0
提问于2014-05-17
得票数 6
回答已采纳
1
回答
cdh5.1.3上的Spark 1.1.0
在
纱线群集模式下不起作用
、
我
在
我的集群上安装了CDH 5.1 (Hadoop2.3.0-cdh5.1.3),版本: 我已经安装并配置了Spark1.1.0 (Apache版本)的预构建版本,该版本是为我的集群上的Hadoop2.3当我
在
‘client模式’中
运行
Pi示例时,它成功
运行
,但在‘纱线-集群’模式下失败。
浏览 2
提问于2014-11-10
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
猫直播时女主在发疯,还好猫非常淡定,直播人数直线上升!
捷佳伟创:公司HJT设备在客户端或公司中试线上运行情况效率及良率均属于行业前列
广东台正集团TAZE镜面火花机:精品制造水平,打造高端品质
诸暨这家企业,每年开发近千款袜子!明年的计划是……
适合所有纱线的电子清纱器!洛菲将携研发新品亮相纺机展!
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券