腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
有没有使用API
提交
spark
作业的方法
、
、
、
、
我可以使用控制台在
linux
服务器上
提交
spark
作业。但是在
linux
服务器上有没有什么API或者框架可以用来
提交
spark
作业呢?
浏览 0
提问于2017-01-04
得票数 0
1
回答
如何通过Powershell在HDInsight上
提交
Spark
作业?
、
、
、
有没有办法通过Powershell在HDInsight上
提交
Spark
作业?我知道这可以通过Azure Data Factory中的活动来完成,但是有没有办法将python脚本从Powershell cmdlet
提交
到pyspark HDInsight?
浏览 3
提问于2017-06-22
得票数 0
2
回答
4040和8080上的web有什么不同?
我是否有可能推出星火(没有hadoop,hdfs,纱线等),保持它并
提交
我的罐子(类)到它?我想看完后的工作统计数据。我正在尝试这样的方法:Worker:
Spark
\binSubmit:
Spark
\bin>
spark
-submit.cmd --class demo.TreesSample --master <e
浏览 0
提问于2016-01-03
得票数 3
回答已采纳
2
回答
集群中MapReduce和
Spark
作业的资源分配
、
、
、
我无法理解为Map Reduce和
Spark
作业分配资源的内部机制。在同一个集群中,我们可以运行Map Reduce和
Spark
作业,但是对于运行map reduce作业,内部资源管理器将为作业分配可用的资源,如数据节点和
任务
跟踪器。当涉及到
Spark
上下文时,它需要工作节点和执行器(内部为JVM)来计算程序。 这是否意味着Map Reduce和
Spark
作业将有不同的节点?如果不是,
任务
跟踪器和执行器之间的区别将如何发生。集群管理器将如何识别Hadoop和
Spark
作
浏览 1
提问于2017-06-10
得票数 1
2
回答
Spark
执行错误:
spark
-
提交
我正在尝试使用下面的命令从
spark
-shell执行一个程序
spark
-submit --class com.aadharpoc.
spark
.UIDStats \ --packages com.databricks:
spark
-csv_2.10:1.5.0 \ --master yarn-client \ /home/cloudera/Desktop/aadhar_jar/Untitled.jar \ /home
spark
-submit --c
浏览 43
提问于2017-07-14
得票数 1
回答已采纳
1
回答
spark
MetricsSystem registerSource失败
、
当我运行
spark
作业时,我遇到了以下问题。java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)当我的
任务
重试四次以上时at org.apache.
spark
.SparkContext.runJob(SparkContext.scala:2104) at org.apache.
spark
.SparkCon
浏览 1
提问于2021-09-22
得票数 0
4
回答
在eclipse上本地运行
spark
代码,并将
spark
安装在远程服务器上
、
、
、
我已经为scala配置了eclipse,创建了一个maven项目,并在windows上写了一个简单的字数统计
任务
。现在我的
spark
+hadoop已经安装在
linux
服务器上了。如何将我的
spark
代码从eclipse启动到
spark
集群(在
linux
上)? 任何建议。
浏览 4
提问于2015-11-08
得票数 2
0
回答
org.apache.
spark
.executor.CoarseGrainedExecutor?
、
、
、
最近遇到一个问题org.apache.
spark
.executor.CoarseGrainedExecutor 我通过java调用yarn api去
提交
spark
任务
。在测试环境中,
任务
可以
提交
以及执行,是OK的。但是在生产环境(有kerberos认证)中,同一份代码,通过yarn api去
提交
任务
就出现问题,问题的日志主要是executor container启动不起来。。通过日志查看到APPmaster已经启动,但是在启动ex
浏览 269
提问于2020-05-26
1
回答
即使内部
任务
返回错误,气流仍将DAG标记为成功。
、
spark
作业从S3存储桶中读取数据,该桶被隔离到按天划分的分区中并执行操作,如果桶中没有数据,则返回一个'path不退出‘错误,即如果桶中没有数据。因此,即使
任务
中有错误,气流也会将其标记为成功运行。$$anonfun$org$apache$
spark
$sql$execution$datasources$DataSource$$checkAndGlobPathIfNecessary$1.apply($$anonfun$org$apache$
spark
$sql$execution$datasources$Data
浏览 4
提问于2022-11-17
得票数 0
1
回答
什么是-- Java中SparkLauncher的归档?
、
、
、
我将
提交
pyspark
任务
,并
提交
与该
任务
的环境。 我需要--归档
提交
的压缩包包含完整的环境。工作
spark
提交
命令如下所示 /my/
spark
/home/
spark
-submit--deploy-mode cluster --driver-memory 10G/prediction_env/ld_env/bin/pyth
浏览 26
提问于2021-07-08
得票数 1
1
回答
在哪里可以看到Sparkj观察者的主控制台输出?
、
、
当运行
spark
-submit时,您可以在shell中看到println语句。当我
提交
一个
spark
任务
给
spark
观察者时,我找不到stdout消息的去向。有人知道吗?
浏览 0
提问于2016-10-21
得票数 0
1
回答
使用Marathon运行
spark
-submit应用程序
、
、
我有
spark
应用程序,用
spark
-submit运行它,如下所示:--master mesos://dispatcher_ip:7077当我从远程ip或直接在Mesos从机上运行这个
spark
应用程序时,它可以按预期工作,例如,我可以看到在Mesos主机上运行的框架/驱动程序,日志也显示
任务
正在运行。我想使用Marathon运行同样的程序,但是当我使用Ma
浏览 3
提问于2016-09-18
得票数 1
1
回答
将
任务
提交
给
Spark
、
遵循本教程,我在Ubuntu14.04上安装了
spark
问题是我不能创建一个scala文件并用
spark
执行它。这就是我遵循指南所做的事情/* SimpleApp.scala */import org.apache.
spark
.SparkContextSimpleApp { def main(args: Array[String
浏览 1
提问于2015-02-04
得票数 4
回答已采纳
2
回答
是否在Apache
Spark
中重新
提交
失败的
任务
?
在Apache
Spark
中失败的
任务
是否会自动重新
提交
给同一个或另一个执行者?
浏览 0
提问于2014-10-08
得票数 21
回答已采纳
2
回答
避免在_temporary中创建S3目录
、
我需要上传一个数据文件到S3桶,但我没有删除桶的权限。有没有办法避免在_temporary上创建这个S3目录?也许任何方式都可以使用本地FS作为_temporary目录,然后将最终的结果文件上传到S3桶,或者完全避免使用_temporary目录。
浏览 3
提问于2017-10-10
得票数 9
回答已采纳
1
回答
datastax企业
提交
spark
应用程序时出错
、
在尝试从主节点
提交
应用程序时,我遇到了这个错误:Im使用3个dse分析节点,1个数据中心,4个核心/16 Im内存节点,并从主节点<em
浏览 0
提问于2019-05-07
得票数 0
回答已采纳
2
回答
在“火花-defaults.conf”中设置属性“
spark
.sql.hive.metastore.jars”后出现的异常
、
、
、
下面是我在系统中安装的
Spark
& Hive的版本蜂巢:apache-hive-1.0.0-bin到目前为止,我能够通过访问Derby来执行HiveQL查询(如所描述的,相信
Spark
然后,我试图将
spark
-shell指向我的外部Metastore(在本例中为MyS
浏览 3
提问于2015-07-17
得票数 5
1
回答
如何在EMR
任务
/从节点上安装hive?
、
、
、
我让hive在EMR主节点上运行,但我需要在EMR
任务
/从节点上运行hive命令行。 有谁知道怎么做吗?谢谢!
浏览 0
提问于2017-03-21
得票数 1
1
回答
在
spark
-shell中可访问正确的配置单元转移存储,但不能在
spark
- file.jar中访问
、
、
、
当我跑的时候在
linux
shell中,然后尝试:我得到了正确的数据库列表(因为我连接到了正确的metastore现在,当我使用以下代码
提交
我的jar时:
spark
-submit file.jarSparkConf conf = new SparkConf().setAppName.enableHiveSupport()
浏览 1
提问于2019-04-02
得票数 0
1
回答
正在将_temporary文件夹的内容移动到最终位置
、
、
Spark
将正在处理的数据存储在_temporary文件夹中。作业完成后,数据将移动到其最终目标。但是,当有数万个分区时,将文件从一个位置移动到另一个位置需要相当长的时间。问:如何加快这一步?更新:我的
任务
在25000个分区中生成2.3T的数据需要大约1个小时,将数据移出_temporary需要另外一个小时。
浏览 17
提问于2018-03-06
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Spark提交参数说明和常见优化
WLRC国际编程赛任务答案提交流程
Linux启动定时任务
如何用Spark计算引擎执行FATE联邦学习任务?
Linux定时执行任务Crontab
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券