腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(58)
视频
沙龙
1
回答
如何将
javaagent
传
递给
emr
spark
应用程序
?
、
、
、
、
我正在尝试使用uber jvm profiler来分析我的
spark
应用程序
(
spark
2.4,在
EMR
5.21上运行) 以下是我的集群配置 [ "
spark
.memory.fraction我运行以下引导脚本
浏览 36
提问于2019-12-08
得票数 2
回答已采纳
1
回答
如何在没有
Spark
-Shell的情况下从AWS控制台运行
Spark
jar文件
、
、
、
我正在尝试在AWS
EMR
控制台(Amazon Web Services)上运行
Spark
应用程序
。","1g")但是,在上传jar并设置集群时,我不知道
如何将
Master-URL参数和其他参数传
递给
jar。需要明确的是,我知道如果我运行的是
Spark
-Shell,我会用另一种方式来做这件事,但我是一名Windows用户
浏览 3
提问于2015-04-15
得票数 0
1
回答
如何在aws
emr
中为pyspark executor设置环境变量?
、
我有一个运行pyspark
应用程序
(或在AWS
EMR
中称为steps )的aws
emr
集群。我想为pyspark
应用程序
设置环境变量,并将其放入集群配置中(在googling搜索之后): [ "Classification": "
spark
-defaults", "
spark
.executorEnv.MY_ENV": "some
浏览 14
提问于2020-09-21
得票数 0
回答已采纳
1
回答
Spark
-Scala基于Prod/UAT等环境读取application.conf文件
、
、
我在AWS
EMR
上运行了
spark
应用程序
。我们在亚马逊网络服务上有不同的环境,如prod,uat,dev等。
如何将
不同的配置文件传
递给
spark
-submit,以便在部署期间不必为每个环境更改application.conf文件?
浏览 2
提问于2017-04-18
得票数 1
1
回答
EMR
群集上未安装火花
、
、
、
我在
EMR
集群上使用
Spark
已经有几个星期了,没有问题--设置是使用AMI 3.8.0和
Spark
1.3.1,我将'-x‘作为一个参数传
递给
Spark
(没有这个参数,它似乎没有安装)。我想升级到一个最新版本的星火,今天推出了一个带有
EMR
-4.1.0AMI的集群,其中包含了
Spark
1.5.0。当集群启动时,它声称已经成功地安装了
Spark
(至少在AWS上的集群管理页面上),但是当我将ssh安装到'hadoop@IP地址‘时,
浏览 3
提问于2015-11-09
得票数 0
回答已采纳
1
回答
AWS
EMR
Spark
--属性-未找到文件类com.amazon.ws.
emr
.hadoop.fs.EmrFileSystem
、
、
我正在尝试使用以下命令从AWS
EMR
emr
-5.20.0主节点提交
Spark
申请:
spark
-submit --executor-memory 4g --deploy-mode clusterin thread "main" java.lang.RuntimeException: java.lang.ClassNotFoundException: Class com.amazon.ws.
emr
.hadoop.fs.EmrFileSystem如何正确地将属性文件传递到AWS <em
浏览 142
提问于2019-02-28
得票数 0
回答已采纳
1
回答
在
EMR
集群上安装
应用程序
软件后运行引导操作
、
在安装了应用软件(例如:
spark
)之后,是否有一种方法可以运行引导操作?我的目的是用我的定制火花罐替换一个AWS火花罐,这必须在AWS安装原始火花后完成。
浏览 2
提问于2021-05-23
得票数 2
1
回答
覆盖AWS
EMR
主节点上的默认aws-sdk jar
、
、
、
在
EMR
主节点上运行我的
应用程序
时遇到了一个问题。它需要访问版本1.11中添加的一些AWS SDK方法。所有必需的依赖项都被捆绑到一个胖jar中,
应用程序
在我的dev box上按预期工作。但是,如果在电子病历主节点上执行
应用程序
,则在调用方法时会失败,并出现NoSuchMethodError异常,在AWS SDK版本1.11+中添加,例如 java.lang.NoSuchMethodErrorcom.amazonaws.services.sqs.model.SendMessageRequest.withMessageDed
浏览 11
提问于2017-01-17
得票数 3
回答已采纳
1
回答
AWS管理自动标度吗?
、
、
、
我正在使用Sagemaker进行预处理和生成培训数据,我遵循的是文档,但我目前看不到如何在
EMR
集群中指定自动标度。我应该在传
递给
spark
_processor run()对象的
spark
_processor参数中包含什么?我不应该包括什么? ) 对于这些类型的任务,我习惯于通过Python更直接地与
EMR
进行交互。这样我就可以同时指定整个<e
浏览 3
提问于2021-04-01
得票数 0
2
回答
是否升级
EMR
集群?
、
、
我在
EMR
上使用
Spark
、Zeppelin、Hue等配置了一个小的、长期运行的集群。我已经配置了色调用户,我在Zeppelin中有几个我正在使用的笔记本。一切都运行良好。但是,我运行的是
emr
-4.3.0,我想升级到
emr
-4.5.0映像。我不想重新创建集群,因为我需要重新配置所有
应用程序
,并弄清楚如何传输用户数据(保存的笔记本、色调保存的查询等)。
如何将
已运行的群集升级到最新的
EMR
映像?
浏览 3
提问于2016-04-12
得票数 2
1
回答
Spark
:写入DynamoDB,写入容量有限
、
、
我的用例是从
Spark
应用程序
写入DynamoDB。由于我对DynamoDB的写入容量有限,并且不想因为成本问题而增加它,我
如何将
Spark
应用程序
限制为以规定的速度写入?编辑:当
Spark
应用程序
在多节点
EMR
集群上运行时,需要实现这一点。
浏览 1
提问于2018-05-18
得票数 2
2
回答
在运行时记录
EMR
步骤ID或将其作为参数传
递给
作业
、
、
我想在输出文件的路径中使用"Step ID“,这样我就可以知道
EMR
(
Spark
)
应用程序
每次运行的输出。如何在我的Scala
Spark
应用程序
中访问它?
浏览 0
提问于2020-05-05
得票数 0
1
回答
Spark
2.2缓存()导致驱动程序OutOfMemoryerror
、
、
、
、
我在AWS
EMR
上运行
Spark
2.2和Scala (齐柏林/火花壳)。 我试图计算非常简单的计算:加载、过滤、缓存和计算一个大数据集。当我查看
Spark
和Ganglia时,我发现
应用程序
加载了80%以上的数据后,驱动节点变得太忙,而执行器停止工作(CPU使用率很低),直到崩溃。AFAIK只有执行者在加载和处理任务,数据不应该传
递给
主程序。原因是什么?emrfs/lib/*:/usr/share/aws/
emr
浏览 2
提问于2017-11-29
得票数 6
1
回答
火花算子与jmx_exporter失效
、
、
、
我刚刚将k8s迁移到1.22,使用这个版本的
spark
操作符:1.2.3没有工作。我在互联网上跟踪了这些信息,升级到1.3.3,但是我所有的星火
应用程序
都失败了,同样的错误是:Caused by: java.io.FileNotFoundException: /etc/metrics<init>(JmxCollector.java:78) at io.prometheus.jmx.shaded.io.prometheus.jmx.
JavaAgent
.premain(
JavaAgent
.jav
浏览 13
提问于2022-07-14
得票数 0
1
回答
使用Maven和logback配置Apache
Spark
日志记录,最后向Loggly抛出消息
、
、
、
、
我很难让我的火花
应用程序
忽略Log4j,以便使用Logback。我尝试使用logback的原因之一是它所支持的日志附加器。<dependency> <artifactId>
spark
-core_2.12</artifactId> <version>${
spark
.version}</version&
浏览 7
提问于2020-10-08
得票数 1
2
回答
在
EMR
上运行时如何指定
Spark
配置?
、
、
、
因此,我尝试在
EMR
上运行
Spark
管道,并创建一个步骤,如下所示: // Build the
Spark
job submission request .withMainClass("com.example.SparkApp") ) 问题是,当我运行这段代码时,我遇到了一个异常,如下所示: org.apache.
spark
.SparkException我是在设置管道运行步骤时指定它
浏览 19
提问于2019-07-03
得票数 1
回答已采纳
4
回答
可以使用
javaagent
运行Play Framework2.0服务器吗?
、
、
我希望能够使用
javaagent
运行Play Framework2.0服务器。网络上的一些资源(参见和 )建议,这可以通过简单地将-
javaagent
:/path/to/agent.jar附加到play run来完成,但它似乎对我不起作用。 有什么线索吗?
浏览 2
提问于2012-06-13
得票数 5
回答已采纳
2
回答
为什么
EMR
上的Yarn不将所有节点分配给运行
Spark
作业?
、
、
、
、
我在亚马逊弹性地图减少(
EMR
)上运行Apache的一项工作。目前,我正在运行
emr
-4.1.0,其中包括AmazonHadoop2.6.0和
Spark
1.5.0。我将神奇的"maximizeResourceAllocation“属性设置为"true",set属性"
spark
.dynamicAllocation.enabled”也设置为"true“。但是,如果我通过向工人机器的核心池中添加节点来调整
emr
集群的大小,那么纱线只会将一些新的节点添加到火花作业
浏览 0
提问于2015-11-26
得票数 23
回答已采纳
1
回答
如何将
HDFS中承载的配置文件传
递给
Spark
应用程序
?
、
、
、
、
我想将配置文件传
递给
我的
spark
应用程序
。此配置文件托管在HDFS中。例如;
spark
{ master: "", etc.. host: "", timeout: 2000, checkpointLocation: "hd
浏览 1
提问于2019-05-07
得票数 1
回答已采纳
3
回答
Azkaban:将参数传
递给
底层作业代码
是否可以将选项从azkaban工作流传递到底层作业代码?from azkaban import Job, Projectimport os 'start.date' : today.strftime('%Y-%m-%d'), # Can we pass this as an arg
浏览 1
提问于2015-05-08
得票数 6
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
深入浅出Spark(三):Spark调度系统之“权力的游戏”
JVM CPU Profiler技术原理及源码深度解析
掌握以下电脑计算机网络知识,做名黑客真容易
socket 通信必知必会|Python 标准库
42图揭秘,「后端技术学些啥」
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券