腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
为
emr
上
的``
spark
submit`作业
指定
marksweep
apache-spark
、
garbage-collection
、
jvm
、
amazon-emr
在
emr
上
运行
spark
-submit作业时,我
如何
指定
希望jvm使用MarkSweep gc?我可以与作业(即
spark
-submit -- conf...)一起提交它吗?如果可以,命令是什么?这是否必须在
spark
启动时设置,如果是,我
如何
在
emr
配置
中
指定
? 谢谢!
浏览 5
提问于2019-03-26
得票数 0
回答已采纳
1
回答
AWS
EMR
容器未使用所有可用内核
apache-spark
、
hadoop-yarn
、
amazon-emr
我有一个
EMR
集群,它正确地派生了6个执行器,每个执行器有4个核心。当
spark
作业
在
集群
上
运行时
,它创建了6个容器,每个容器只分配了1个核心,
如何
指定
每个容器分配的核心数量?相关
配置
:
spark
.executor.cores: 4 yarn.scheduler.minimum.allocation.vcores: 4
浏览 0
提问于2021-08-06
得票数 0
2
回答
在
EMR
上
运行时
如何
指定
Spark
配置
?
amazon-web-services
、
apache-spark
、
amazon-emr
、
aws-step-config
因此,我尝试
在
EMR
上
运行
Spark
管道,并创建一个步骤,如下所示: // Build the
Spark
job submission request .withMainClass("com.example.SparkApp") ) 问题是,当我运行这段代码时,我遇到了一个异常,如下所示: org.apache.
spark
.SparkExcept
浏览 19
提问于2019-07-03
得票数 1
回答已采纳
2
回答
星星之火-从外部AWS
EMR
集群提交
amazon-web-services
、
pyspark
、
amazon-emr
、
spark-submit
我有一个AWS
EMR
集群运行火花,我想提交一个PySpark作业从我的笔记本电脑(-主纱),以集群模式运行。我知道我需要在笔记本电脑
上
设置一些
配置
,但我想知道最低
配置
是什么。我是否只需要集群主节点中的一些
配置
文件?如果是的话,哪一个?或者我需要在本地机器
上
安装hadoop或纱线?我已经搜索了相当多的答案,但我还不能确定我读到的内容是指从集群的主人或一些任意的笔记本电脑
上
启动一项工作……
浏览 0
提问于2018-06-07
得票数 1
回答已采纳
1
回答
EMR
集群
配置
模板中的多个值
amazon-web-services
、
terraform
、
amazon-emr
在
我的
EMR
模块中,我有一个部署
在
集群
配置
中的模板,其中包括变量
emr
_cluster_applications中
指定
的给定分类类型的所有集群
配置
需求,例如
Spark
、Hadoop、Hive。视觉:
emr
_cluster_conf
浏览 4
提问于2022-04-26
得票数 1
1
回答
腾讯云DLC的
spark
任务
如何
指定
JDK版本?
spark
、
jdk
、
数据湖计算 DLC
、
腾讯云
、
程序
DLC默认JDK版本1.8,我的
spark
任务使用JDK17,之前在运行
EMR
上
,
在
各节点安装JDK17,并通过
spark
submit
指定
单个程序的JDK 路径即可运行,
配置
参数如下:
spark
.yarn.appMasterEnv.JAVA_HOME与
spark
.executorEnv.JAVA_HOME。而DLC
上
可以
配置
参数,但是无法分发JDK包。请问
如何
让这个程序运行在D
浏览 61
提问于2024-04-08
1
回答
EMR
:
Spark
应用程序
在
引导时可用吗?
amazon-web-services
、
apache-spark
、
emr
我正在尝试使用CLI使用
Spark
启动一个
EMR
集群,其中我将
Spark
指定
为。我还有一些引导脚本,可以
在
Spark
上
配置
IPython notebooks之类的东西。但是,当我尝试
在
我的引导脚本(/usr/bin/
spark
或/usr/lib/
spark
/bin)中引用公共
Spark
位置时,我得到了not fo
浏览 0
提问于2015-08-29
得票数 1
1
回答
AWS
EMR
Spark
--属性-未找到文件类com.amazon.ws.
emr
.hadoop.fs.EmrFileSystem
amazon-web-services
、
apache-spark
、
amazon-emr
我正在尝试使用以下命令从AWS
EMR
emr
-5.20.0主节点提交
Spark
申请:
spark
-submit --executor-memory 4g --deploy-mode clusterin thread "main" java.lang.RuntimeException: java.lang.ClassNotFoundException: Class com.amazon.ws.
emr
.hadoop.fs.EmrFileSystem
如何
正确地将属性文件传
浏览 142
提问于2019-02-28
得票数 0
回答已采纳
2
回答
使用Terraform为
EMR
上
的Presto/
Spark
启用胶水目录的选项
terraform
、
amazon-emr
、
terraform-provider-aws
我想知道
在
EMR
.Could
上
运行时
,是否支持为Presto/
Spark
启用aws glue目录在文档中找不到任何东西。
浏览 29
提问于2019-02-28
得票数 0
回答已采纳
2
回答
如何
将电子病历
配置
为通过用户访问Id和密钥从S3存储桶中读取
amazon-web-services
、
amazon-s3
、
amazon-iam
、
amazon-emr
有没有办法读取不在您的亚马逊网络服务账户中的S3存储桶,并且您不能承担访问它的角色-特别是
在
电子病历中。
在
普通的Hadoop或
Spark
中,您可以
指定
:fs.s3.secret.ket=<secretKey>
在
Hadoop
配置
中使用SimpleAWSCredentialsProvider这在本地是有效的,但是当尝试
在
使用
EMR
的
EMR
上</e
浏览 1
提问于2020-05-05
得票数 0
1
回答
在
amazon
emr
上
运行时
,应
指定
哪些内容作为
spark
master
apache-spark
、
amazon-emr
斯帕克有
在
使用
EMR
web界面创建新集群时,可以添加一个自定义步骤,
在
集群启动时执行
Spark
应用程序,基本
上
是
在
集群启动后自动执行
spark
-submit。我一直在想,
在
启动
EMR
集群并通过
指定
的
EMR
步骤提交jar文件时,
如何
在应用程序中
指定
SparkConf的主节点?事先不可能知道集群主机的IP,如果我手动启动集群,然后
在
调用
sp
浏览 1
提问于2016-12-09
得票数 4
2
回答
EMR
引导操作何时运行?
hadoop
、
amazon-web-services
、
apache-spark
、
pyspark
服务器一直被终止说 有什么线索吗? 谢谢!
浏览 3
提问于2016-05-12
得票数 3
回答已采纳
1
回答
AWS
EMR
Airflow: Postgresql连接器
postgresql
、
amazon-web-services
、
airflow
、
amazon-emr
不幸的是,据我所知,该连接器
在
EMR
中默认不可用,因此出现以下错误: Traceback (most recent call last): at java.lang.Thread.run(Thread.java:748)
如何
确保电子病历启动时包含_folder }}/scripts/postgresql-
浏览 36
提问于2021-10-13
得票数 0
回答已采纳
3
回答
获取
emr
-ddb-hadoop.jar以连接DynamoDB和
EMR
Spark
hadoop
、
amazon-web-services
、
apache-spark
、
amazon-dynamodb
我有一个DynamoDB表,需要连接到
EMR
Spark
SQL才能在该表
上
运行查询。我得到了
EMR
Spark
Cluster,上面有版本标签
emr
-4.6.0和
Spark
1.6.1。我指的是文档:
spark
-shell --jars /usr/share/aws/
emr
/ddb/lib/
emr
-ddb-ha
浏览 3
提问于2016-05-06
得票数 5
1
回答
气流/Amazon: VPC/subnet
配置
无效:需要子网:
指定
的实例类型m5.xlarge只能在VPC中使用
python
、
amazon-web-services
、
apache-spark
、
airflow
、
amazon-emr
我想要创建一个通过亚马逊
EMR
上
的气流触发的
emr
集群。
emr
集群显示
在
Amazon的UI中,但是出现了一个错误::VPC/子网
配置
无效:需要子网:
指定
的实例类型m5.xlarge只能在VPC"中使用提示:已经创建了网
浏览 4
提问于2021-04-23
得票数 3
1
回答
从S3事件触发AWS
EMR
火花作业
java
、
amazon-web-services
、
apache-spark
、
amazon-s3
、
amazon-emr
我正在考虑使用AWS来针对存储
在
S3
上
的非常大的Parquet文件运行一个
Spark
应用程序。这里的总体流程是一个Java进程将这些大型文件上传到S3,我想自动触发在这些文件
上
运行一个
Spark
作业(注入了上传的文件的S3密钥名)。理想情况下,会有某种基于S3的
EMR
触发器可供连接;也就是说,我将
EMR
/
Spark
配置
为“侦听”一个S3桶,并在上端人员到达该桶时启动一个火花作业。Lambda的技术,我不太确定触发
EM
浏览 7
提问于2020-03-14
得票数 1
回答已采纳
1
回答
AWS管理自动标度吗?
amazon-web-services
、
pyspark
、
sdk
、
amazon-sagemaker
我正在使用Sagemaker进行预处理和生成培训数据,我遵循的是文档,但我目前看不到
如何
在
EMR
集群中
指定
自动标度。我是否应该将AutoScaling
配置
放在configuration对象中的run()对象中? ) 对于这些类型的任务,我习惯于通过Python更直接地与
EMR
进行交互。这样我就可以同时
指定
整个
EMR
集群<
浏览 3
提问于2021-04-01
得票数 0
2
回答
如何
从本地运行的
Spark
Shell连接到
Spark
EMR
apache-spark
我已经创建了一个
Spark
EMR
集群。我希望
在
本地主机或
EMR
集群
上
执行作业。假设我
在
本地计算机上运行
spark
-shell,我
如何
告诉它连接到
Spark
EMR
集群,要运行的确切
配置
选项和/或命令是什么?
浏览 2
提问于2016-06-06
得票数 5
1
回答
在
EMR
集群
上
提交
Spark
作业时,
如何
避免java.lang.NoClassDefFoundError?
java
、
apache-spark
、
hbase
、
amazon-emr
、
spark-submit
我的星火应用程序成功地运行在我的本地机器
上
。我使用Hbase Docker容器,从它将数据加载到我的
Spark
应用程序中。现在我已经创建了
EMR
集群,安装了
Spark
和Hbase。当我试图提交JAR文件时,请购买以下异常:
在
本地运行我的应用程序时,我可以通过向--jars添加
spark
-subm
浏览 3
提问于2021-02-15
得票数 0
2
回答
设置Jupyter Pyspark
在
EC2和
EMR
之间工作
amazon-web-services
、
apache-spark
、
amazon-ec2
、
pyspark
、
jupyter-notebook
我
在
EMR
里运行了一个
spark
集群。我还有一台运行在第二台EC2机器
上
的jupyter笔记本电脑。我想通过jupyter
在
我的EC2实例
上
使用
spark
。我正在寻找有关
如何
配置
spark
以从EC2访问
EMR
集群的参考资料。搜索给我的只是关于
如何
在
EMR
或EC2
上
设置
spark
的指南,而不是
如何
从另一个上访问它
浏览 18
提问于2017-06-28
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Apache Spark 3.0新特性在FreeWheel核心业务数据团队的应用与实战
Komodo Health 公司如何在 EKS 与 EMR 6 上使用多租户 Notebook 平台建立自助服务分析方案
AWS EMR在搭建大数据平台ETL中的应用实践
EMR 实战心得浅谈
朴朴基于AWS EMR的数据沙盒平台演变
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券