腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在
Java
Spark
应用程序
中
获取
EMR
集群
ID
java
、
apache-spark
、
jar
、
amazon-emr
我有用
Java
编写的
Spark
应用程序
,并通过AWS
EMR
执行它。我希望
在
Java
代码
中
获得
EMR
集群
的
ID
。我试过使用下面的代码: String emrClusterID = System.getenv("
EMR
_CLUSTER_
ID
"); 但它返回null
集群
ID
。我不希望使用
EMR
来
获取</e
浏览 23
提问于2021-09-17
得票数 0
回答已采纳
3
回答
如何从提交的
spark
应用程序
步骤
中
获取
AWS
EMR
集群
id
和步骤
id
amazon-web-services
、
scala
、
apache-spark
、
amazon-emr
场景: 我
在
AWS
EMR
中
运行
Spark
Scala作业。现在,我的工作转储了该
应用程序
独有的一些元数据。现在为了转储,我在位置"s3://bucket/key/<APPLICATION_
ID
>“
中
写入,其中ApplicationId为val APPLICATION_
ID
: String = getSparkSession.sparkContext.getConf.getAppId现在基本
浏览 0
提问于2020-09-13
得票数 2
1
回答
这有可能从AWS
EMR
获得纱线应用状态吗?
java
、
amazon-web-services
、
apache-spark
、
hadoop-yarn
、
emr
上下文这些
应用程序
是由Yarn策划的。期望/问题那么,可以从AWS
EMR
获得纱线应用状态吗?
在
我的
应用程序
<
浏览 2
提问于2017-11-13
得票数 2
3
回答
AWS
EMR
火花1.0
amazon-web-services
、
apache-spark
、
emr
有没有办法强迫亚马逊
EMR
使用
Spark
1.0.1?当前可选择的版本停留在1.4.1。我
在
MLlib中使用交替的最小二乘实现,自v1.1以来,它们已经实现了加权正则化,并且出于特定的原因(研究研究),我不希望这个实现,而是我试图访问他们
在
v1.0
中
实现的非加权正则化版本。
浏览 5
提问于2016-03-28
得票数 0
回答已采纳
1
回答
在
最新的AWS
EMR
(5.13.X)上安装(引导)最新的
Spark
时出错
amazon-web-services
、
apache-spark
、
emr
我一直
在
尝试通过引导
在
最新的
EMR
(5.13.X)
集群
上安装
Spark
,使用以下Terraform,但没有成功。是否准备好使用最新的
Spark
/
emr
版本、可启动脚本或其他解决方案来使用Terraform?bootstrap_action = {n
浏览 8
提问于2018-05-08
得票数 0
1
回答
是否有可能等到
EMR
集群
被终止?
scala
、
amazon-web-services
、
apache-spark
、
amazon-emr
、
aws-step-config
我正在尝试编写一个组件,它将启动一个
EMR
集群
,
在
该
集群
上运行一个
Spark
管道,然后
在
管道完成后关闭该
集群
。val runSparkJob = new S
浏览 0
提问于2019-06-13
得票数 2
回答已采纳
2
回答
通过记录器的
Java
Spark
应用程序
日志未显示
在
EMR
日志
中
java
、
apache-spark
、
logging
、
amazon-emr
我有一个
在
EMR
上运行的
Spark
java
应用程序
。当我尝试
在
本地运行
spark
作业登录到
EMR
实例时,我从控制台上的EC2
应用程序
获得了我的Logger信息。/usr/lib/
spark
/bin/
spark
-submit --class com.myproject.MyMainSparkClass --conf '
spark</
浏览 0
提问于2019-05-29
得票数 0
1
回答
Spark
能否
在
没有电子病历的情况下访问DynamoDb
apache-spark
、
amazon-dynamodb
、
spark-streaming
、
amazon-emr
我有一组亚马逊网络服务实例,其中Apache Hadoop发行版和apache
spark
被设置。我试图通过
Spark
streaming访问DynamoDb来读写表,但在编写
Spark
- DynamoDB代码的过程
中
,我了解到需要
emr
-ddb-hadoop.jar来
获取
DynamoDB输入格式和只存在于
EMR
集群
中
的OutputFormat。
在
查看了一些博客之后,似乎只有使用
EMR
Sp
浏览 0
提问于2016-04-07
得票数 2
1
回答
如何
获取
AWS
EMR
集群
中
某个步骤的状态?
amazon-web-services
、
apache-spark
、
aws-sdk
、
amazon-emr
我正在尝试创建
EMR
集群
并执行
spark
Job。 .withApplications(
spark
) .withServiceRole("
EMR
_DefaultRoleException in thread "main" com.amazonaws.servic
浏览 0
提问于2017-09-28
得票数 3
4
回答
在
amazon上添加postgresql
apache-spark
、
amazon
、
pyspark
、
apache-spark-sql
、
emr
如何在命令行中使用
SPARK
_CLASSPATH,如Found both
spark
.executor.extraClassPath and
SPARK
_CLASSPATH.我
在
使用
EMR
4.2版 谢谢
浏览 10
提问于2016-05-10
得票数 1
回答已采纳
4
回答
在
EMR
上向
Spark
添加JDBC驱动程序
jdbc
、
apache-spark
、
amazon-emr
我正在尝试将JDBC驱动程序添加到
在
Amazon之上执行的
Spark
集群
中
,但我一直得到以下内容: 使用addJar显式地从代码
中
添加驱动程序Jar。使用
spark
.executor.extraClassPath
spark
.driver.extraClassPath参数。使用
spark
.driver.userClassPathFirst
浏览 3
提问于2015-09-24
得票数 3
3
回答
如何添加
EMR
火花步骤?
amazon-web-services
、
apache-spark
、
amazon-emr
根据
浏览 1
提问于2020-05-09
得票数 2
回答已采纳
2
回答
在
Amazon
EMR
4.0.0上,设置/etc/
spark
/conf/
spark
-env.conf无效
amazon-web-services
、
apache-spark
、
apache-spark-sql
、
emr
我
在
Amazon
EMR
上启动了我的基于
spark
的hiveserver2,它有一个额外的类路径依赖。由于Amazon
EMR
中
的此错误: 所以我必须修改/etc/
spark
/conf/
spark
-env.conf来添加额外的类路径:
SPA
浏览 0
提问于2015-09-30
得票数 2
3
回答
获取
emr
-ddb-hadoop.jar以连接DynamoDB和
EMR
Spark
hadoop
、
amazon-web-services
、
apache-spark
、
amazon-dynamodb
我有一个DynamoDB表,需要连接到
EMR
Spark
SQL才能在该表上运行查询。我得到了
EMR
Spark
Cluster,上面有版本标签
emr
-4.6.0和
Spark
1.6.1。我指的是文档:
spark
-shell --jars /usr/share/aws/
emr
/ddb/lib/
emr
-ddb-hadoop.jar
浏览 3
提问于2016-05-06
得票数 5
2
回答
如何在
EMR
集群
AWS中使用
java
运行时11
java
、
apache-spark
、
amazon-emr
、
java-11
我正在
EMR
中
创建一个
集群
,当
spark
运行我的
应用程序
时,我会在下面得到错误:com/example/demodriver/MyClassFromJAR has been compiled by a more recent version of the
Java
Runtime(cl
浏览 31
提问于2022-01-27
得票数 4
回答已采纳
2
回答
使用lambda函数创建带有
spark
步骤的AWS
EMR
集群
失败时出现"Local不存在“
amazon-web-services
、
apache-spark
、
aws-lambda
、
amazon-emr
我正在尝试使用Lambda函数使用星火步骤来旋转
EMR
集群
。") Name='LSR Batch Testrun', JobFlowRole='
EMR
_EC2_DefaultRole', VisibleToAllUsers=T
浏览 3
提问于2018-07-27
得票数 3
回答已采纳
1
回答
在
amazon
emr
上运行时,应指定哪些内容作为
spark
master
apache-spark
、
amazon-emr
斯帕克有
在
使用
EMR
web界面创建新
集群
时,可以添加一个自定义步骤,
在
集群
启动时执行
Spark
应用程序
,基本上是
在
集群
启动后自动执行
spark
-submit。我一直在想,
在
启动
EMR
集群
并通过指定的
EMR
步骤提交jar文件时,如何在
应用程序
中指定SparkConf的主节点?事先不可能知道
集群
主机的IP,如果我
浏览 1
提问于2016-12-09
得票数 4
1
回答
如何在AWS
EMR
上安装
Java
11
amazon-web-services
、
apache-spark
、
amazon-emr
、
amazon-eks
我正试图
在
EMR
及以下安装
java
11,这是我的docker文件。下面是命令am用于将作业提交到
集群
中
,并在作业提交中使用
spark
.kubernetes.container.image,如下所示 --name=testSparkReaderWithDocker \ --e
浏览 10
提问于2022-08-01
得票数 1
1
回答
AWS
EMR
Spark
--属性-未找到文件类com.amazon.ws.
emr
.hadoop.fs.EmrFileSystem
amazon-web-services
、
apache-spark
、
amazon-emr
我正在尝试使用以下命令从AWS
EMR
emr
-5.20.0主节点提交
Spark
申请:
spark
-submit --executor-memory 4g --deploy-mode clusterproperties-file config.conf s3://example-jobs/application.jar 但它失败了,并显示以下错误: Exception in thread "main"
java
.lang.RuntimeException:
浏览 142
提问于2019-02-28
得票数 0
回答已采纳
1
回答
AWS步骤函数
EMR
PySpark任务步骤失败
amazon-web-services
、
apache-spark
、
pyspark
、
amazon-emr
、
aws-step-functions
jar /var/lib/aws/
emr
/step-runner/hadoop-jars/command-runner.jar
spark
-submit --deploy-mode cluster s3/hadoop-jars/command-runner.jar
spark
-submit --deploy-mode cluster s3://
emr
/scripts/aggregate.py -
浏览 39
提问于2021-09-23
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
AWS EMR在搭建大数据平台ETL中的应用实践
Komodo Health 公司如何在 EKS 与 EMR 6 上使用多租户 Notebook 平台建立自助服务分析方案
EMR 实战心得浅谈
如何构建智能湖仓架构?亚马逊工程师的代码实践
Apache Spark 3.0新特性在FreeWheel核心业务数据团队的应用与实战
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券