腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(1026)
视频
沙龙
1
回答
如何将
documentdb
连
接到
emr
实例
中
的
spark
应用程序
apache-spark
、
amazon-ec2
、
amazon-emr
、
aws-documentdb
、
aws-documentdb-mongoapi
当我试图在
EMR
实例
中使用mongodb配置
spark
时,我遇到了错误。以下是命令-
spark
-shell --conf "
spark
.mongodb.output.uri=mongodb://admin123:Vibhuti21!replicaSet=rs0&readPreference=secondaryPreferred&retryWrites=false" "
spark
.mongodb.output.collec
浏览 35
提问于2021-09-18
得票数 0
2
回答
设置Jupyter Pyspark在EC2和
EMR
之间工作
amazon-web-services
、
apache-spark
、
amazon-ec2
、
pyspark
、
jupyter-notebook
我在
EMR
里运行了一个
spark
集群。我还有一台运行在第二台EC2机器上
的
jupyter笔记本电脑。我想通过jupyter在我
的
EC2
实例
上使用
spark
。我正在寻找有关如何配置
spark
以从EC2访问
EMR
集群
的
参考资料。搜索给我
的
只是关于如何在
EMR
或EC2上设置
spark
的
指南,而不是如何从另一个上访问它们。我在这里看到了类似的问题: 然而,那里
的
浏览 18
提问于2017-06-28
得票数 0
1
回答
spark
.dynamicAllocation
的
EMR
配置与火花官方文档不匹配
hadoop
、
apache-spark
、
emr
、
amazon-emr
根据官方
的
火花文件(),当你在纱线上使用"
spark
.dynamicAllocation“选项时,你需要: 我注意到,
EMR
节点上
的
“纱线-站点”
中
浏览 2
提问于2016-07-05
得票数 2
回答已采纳
1
回答
如何将
AWS胶与Document DB连接
aws-glue
、
aws-documentdb
有人知道
如何将
Glue与Document连接起来吗?不幸
的
是,我遵循
的
AWS博客https://aws.amazon.com/blogs/big-data/building-aws-glue-
spark
-etl-jobs-using-amazon-
documentdb
-with-mongodb-compatibility-and-mongodb我遵循
的
步骤 endpointCreated 创建了Doc安全组以打开端口27017使用个人帐户
浏览 9
提问于2022-03-21
得票数 0
回答已采纳
1
回答
无法使用Amazon
EMR
访问
Spark
主节点中
的
flask
amazon-web-services
、
api
、
flask
、
pyspark
、
amazon-emr
我想了解是否可以使用连
接到
Amazon
EMR
中
实现
的
Spark
master节点
的
flask
应用程序
。目标是从web
应用程序
调用Flask来检索
spark
输出。端口在amazon
EMR
集群
的
安全组
中
是开放
的
,但我无法从他
的
端口外部访问它。 你觉得那个怎么样?还有其他
的
解决方案吗?
浏览 17
提问于2020-07-06
得票数 0
回答已采纳
2
回答
Spark
Thrift服务器与Apache Thirft
的
关系
apache-spark
Spark
Thrift服务器是Hive
的
接口,但是
Spark
Thrift服务器如何使用Apache Thrift通过二进制协议/rpc与Hive通信?
浏览 27
提问于2017-08-14
得票数 5
回答已采纳
2
回答
在
EMR
上获取和设置闪烁驱动/Executor.exClassPath
apache-spark
、
emr
据我所知,当将
spark
.driver.extraClassPath和
spark
.executor.extraClassPath设置/使用在
spark
-defaults.conf内或其他地方
的
AWS上作为标志时,我必须首先获得[...].extraClassPath设置
的
现有值,然后追加:/my/additional/classpath以使其工作。在/etc/
spark
/conf/
spark
浏览 0
提问于2016-06-10
得票数 2
回答已采纳
1
回答
气流/Amazon: VPC/subnet配置无效:需要子网:指定
的
实例
类型m5.xlarge只能在VPC中使用
python
、
amazon-web-services
、
apache-spark
、
airflow
、
amazon-emr
我想要创建一个通过亚马逊
EMR
上
的
气流触发
的
emr
集群。
emr
集群显示在Amazon
的
UI
中
,但是出现了一个错误::VPC/子网配置无效:需要子网:指定
的
实例
类型m5.xlarge只能在VPC"中使用 下面是在气流脚本中使用
的
用于此任务
的
json格式
的
代码片段和配置详细信息我
的
问题是
如何将
有关VPC和子网
的
信
浏览 4
提问于2021-04-23
得票数 3
1
回答
AWS
EMR
Spark
--属性-未找到文件类com.amazon.ws.
emr
.hadoop.fs.EmrFileSystem
amazon-web-services
、
apache-spark
、
amazon-emr
我正在尝试使用以下命令从AWS
EMR
emr
-5.20.0主节点提交
Spark
申请:
spark
-submit --executor-memory 4g --deploy-mode clusterin thread "main" java.lang.RuntimeException: java.lang.ClassNotFoundException: Class com.amazon.ws.
emr
.hadoop.fs.EmrFileSystem如何正确地将属性文件传递到AWS <em
浏览 142
提问于2019-02-28
得票数 0
回答已采纳
3
回答
如何从电子病历连
接到
GCS
scala
、
apache-spark
、
google-cloud-platform
、
amazon-emr
我们有一个在
EMR
集群上运行
的
火花流
应用程序
,我们需要将流数据存储到
中
。 请大家帮帮我。
浏览 2
提问于2019-02-28
得票数 0
1
回答
配置
spark
-submit到远程AWS
EMR
集群
apache-spark
、
amazon-ec2
、
hadoop-yarn
、
airflow
、
amazon-emr
我们正在一个EC2
实例
上构建一个airflow服务器,该服务器与
EMR
集群通信以运行
spark
作业。我们正在尝试提交一个BashOperator DAG,它为一个简单
的
字数统计
应用程序
运行
spark
-submit命令。下面是我们
的
spark
提交命令: .到目前为止,我们已经在.bashrc
的
EC2
实例
中将HADOOP_CONF_DIR和YARN_CONF_DIR设置为/etc/hadoop
浏览 0
提问于2019-07-19
得票数 0
1
回答
覆盖AWS
EMR
主节点上
的
默认aws-sdk jar
java
、
amazon-web-services
、
apache-spark
、
amazon-emr
在
EMR
主节点上运行我
的
应用程序
时遇到了一个问题。它需要访问版本1.11
中
添加
的
一些AWS SDK方法。所有必需
的
依赖项都被捆绑到一个胖jar
中
,
应用程序
在我
的
dev box上按预期工作。但是,如果在电子病历主节点上执行
应用程序
,则在调用方法时会失败,并出现NoSuchMethodError异常,在AWS SDK版本1.11+
中
添加,例如 java.lang.NoSuchMethodErroremr
浏览 11
提问于2017-01-17
得票数 3
回答已采纳
1
回答
开发连
接到
azure CosmosDB
的
scala
spark
应用
scala
、
azure
、
apache-spark
、
spark-dataframe
、
azure-cosmosdb
我正在开发连
接到
cosmosDB
的
scala
spark
应用程序
,但无法解决SBT
中
的
依赖问题。每当我包含org.apache.
spark
时,它就会与azure-cosmosdb
spark
冲突,如果我去掉org.apache.
spark
,我就无法让
spark
sparkSession来解决问题。我
的
SBT配置:version := "
浏览 1
提问于2018-03-19
得票数 0
2
回答
通过记录器
的
Java
Spark
应用程序
日志未显示在
EMR
日志
中
java
、
apache-spark
、
logging
、
amazon-emr
我有一个在
EMR
上运行
的
Spark
java
应用程序
。当我尝试在本地运行
spark
作业登录到
EMR
实例
时,我从控制台上
的
EC2
应用程序
获得了我
的
Logger信息。/usr/lib/
spark
/bin/
spark
-submit --class com.myproject.MyMainSparkClass --conf '<e
浏览 0
提问于2019-05-29
得票数 0
3
回答
使用亚马逊
的
"maximizeResourceAllocation“设置
的
Spark
+
EMR
不会使用所有内核/vcore
apache-spark
、
hadoop-yarn
、
emr
、
amazon-emr
、
elastic-map-reduce
我正在为
Spark
运行一个电子病历集群(版本
emr
-4.2.0),使用亚马逊特定
的
maximizeResourceAllocation标志,就像文档
中
记录
的
一样。根据这些文档,“此选项计算核心节点组
中
节点上
的
executor可用
的
最大计算和内存资源,并使用此信息设置相应
的
spark
-defaults设置”。我正在运行集群,对工作节点使用m3.2xlarge
实例
。我使用了一个单独
的
m
浏览 0
提问于2015-12-01
得票数 20
1
回答
使用PySpark连接Mysql,但返回“要求失败:驱动程序无法打开JDBC连接”
mysql
、
apache-spark
、
pyspark
、
amazon-emr
我在AWS
EMR
上运行一个星火
应用程序
。我尝试使用
Spark
连
接到
MySQL数据库,如下所示: password='password', ).lo
浏览 11
提问于2022-06-27
得票数 0
回答已采纳
1
回答
如何在aws
emr
中
为pyspark executor设置环境变量?
pyspark
、
amazon-emr
我有一个运行pyspark
应用程序
(或在AWS
EMR
中
称为steps )
的
aws
emr
集群。我想为pyspark
应用程序
设置环境变量,并将其放入集群配置
中
(在googling搜索之后): [ "Classification": "
spark
-defaults", "
spark
.executorE
浏览 14
提问于2020-09-21
得票数 0
回答已采纳
1
回答
如何在没有
Spark
-Shell
的
情况下从AWS控制台运行
Spark
jar文件
amazon-web-services
、
jar
、
apache-spark
、
emr
我正在尝试在AWS
EMR
控制台(Amazon Web Services)上运行
Spark
应用程序
。在jar
中
编译
的
Scala脚本将SparkConf设置作为参数或字符串: .setAppName("WikipediaGraphXPageRank], classOf[PRMessage])) 但是,在上传jar并设置集群时,我不知道
如何将
Master-URL参数和其他参数传递给jar。需要明确
的</em
浏览 3
提问于2015-04-15
得票数 0
2
回答
如何将
电子病历配置为通过用户访问Id和密钥从S3存储桶
中
读取
amazon-web-services
、
amazon-s3
、
amazon-iam
、
amazon-emr
有没有办法读取不在您
的
亚马逊网络服务账户
中
的
S3存储桶,并且您不能承担访问它
的
角色-特别是在电子病历
中
。在普通
的
Hadoop或
Spark
中
,您可以指定:fs.s3.secret.ket=<secretKey> 在Hadoop配置中使用SimpleAWSCredentialsProvider这在本地是有效
的
,但是当尝试在使用
EMR
<em
浏览 1
提问于2020-05-05
得票数 0
2
回答
如何在Amazon
实例
中
安装s3cmd
amazon-s3
、
emr
、
amazon-emr
、
s3cmd
我正在构建一个Apache
应用程序
,该
应用程序
在创建集群
的
实例
.For
中
执行,然后将步骤添加到集群
中
以执行
Spark
应用程序
。 在
中
,我需要对S3执行读/写操作。为了与S3服务进行交互,我需要在
EMR
实例
中
安装s3cmd。此外,在创建
EMR
集群时,我需要使用--引导-application安装和配置s3cmd。但是,我需要有关如何使用引导
应用程
浏览 1
提问于2015-09-03
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Komodo Health 公司如何在 EKS 与 EMR 6 上使用多租户 Notebook 平台建立自助服务分析方案
如何从Pandas迁移到Spark?这8个问答解决你所有疑问
Zzreal的大数据笔记-SparkDay03
Android Things 物联网教程:使用 Firebase 同步 Android Things
Invent 2021亚马逊云科技新输出:芯片、5G、Serverless、机器学习、大机迁移……
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
云直播
实时音视频
活动推荐
运营活动
广告
关闭
领券