1回答
我在使用Amazon web服务方面是新手，我正尝试在它上构建一个集群来运行我的mapreduce作业。我创建了一个AWS帐户，一个存储桶"xxxx“和一个密钥对"rania”。我跟随这篇文章创建了这个集群。我在我的ubunto控制台上运行了以下代码：region="<eu-west-1>"
aws <
浏览 4提问于2017-07-11得票数 0
2回答
我有一个现有的EMR集群。如何在其上安装RStudio。我看到了很多关于在电子病历上安装RStudio的引导操作的说明。但根据我的理解，它们是在创建新集群时使用的。如何在已经存在的EMR集群上安装Rstudio (如果还没有安装Hbase )？
浏览 0提问于2016-09-13得票数 0
我有一个由slurm管理的aws HPC自动扩展集群，我可以使用sbatch提交作业，但是我想在此集群上使用spraklyr，以便slurm根据R脚本中sparklyr代码的工作负载增加集群大小。这个是可能的吗？
浏览 39提问于2021-05-21得票数 0
回答已采纳
在aws emr启动后，我注意到它有一个ec2实例配置文件EMR_EC2_DefaultRole和一个emr角色EMR_DefaultRole，它们具有类似的权限，那么EMR_EC2_DefaultRole和EMR_DefaultRole之间有什么不同呢？
浏览 0提问于2019-01-10得票数 11
回答已采纳
我需要为spark作业创建一个AWS EMR集群，其中有一个主节点和4个具有自动扩展功能的核心节点。我需要有不同的实例类型的主和核心与Ubuntu 16.0安装在它上。
浏览 0提问于2018-10-04得票数 0
我写了一个spark程序，需要在EMR集群上执行。但是python程序使用了一些依赖文件和模块。那么有没有办法在一个正在运行的集群上设置依赖组件呢？我们是否可以挂载s3存储桶并挂载该集群节点，并且可以将所有依赖组件放在s3上？这是一个好主意吗，以及如何使用Python将s3存储桶挂载到电子病历上？
浏览 0提问于2018-10-25得票数 0
我们有一个红移集群，不是在VPC中的，我一直试图从VPC中的EMR集群(连接互联网网关)连接到它，到目前为止没有运气。我想知道是否有可能做到这一点。注意-我已经尝试在VPC公共子网中启动一个新的红移群集，并且能够从同一个子网中的EMR连接到它。
浏览 0提问于2020-08-05得票数 0
回答已采纳
只是一个简单的问题。当我在EMR集群中创建和运行步骤时。亚马逊开始充电的确切时间是什么时候？是否包含集群启动、引导、销毁时间费用？
浏览 1提问于2017-07-01得票数 2
See the SageMaker Spark Github repo under sagemaker-pyspark-sdk<ipython-input-6-c8f6fff0daaf> in <module>
19 # to learn how to connect to a remote EMR我也在使用SageMaker的内核库中的SparkMagic内核。
浏览 20提问于2021-01-18得票数 2
回答已采纳
我已经编写了一个sparkR代码，并想知道我是否可以使用EMR集群上的submit或sparkR提交它。(.libPaths(), '/usr/lib/spark/R/lib'))
#was inst
浏览 9提问于2017-11-09得票数 4
2回答
在EMR星火上使用木星笔记本
、、、、
我是新的火花和AWS，我试图安装木星在我的星系团(EMR)，我不能打开木星笔记本在我的浏览器在最后。我可以访问EC2实例的IP地址以及端口22和8080。I不允许访问EM
浏览 0提问于2016-05-19得票数 4
嗨，我是AWS世界的新手，我在连接Python到Redshift数据库方面需要帮助。在没有使用任何第三方服务的情况下，我如何才能不提供凭据，因为我正在电子病历上运行它。
浏览 2提问于2021-12-06得票数 0
1回答
我已经在amazon web服务中设置了EMR集群，有1个主服务器和2个从服务器。我不知道是否应该使用start-all.sh命令来启动集群上的节点。或者，如何启动EMR集群节点？
浏览 2提问于2016-04-25得票数 0
就像我想要在集群上执行基本的命令，比如mkdir，cd，curl等等，但是使用java编程。
浏览 11提问于2021-09-08得票数 0
下面的图像来自AWS本身，显示了EMR集群是如何在私有子网中配置的。很好。有趣的是，我总是使用Amazon图标来表示附图中的集群，我认识的其他人也会这样做。AWS EMR服务是什么？
浏览 6提问于2021-06-26得票数 0
回答已采纳
3回答
我想创建一个Hadoop作业，并在EC2地图Reduce上运行它。另外，我想在上传到EC2之前在本地运行该作业。
我应该在本地安装哪种版本/类型的Hadoop？我可以使用Cloudera VM吗？
浏览 2提问于2012-07-24得票数 2
回答已采纳
因此，我需要将私有CA证书安装/导入到spark驱动程序和执行器上的TrustStore文件中。s3中的这个spark脚本包含有关私有CA证书文件(.pem)所在位置(在单独的s3位置上)的信息。
我查找了一些方法来做到这一点。大多数解决方案都需要创建RDD或DataFrame，并在其上调用Map或MapPartition函数(本质上定义分区)。但对我来说，它就像一个循环依赖。我可以创建一个虚拟的DataFrame，并尝试将它们分发到所有的执
浏览 6提问于2020-07-12得票数 0
我已经在亚马逊EC2上建立了一个Hadoop集群，提供了NameNode/DataNode和其他一些服务。我的摄取作业将数据带入EC2 HDFS集群(比方说hdfs://ec2-hdfs/)。现在我有了一个以每周批处理的方式运行的管道。我正在启动一个新的Amazon EMR集群来运行我的计算。一旦处理完成，我将终止EMR集群
浏览 10提问于2019-07-16得票数 0
1回答
EMR主备节点自定义端口列表
、、、、
我正在做一个数据项目，我正在使用EMR集群进行数据处理，我的AWS环境受到限制，它不允许我使用EMR管理安全组，我需要EMR主节点和从节点的自定义端口列表。
浏览 20提问于2020-06-01得票数 0
2回答
目前，当EMR集群主机停止(关机行为:停止而不是终止)时，我们会丢失集群，因为EMR的架构考虑到一旦主机关闭，集群就会终止。我们所处的世界中，硬件故障非常常见，将来EMR主机可能会出现故障，那么我们如何恢复存储在EMR集群上的数据呢？类似地，如果核心节点关闭并尝试硬重新启动(停止并启动)；终止核心节点，则配置的核心节点将启动以满足所需的核心容量，
浏览 4提问于2017-01-18得票数 1
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
腾讯云开发者
