在Amazon EMR中安装autogluon

文章/答案/技术大牛

发布

1回答

python、amazon-web-services、jupyter-notebook、amazon-emr、mxnet

我希望能够在由电子病历集群支持的笔记本中同时使用Pyspark和AutoGluon库。我尝试使用引导脚本为EMR集群(emr-5.30.1)安装AutoGluon，安装sudo python3 -m pip install autogluon如下所示，但失败了 Running setup.pyerror: command 'gcc' failed with exit status 1 也使用引导脚本

浏览 41提问于2020-09-15得票数 0

3回答

在Amazon* Linux ec2 PEP517上安装Pip时出错*

python、amazon-ec2、pip、pep517

我正在尝试在amazon linux ec2实例上通过pip安装autogluon。到目前为止，所有其他pip安装都可以正常工作，但是pip安装autogluon会抛出以下错误： ERROR: Failed building wheel for bottleneck Failed tonot build wheels for ConfigSpace, bottleneck which use PEP 517 and cannot be installed directl

浏览 41提问于2021-03-19得票数 0

回答已采纳

2回答

在Amazon* EMR上安装Impala 2.3*

amazon-web-services、cloudera-cdh、amazon-emr、impala、cloudera-manager

Impala2.2可以安装在Amazon EMR上，因为GitHub上有Bootstrap脚本&您不需要安装Cloudera.但是，我没有看到任何在Amazon EMR上安装Cloudera CDH 5.5或5.6的方法。我想安装Impala 2.3，那么有什么方法可以在Amazon EMR上安装Impala 2.3吗？

浏览 0提问于2016-03-17得票数 2

3回答

如何在Amazon中安装sqoop？

hive、sqoop、amazon-redshift、amazon-emr

我在Amazon中创建了一个集群，并使用-emr-4.0.0。Hadoop发行版:Amazon2.6.0和Hive1.0.0。需要安装Sqoop以便我可以在Hive和Redshift之间进行通信吗？在EMR集群中安装Sqoop的步骤是什么？请求提供步骤。谢谢!

浏览 5提问于2015-08-13得票数 1

回答已采纳

2回答

安装Hudi版本。AWS EMR上的0.6.0

amazon-web-services、amazon-emr、apache-hudi

有人能帮助我在AWS EMR版本6.0.0上正确安装Hudi 0.6.0吗？我认为AWS添加了一些自定义脚本，以使Hudi在EMR中正常工作

浏览 71提问于2020-09-08得票数 0

1回答

在所有spark executors和驱动程序上执行脚本或小函数，而不使用DataFrame或RDD

apache-spark、ssl、apache-kafka、spark-structured-streaming、data-partitioning

我正在尝试使用Spark Structured Streaming从Kafka topic中读取数据。Kafka Broker启用了SSL。因此，我需要将私有CA证书安装/导入到spark驱动程序和执行器上的TrustStore文件中。s3中的这个spark脚本包含有关私有CA证书文件(.pem)所在位置(在单独的s3位置上)的信息。我查找了一些方法来做到这一点。有没有人可以建议一种更好的方法来在Driver和所有的executors上执行一个小函数，而不需要创建DataFr

浏览 6提问于2020-07-12得票数 0

2回答

Sagemaker Studio Pyspark示例失败

amazon-web-services、pyspark、jupyter-notebook、amazon-sagemaker

当我尝试在Sagemaker Studio中使用PySpark运行Sagemaker时，提供了一些示例 import os # to learn how to connect to a remote EMRcall last)

浏览 20提问于2021-01-18得票数 2

回答已采纳

2回答

terraform是否提供了创建emr笔记本的资源？

amazon-web-services、pyspark、terraform、amazon-emr、terraform-provider-aws

我已经准备好了一个临时的Emr集群，我想在emr笔记本上运行一个简单的pyspark脚本。提前谢谢。

浏览 1提问于2021-05-18得票数 0

1回答

如何在aws EMR集群上设置python spark作业的相关组件

pyspark、amazon-emr

我写了一个spark程序，需要在EMR集群上执行。但是python程序使用了一些依赖文件和模块。那么有没有办法在一个正在运行的集群上设置依赖组件呢？

浏览 0提问于2018-10-25得票数 0

1回答

AWS Spark EMR* Numpy导入错误*

amazon-web-services、numpy、pyspark、emr

我正尝试在AWS EMR上提交一个导入numpy的Python脚本，但我收到我尝试在这里使用其中一个答案：。我创建了一个bootstrap_actions.sh脚本，其中包括并且我在创建集群时运行了该脚本，但仍然收到导入错误

浏览 8提问于2017-12-11得票数 0

回答已采纳

2回答

EMR 5.4.0高可用性

amazon-emr

EMR 5.4.0是否支持资源管理器、Namenode和Hive的高可用性？如果没有同样的路线图？如果您发现任何有用的文档，请提供建议

浏览 12提问于2018-02-15得票数 1

1回答

在亚马逊EMR4.1和亚马逊EC2上安装Impala

amazon-web-services、amazon-ec2、cloudera-cdh、amazon-emr、impala

我想知道我们可以在亚马逊EMR4.1/ 4.2或亚马逊EC2上安装Impala2.1吗?？请建议如何在Amazon EMR或EC2上设置Impala2.1 ?？

浏览 1提问于2016-02-24得票数 0

1回答

如何将VPC子网中的EMR连接到EC2-经典的红移实例？

amazon-redshift、amazon-emr、amazon-vpc

我们有一个红移集群，不是在VPC中的，我一直试图从VPC中的EMR集群(连接互联网网关)连接到它，到目前为止没有运气。我想知道是否有可能做到这一点。注意-我已经尝试在VPC公共子网中启动一个新的红移群集，并且能够从同一个子网中的EMR连接到它。

浏览 0提问于2020-08-05得票数 0

回答已采纳

1回答

Spark S3写入-写入存储桶时出现获取访问被拒绝错误

apache-spark、amazon-s3

我正在尝试从S3存储桶中读取和写入文件。我在我的AWS门户中创建了IAM用户。我已经在我的EMR实例中使用相同的密钥配置了aws cli，并且能够从cli中读取文件并将文件写入特定的S3存储桶。但是当我尝试从我的spark shell中读取相同的文件时，我可以从存储桶中读取文件，但是当我尝试将相同的文件写入相同存储桶中的不同路径时，我得到了AccessDenied错误。(AmazonHttpClient.java:532) a

浏览 17提问于2019-10-28得票数 1

3回答

如何在EMR上安装cloudera impala？

hadoop、hive、cloudera、amazon-emr、impala

有没有无论如何我可以安装唯一的黑斑马没有cloudera管理器和没有cdh。我将使用hadoop的apache版本？

浏览 0提问于2013-06-18得票数 1

回答已采纳

1回答

EMR中的持久化、安装和共享卷

amazon-web-services、amazon-ec2、amazon-emr、nfs、amazon-ebs

可以将电子病历集群中的主节点作为OS目录安装在例如/mnt下 Amazon在Amaz

浏览 2提问于2018-03-29得票数 3

2回答

在Amazon* EMR中设置配置单元属性？*

amazon-web-services、hadoop、hive、amazon-emr、hive-configuration

我正在尝试使用Amazon EMR运行配置单元查询，并尝试让Apache Tez使用它，根据我的理解，这需要根据将hive.execution.engine属性设置为tez 我知道配置单元属性通常可以使用set hive.{...}设置，也可以在hive-site.xml中设置，但我不知道这两个属性如何与Amazon EMR交互/在Amazon EMR中如何实现。那么:有没有办法在

浏览 4提问于2015-08-01得票数 0

2回答

使用Terraform为EMR上的Presto/Spark启用胶水目录的选项

terraform、amazon-emr、terraform-provider-aws

我想知道在EMR.Could上运行时，是否支持为Presto/Spark启用aws glue目录在文档中找不到任何东西。

浏览 29提问于2019-02-28得票数 0

回答已采纳

2回答

使用css/html模拟图像中的垂直和水平页眉

html、css

5759px; height:100px; <img src="https://docs.aws.amazon.com/emr/latest/ReleaseGuide/images/emr-releases-5x.png" alt="Application Versions in <e

浏览 32提问于2020-01-08得票数 0

回答已采纳

1回答

EMR_EC2_DefaultRole和EMR_DefaultRole有什么不同？

amazon-web-services、amazon-emr

在aws emr启动后，我注意到它有一个ec2实例配置文件EMR_EC2_DefaultRole和一个emr角色EMR_DefaultRole，它们具有类似的权限，那么EMR_EC2_DefaultRole和EMR_DefaultRole之间有什么不同呢？

浏览 0提问于2019-01-10得票数 11

回答已采纳

点击加载更多