2回答
嗨，我想测试EMR的自定义步骤功能。 └───test └───samples
在使用mvn package构建包之后，我将其提交给emr，指定为主类com.myorg.FindMaxDate。
浏览 0提问于2019-05-13得票数 1
回答已采纳
我在AWS EMR集群上运行带有pyspark3内核的Jupyterhub。正如我们可能知道的那样，EMR上的Jupyterhub pyspark3使用Livy session在AWS EMR YARN调度器上运行工作负载。我们可以使用sparkmagic覆盖此配置：{"conf":{"spark.pyspark.python</
浏览 24提问于2021-05-17得票数 1
EMR6.8支持什么版本的Python？EMR6.8运行Spark3.3.0，支持最多3.9的Python。我在官方发布指南上找不到答案：
浏览 11提问于2022-10-16得票数 1
我试图在EMR上运行一个(py)Spark作业，它将处理大量的数据。我就是这样做的：--cluster-id %s\--region us-west-2\--executor-memory,100g,\--total-executor-cores,1,\
--conf,'<em
浏览 4提问于2016-06-29得票数 13
回答已采纳
Livy继续使用Python2.7，不管使用什么。
这是在EMR集群上运行Livy 0.6.0。通过ssh登录到EMR主节点并运行pyspark将按预期启动python3。但是，Livy一直使用python2.7。":"/usr/bin/python3"，并且在每种情况下都添加了"spark.executorEn
浏览 6提问于2021-05-03得票数 2
我注意到在将EMR笔记本附加到带有Hadoop、Spark和Livy的EMR 6.1.0集群上时，出现了一些奇怪的情况。您知道，我在主节点上安装的包在缺省的Python3内核中不可用，但在缺省的PySpark内核中可用。 当我在PySpark内核上获得主机名时，我可以看到它与我的主节点的私有DNS名相匹配。然而，当我运行Python3或终端内核时，我得到了一个不同的主机名，该主机名
浏览 12提问于2020-09-18得票数 0
当我尝试在Sagemaker Studio中使用PySpark运行Sagemaker时，提供了一些示例 import os
spark = SparkSession.builder.configcall last)
<ipython-i
浏览 20提问于2021-01-18得票数 2
回答已采纳
1回答
我们很难在EMR上运行python spark任务。aws emr add-steps --cluster-id j-XXXXXXXX --steps \Jar="command-runner.jar,2]这个脚本会运行，但它会一直运行来计算π。在本地
浏览 18提问于2016-09-21得票数 0
回答已采纳
我使用的是EMR 5.0和Spark 2.0.0。我正在尝试使用org.apache.spark.launcher.SparkLauncher从Scala spark应用程序运行子spark应用程序 var handle = new SparkLauncher()
.setAppResource("s3://my-bucket/python_
浏览 18提问于2016-09-15得票数 10
回答已采纳
1回答
我试图在一个包含大约300万行和2048列的大型矩阵上使用Spark来执行KMeans。此矩阵的大小约为76 is。但是，此矩阵存储在S3上的文件块上。我正试图通过Amazon在EC2实例上建立Spark。我曾经尝试过做出适当的配置，但在亚马逊集群上运行KMeans时却遇到了内存和磁盘错误。下面是我用来创建和配置Amazon集群的python脚本。(
Name=
浏览 2提问于2016-06-03得票数 2
2回答
我有一个pyspark代码，它既存储在AWS集群的主节点上，也存储在一个s3桶中，该桶从MySQL数据库中获取超过1.4亿行，并将列的总和存储在s3上的日志文件中。当我在主节点上提交电火花代码时，作业成功完成，输出存储在S3桶上的日志文件中。但是，当我使用这些-(在SSH-ing之后在终端上使用下面的命令向主节点提交S3存储桶上的pyspark代码)时，
spark</
浏览 15提问于2020-07-02得票数 0
1回答
是否有人有使用Pycharm调试在AWS EMR上运行的Pyspark的经验？ 我找不到任何好的指南或现有的线程重新评级这一点。我知道如何在EMR上使用Intellij调试Scala-Spark，但我没有使用Python进行调试的经验。我知道能够连接到远程服务器使用ssh (EMR Master)，也许与专业版我可以使用远程部署功能来运行我的spark作业使用Pycharm，但我不确定它是否会工作，
浏览 13提问于2021-01-11得票数 6
3回答
我是EMR新手，现在我不能在EMR上运行我的Spark应用程序。我的问题是如何在EMR上执行$start-master.sh和$start-sllave.sh。-$product-$environment-$build_number \
--log-uri s3://knx-logs/emr/knx-attribution-spark-$product-$environmentEmrManage
浏览 3提问于2018-09-04得票数 1
我正在尝试使用AWS CLI创建一个EMR集群，以运行python脚本(使用pyspark)，如下所示： --applications Name=Spark Name=Hadoop --release-label emr-5.25.0 --use-default-roles \
--,"s3:/
浏览 0提问于2020-08-02得票数 2
我有一个由slurm管理的aws HPC自动扩展集群，我可以使用sbatch提交作业，但是我想在此集群上使用spraklyr，以便slurm根据R脚本中sparklyr代码的工作负载增加集群大小。
浏览 39提问于2021-05-21得票数 0
回答已采纳
我已经在AWS中创建了一个基本的EMR集群，我正在尝试使用通过AWS控制台提供的木星笔记本。启动笔记本似乎很好，而且我还能够在笔记本中运行从pyspark内核开始的基本python代码。包括以下内容：我尝试在主节点上手动运行/usr/bin/virtualenv命令(
浏览 1提问于2020-04-07得票数 2
回答已采纳
我试图在PySpark3中使用Matplotlib，JupyterHub (0.9.4)在AWS (5.20)上的码头上运行。在该JupyterHub上预装了4个内核: Python、PySpark、PySpark3和Spark。使用Python内核导入Matplotlib没有问题。
浏览 0提问于2019-01-13得票数 2
回答已采纳
1回答
因此，我正在(或尝试)从aws上EMR集群的主节点运行(或尝试)编译(fat jar) spark/scala程序。我已经在我的dev环境中编译了jar，所有依赖项都与我的prod环境相同。我使用spark-submit脚本进行部署：.-1.2.1.a/bin&#
浏览 0提问于2015-08-01得票数 0
在EMR集群的主节点上提交EMR步骤与运行火花提交步骤有什么区别？EMR step
aws emr add-steps --cluster-id j-2AXXXXXXGAPLF --steps Type=Spark,Name="Spark Program",ActionOnFailure=CONTINUE,Args=[--class,org.apache.spark.examples.SparkP
浏览 5提问于2021-11-09得票数 1
回答已采纳
我最近在JupyterHub上使用了Spark和JupyterHub。我知道在创建EMR之前，我可以将引导程序设置为在每个集群中设置环境，比如Python包/库。但是，如果我已经启动了EMR，那么如何在不重新启动EMR的情况下安装更多的Python包/库？
我搜索并得到了一些答案，我可以通过木星中心的手机安装它。use called when spark.pyspark.virtualenv.en
浏览 12提问于2020-05-22得票数 4
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号