我正在使用eclipse/Maven创建一个JAR并在EMR上运行它<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns</executions> </plugins></project&
浏览 8提问于2018-01-15得票数 1
回答已采纳
我正在向EMR提交一个spark应用程序作业jar，它使用了一些属性文件。所以我可以把它放到S3中，在创建电子病历时，我可以下载它并将其复制到电子病历框中的某个位置，如果这是我在引导时创建电子病历集群本身的最佳方法。
浏览 0提问于2018-12-11得票数 1
我正在尝试评估这两个选项之间的差异。下面是我能想到的一些利弊：我想知道是否有人对EC2 + Hadoop与vis EMR的性能进行了基准测试？大型群集部署的成本是否有显著差异？还有什么不同之处？
浏览 3提问于2013-03-03得票数 17
我已经成功地使用terraform创建了一个电子病历集群，根据terraform文档，它指定了如何将步骤作为jar 提交到电子病历 action_on_failure = "TERMINATE_CLUSTER" jar
浏览 1提问于2020-06-07得票数 1
1回答
我正在尝试在EMR集群上运行python和java应用程序。我使用下面的代码运行我的java jar应用程序，它工作得很好。HadoopJarStepConfig runExampleConfig =新的HadoopJarStepConfig() .withJar(jar_name) .withArgs(main_arguments
浏览 4提问于2018-04-17得票数 2
我在AWS电子病历集群中发现了这个错误-
$spark提交Movierecommendation错误:无法从JAR文件加载主类:/home/hadoop/Movierecommendation运行并-帮助使用帮助或Scala代码能够使用sbt进行编译。让我知道。
浏览 6提问于2017-07-29得票数 0
我想在电子病历(通过Spark提交)上运行我的Spark作业(编译为.jar)，并给出如下两个选项： spark-submit --master yarn --deploy-mode cluster <SparkContext(new SparkConf())
val spark = SparkSession.builder.config(sc.getConf).getOrCreate() 但是，这会在构建jar如何在代码中设置这两个变量，以便在提交时</
浏览 19提问于2021-04-12得票数 1
1回答
我在S3上有一个很大的.tar.gz文件，我想把它移动到EMR HDFS (或临时S3存储桶)并解压缩，这样我就可以读取里面的一些小文件了。我现在正在做的是有一个外壳脚本将文件从S3下载到本地(使用AWS CLI)，并让scala/spark作业在未压缩的下载文件上运行以生成一些结果。我想要做的是在一个Scala/Spark作业中做所有的工作，它应该将文件从S3移动到EMR (或另一个S3临时位置)解压缩并处理文件。我知道我们有可以在S3和EMR之间移动文件的，但是我
浏览 1提问于2018-02-21得票数 1
1回答
我有几个要在AWS EMR上运行的长时间运行(流) flink作业。我从AWS控制台或使用aws cli阅读了执行此操作的步骤。但这是手动的。
浏览 28提问于2019-12-11得票数 1
我想了解是否可以使用连接到Amazon EMR中实现的Spark master节点的flask应用程序。目标是从web应用程序调用Flask来检索spark输出。端口在amazon EMR集群的安全组中是开放的，但我无法从他的端口外部访问它。 你觉得那个怎么样？还有其他的解决方案吗？
浏览 17提问于2020-07-06得票数 0
回答已采纳
我在java中创建了一个可以在配置单元查询中调用的UDF，在我放在System.out.prinln(msg)中的UDF中，希望在控制台中输出一些东西。它在我本地的工作环境中可以正常工作，但是当部署到amazon EMR时，stderr日志文件不会显示来自我的UDF函数的任何输出消息。在哪里可以找到包含我的消息输出的文件？
浏览 19提问于2013-09-04得票数 2
2回答
我建立了一个胖罐子，我试图运行它的火花-提交在电子病历或当地。以下是命令：--deploy-mode client \
--class com.stash.data.omni.source.Runner myJar.jar \我可以在我的本地机器上运行它而不需要火花-提交。
浏览 6提问于2020-03-06得票数 0
回答已采纳
我正在尝试创建一个aws数据池任务，这将创建一个电子病历集群，并运行一个简单的wordcount.py火花程序。/output/outfile5/",
线程"main“中的异常:错误打开作业jar: /mnt/var/lib/hadoop/steps/s-187JR8H3XT8N7RunJar.java:160) at org.apache.hadoop.util
浏览 7提问于2016-06-21得票数 2
我的星火应用程序成功地运行在我的本地机器上。我使用Hbase Docker容器，从它将数据加载到我的Spark应用程序中。现在我已经创建了EMR集群，安装了Spark和Hbase。当我试图提交JAR文件时，请购买以下异常：
在本地运行我的应用程序时在电子
浏览 3提问于2021-02-15得票数 0
1回答
我使用AWS EMR进行spark流媒体。我在EMR中添加了一个从Kinesis流读取数据的步骤。我需要的是一种方法来停止这个步骤并添加一个新的步骤。我使用Chef来实现部署自动化。因此，当有新的工件时，一条消息被放入SQS，EMR读取它并停止该步骤。Chef然后使用EMR API添加一个新步骤。我的问题是，这是在EMR中停止长时间运行的流作业的正确方法吗？如果spark部署在独立的集群上，而不是EMR上，这将如何处理？
浏览 10提问于2016-09-13得票数 1
2回答
基本上，我提交了一个pyspark脚本，用于读取数据、操作它、将其处理为Spark，并将其写入我已经托管在AWS其他地方的MySQL表中。这是EMR 5.6，星火2.1.1
我下载了MySQL连接器的最新驱动程序(“mysql-连接器-java-5.1.42-bin.jar”)，并将它们与主节点放在我的实例中(基本上将其下载到本地笔记本上，然后使用scp将其放在主节点中)。在这两种情况下，我都将路径添加到mysql-连接器文件中，该文件在/home/
浏览 2提问于2017-06-28得票数 4
回答已采纳
2回答
我们正在从stepfunction.Below创建电子病历集群，它执行的步骤是
"HadoopJarStep": {
浏览 3提问于2020-09-23得票数 1
我正在尝试使用AWS Data PipeLine在电子病历集群中设置一个运行spark作业的流程。我们的流程按“随需应变”计划运行。作为本活动的一部分，我们首先在管道中创建一个EMR集群，然后希望在一个emr集群上并行运行多个spark作业。
有没有一个我们可以用“随需应变”的时间表在数据管道上运行并行作业。
浏览 0提问于2017-09-22得票数 1
我在cloudera Box中工作过，我把我所有的脚本放在边缘节点中。我是aws的EMR新手，所以我需要你的建议。1.我已经使用putty通过ssh登录到主节点。
浏览 1提问于2015-04-06得票数 0
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
