在EMR中没有smtp提供程序
在EMR中没有SMTP提供程序意味着EMR（弹性MapReduce）不提供内置的SMTP（简单邮件传输协议）服务。SMTP是用于发送电子邮件的标准协议，但在EMR中，它不是EMR的核心功能之一。
然而，虽然EMR本身没有内置的SMTP提供程序，但可以通过其他方式实现发送电子邮件的功能。以下是一些可能的解决方案：
- 使用第三方SMTP服务提供商：您可以选择使用第三方SMTP服务提供商，例如SendGrid、Mailgun或SparkPost等。这些服务提供了简单易用的API，您可以在EMR中集成并使用它们来发送电子邮件。您可以通过访问它们的官方网站了解更多信息，并查看适合您需求的产品和价格。
- 自己搭建SMTP服务器：您还可以选择在自己的服务器上搭建SMTP服务器，并将其集成到EMR中。这需要您具备一定的系统管理和网络知识，以确保SMTP服务器的安全和可靠性。您可以使用开源软件如Postfix或Exim来搭建SMTP服务器，并按照相关文档进行配置和管理。
无论您选择哪种解决方案，都需要在EMR中编写相应的代码来调用SMTP服务提供商的API或与自己搭建的SMTP服务器进行通信。您可以使用您熟悉的编程语言和框架来实现这些功能。
需要注意的是，EMR是亚马逊AWS的一项云计算服务，但根据要求，本答案不提及亚马逊AWS。如果您对亚马逊AWS的服务有兴趣，可以访问亚马逊AWS官方网站了解更多关于EMR和其他云计算服务的信息。
相关·内容
3回答
我在emr-5.0.0版本中遇到了s3-dist-cp命令的问题。在我的应用程序中，我需要将一些文件从hdfs推送到S3。我使用s3-dist-cp命令来实现这一点。它在emr-4.2.0中运行良好。但它在emr-5.0.0中不起作用。如果我手动运行该命令，它工作得很好。但它在我的应用程序中失败了。我没有在我的应用程序中做任何更改来在emr-5上运行它。
如果我需要使用emr-5，我需要做任何更改吗？我们在emr-5中使用s3-dist-cp命令的方式有什么变化吗？
我正在使用以下命令：
s3-dist-cp --src /user/hive/warehouse/abc.text --dest
浏览 2提问于2016-10-02得票数 4
我需要在EMR集群上安装一些python包，在创建集群时，我可以在EMR的bootstrap操作中写下一些pip install blabla...命令，这些安装命令将在为集群分配机器时运行。
好的，如果现在创建了集群，稍后我需要安装一些没有在引导程序操作中写入的其他新包，该怎么办？我没有找到任何针对这种情况的方法，我是否必须使用新的引导操作重新创建一个新的集群？
浏览 1提问于2017-04-05得票数 1
我用Scala编写了在EMR中运行集群的代码。另外，我还有一个用Scala编写的Spark应用程序。我想在EMR集群上运行此Spark应用程序。但我可以在第一个脚本(启动EMR集群)中执行此操作吗？我想用SDK完成所有这些操作，而不是通过控制台或CLI。它必须是一种自动化，而不是单一的手工作业(或最小化手动作业)。
基本上；
启动电子病历群集->在电子病历->上运行Spark作业完成后终止
如果可能的话，我该怎么做？谢谢。
浏览 1提问于2020-03-23得票数 0
我正在尝试使用AWS CLI创建一个EMR集群，以运行python脚本(使用pyspark)，如下所示：
aws emr create-cluster --name "emr cluster for pyspark (test)"\
--applications Name=Spark Name=Hadoop --release-label emr-5.25.0 --use-default-roles \
--ec2-attributes KeyName=my-key --instance-groups \
InstanceGroupType=MASTER,Instance
浏览 0提问于2020-08-02得票数 2
1回答
监视子网带宽
、、
我在一个EMR (火花集群)中有一个批处理作业，它可以批量插入到另一个EMR (HBase集群)中。两个EMR位于同一个私有子网中。
如何监控两台EMR之间的带宽？AFAIK他们没有使用NAT Gateay，对吧？如果其他工作人员发生在同一子网内，我是否只能有EMR到EMR数据传输的指标？假设另一项星火作业执行重洗牌。
是真正的AWS在同一AZ内的EC2实例之间提供了10倍/秒的带宽吗？该带宽是否在同一子网中的所有实例之间共享？
浏览 2提问于2019-10-26得票数 0
回答已采纳
1回答
我使用AWS EMR进行spark流媒体。我在EMR中添加了一个从Kinesis流读取数据的步骤。我需要的是一种方法来停止这个步骤并添加一个新的步骤。
现在，我从Spark驱动程序中产生一个线程，监听SQS队列中的消息，并在收到消息时调用sparkContext.stop()。我使用Chef来实现部署自动化。因此，当有新的工件时，一条消息被放入SQS，EMR读取它并停止该步骤。Chef然后使用EMR API添加一个新步骤。
我的问题是，这是在EMR中停止长时间运行的流作业的正确方法吗？如果spark部署在独立的集群上，而不是EMR上，这将如何处理？
浏览 10提问于2016-09-13得票数 1
我想了解是否可以使用连接到Amazon EMR中实现的Spark master节点的flask应用程序。目标是从web应用程序调用Flask来检索spark输出。端口在amazon EMR集群的安全组中是开放的，但我无法从他的端口外部访问它。 你觉得那个怎么样？还有其他的解决方案吗？
浏览 17提问于2020-07-06得票数 0
回答已采纳
1回答
我是C语言的初学者，我在c程序中使用scanf函数，但它被卡住了，只有当我键入exit时，程序才会前进。我在代码中遇到问题的部分是：
while(fread(&emr,recsize_emr,sizeof(emr)/recsize_emr,fp)==1)
{
if(emr.emr_id==emr_id)
{
printf("%s %s %s %d %d %s %s %f \n\n",emr.fname,emr.lname,emr.company_name,emr.emr_id,emr.agt_id,emr.pol_start_date,e
浏览 1提问于2012-11-03得票数 2
我正在尝试运行一个使用本机共享库(.so)的星火作业。我正在使用--jars将我的.so复制到所有的执行器(文件似乎就在那里，沿着spark .jar应用程序)，但不知怎么的，我没有设置环境查找和使用.so。尝试过-conf spark.executor.extraLibraryPath和-Djava.library.path，但不确定使用什么路径..。有什么简单的方法可以让它发挥作用吗？(使用AWS EMR 4.5.0，spark 1.6.x)
我的星星之火：
spark-submit \
--deploy-mode cluster \
--driver-java-options \
--j
浏览 2提问于2016-04-20得票数 0
回答已采纳
3回答
我们目前在组织中使用Apache Hadoop (Vanilla版本)。我们计划迁移到AWS EMR。我正在尝试了解AWS EMR Hadoop的内部工作原理(不是如何使用它)，我主要对Hadoop管理步骤以及主从如何通信以及各种配置配置感兴趣。我已经检查了AWS EMR文档，但没有看到详细的比较。
有人能推荐我一个从Apache Hadoop迁移到AWS EMR的链接/教程吗？
浏览 2提问于2015-05-26得票数 0
我希望在AWS EMR的Terrafrom模块中执行一个shell文件，并将该文件传递给bootstrap操作。但是，该文件未加载。
调用文件的代码块在main.tf文件中，如下所示-
bootstrap_action {
path = "${file("files/emr_bootstrap.sh")}"
name = "emr_bootstrap"
}
main.tf与"files“目录处于同一级别。
错误消息是-
ValidationException: Invalid bootstrap action path, must
浏览 0提问于2019-05-14得票数 0
我是一个在AWS中创建步骤函数的新手。我已经创建了一个EMR集群，并希望向其中添加一个步骤。我使用下面的命令： "Next": "Run first step"
},
"Run first step": {
"Type": "Task",
"Resource": "arn:aws:states:::elasticmapreduce:addStep.sync",
"Parameters": {
&#
浏览 40提问于2021-09-16得票数 0
似乎在默认情况下，EMR将Spark驱动程序部署到一个核心节点，导致主节点实际上未被利用。是否可以在主节点上运行驱动程序？我已经用--deploy-mode参数做了一些实验，但是没有用。
下面是我的实例组JSON定义：
[
{
"InstanceGroupType": "MASTER",
"InstanceCount": 1,
"InstanceType": "m3.xlarge",
"Name": "Spark Master"
},
{
浏览 0提问于2016-02-05得票数 11
2回答
EMR引导失败
、、、
我正尝试在AWS EMR中运行以下引导程序脚本，但它失败了，没有提供错误消息。我已经为应用程序设置了EMR集群: Spark、Hive、Ganglia和Livy。
!/bin/bash
sudo pip-3.6安装-U \ matplotlib \ pandas \ spark-nlp
我使用的是EMR版本6。之前我们只使用"pip“而不是"pip- 3.6”，但它仍然出错，因此我们决定尝试使用"pip-3.6“，因为我们假设EMR 6有python 3.6。
请让我知道这可能有什么问题。
谢谢!
浏览 12提问于2020-05-21得票数 0
2回答
我使用EMR 5.18运行火花任务。下面是设置：
由于任何原因，EMR无法检测工作节点上的所有可用内存。我没有向EMR配置部分添加任何内容，这都是默认设置。
知道是什么原因造成的吗？谢谢。
编辑:关于yarn.nodemanager.resource.memory-mb的值。在UI中，它是28672，但在yarn-site.xml中，它是352768
以下是安装的应用程序列表：Hive 2.3.3, Pig 0.17.0, Hue 4.2.0, Spark 2.3.2, Ganglia 3.7.2, Presto 0.210, Livy 0.5.0, Zeppelin 0.8.
浏览 1提问于2019-08-02得票数 1
1回答
在本地模式下运行spark作业时，我的Spark有一个sql选项卡。
当在AWS EMR上运行相同的作业时，Spark的SQL作业不再存在？
我已经挖了隧道
设置FoxyProxy设置
可以在浏览器中查看各种EMR
可以在浏览器中查看Spark
在亚马逊的EMR版本的Spark中，是否有这样的代码原因呢？
浏览 3提问于2016-03-03得票数 0
回答已采纳
1回答
我刚开始使用集群。我在jupyter笔记本上有一个pyspark程序，我想把它部署在集群上。
我发现的两个教程是使用、microsoft azure和amazone EMR。我试过microsoft azure，免费订阅不包括创建一个“如果我遵循教程”的能力，作为对这个问题的回答。
所以现在我想尝试一下amazone电子EMR，看看它是否免费，或者从jupyter笔记本到amazone电子EMR集群部署一个小火花放电程序要花多少钱。
谢谢你的时间，我很乐意为你效劳:)
浏览 1提问于2022-05-11得票数 1
我正在运行一些火花工作的实验，我试图比较EMR和EKS的性能。我使用的硬件是m5.2xlarge的两个实例(8 vCore，32 GiB内存)。原因是EKS和EMR之间通常共享硬件实例，因此比较性能更可靠。
我还分享了火花配置：
--conf spark.executor.instances=2 \
--conf spark.executor.cores=3 \
--conf spark.default.parallelism=16 \
--conf spark.executor.memory=4g \
--conf spark.driver.memory=4g \
--conf spark.
浏览 7提问于2020-09-01得票数 2
1回答
我们已经更新了emr -5.30.0的emr版本。从那时起，我们在bootstrap中遇到错误。“由于引导错误而终止”
如果我将版本改回emr-5.29.0，它工作正常。我找不到引导错误原因。
我们正在从step函数创建EMR集群。
我们已将版本emr-5.29.0更改为emr-5.30.0，因为我们添加了托管自动调用，并且仅支持5.29.0之后的版本
我检查了日志，但找不到任何适当的错误消息。请给出一些解决此问题的建议。
浏览 4提问于2020-11-05得票数 0
如果我想要长时间运行EMR集群，然后要在该集群上设置数据管道，我如何才能做到呢？
我必须在这个EMR集群上安装任务运行程序吗？或者任务运行程序会被预先安装？或者还有其他简单的方法？
浏览 0提问于2017-02-12得票数 0
回答已采纳
1回答
我试图在JavaScript中运行一个AWS应用程序，但是我无法使它正常工作。我在JS配置和触发方面没有任何问题(我成功地运行了一个hello world应用程序)，但是我遇到了aws库的问题。老实说，我不知道这是与网络配置或IAM配置相关的问题，但我很确定这不是脚本问题，因为我可以在我的计算机上本地运行它而不会出现任何问题。我遇到的主要问题是，当lambda应用程序调用AWS EMR时，会出现超时错误。就像lambda无法与EMR沟通一样。
在这里，您可以看到emr客户端(console.log(emr_client))：
emr: Service {
config:
浏览 0提问于2018-04-30得票数 2
回答已采纳
我正在使用C#开发一个windows应用程序，在这个应用程序中，我想根据某些条件向某些用户发送短消息。我通过许多论坛的帖子，“发送短信使用SMTP服务器”，但他们没有使用-我完全。在中，我得到了一些通过Gmail、SMTP发送短信的线索，但不起作用，因为我认为它是特定于运营商的(不确定)。
我的代码示例：
try
{
MailMessage message = new MailMessage();
message.To.Add("1568235685@sms.sancharnet.in");
message.From = new MailAddress(
浏览 1提问于2013-10-28得票数 5
回答已采纳
我正在使用我的-EMR-Role复制和粘贴此《亚马逊网络服务指南》https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-iam-role.html中发布的策略 使用此配置时： EMR role: My-EMR-Role
EC2 instance profile: EMR_EC2_DefaultRole 似乎起作用了。 但是当我使用以下命令时： EMR role: My-EMR-Role
EC2 instance profile: My_EMR_EC2_DefaultRole 在My_EMR_EC2_DefaultRole使用与
浏览 34提问于2021-06-16得票数 0
我正在使用我的DAG中的EMR CreateJobFlow、AddSteps、StepSensor和TerminateJobFlow操作符来启动EMR集群，添加步骤(2个spark app和dist-cp)，并在所有步骤完成或1个步骤失败时终止。当我有一个2步的DAG (第一步是Spark应用程序，第二步是dist-cp)时，我能够做到这一点，但是，当我有两个spark应用程序时，集群成功地运行了第一步，并且在没有移动到第二步和第三步的情况下终止。
通过一些挖掘，我可以看到气流“戳”着脚步，看看它们是否还在运行。在这种情况下，它似乎认为只有当一个步骤完成时它才是“成功的”。
我的spark应用
浏览 0提问于2018-10-29得票数 2
2回答
我正在EMR中创建一个集群，当spark运行我的应用程序时，我会在下面得到错误：
Exception in thread "main" java.lang.UnsupportedClassVersionError:
com/example/demodriver/MyClassFromJAR has been compiled by a more recent version of the Java Runtime (class file version 55.0),
this version of the Java Runtime only recognizes class
浏览 31提问于2022-01-27得票数 4
回答已采纳
当我从visual studio (Votive)构建我的WIX项目时，我得到了以下错误：
严重性代码描述项目路径文件行源抑制状态错误本地化变量(loc.EMRDataServiceDescription)未知。请确保定义了变量。EMR4.0.1E：\Code\EMR\EMR 4\ EMR4.0.1 \EMR4.0.1 E:\Code\EMR\EMR4\EMR4.0.1\EMR4.0.1\EMR_WiX_Installer_EN.wxs 76 1构建
我在下面"ServiceInstall“元素的代码片段中使用”ServiceInstall“。
EMR_WiX_Installer_EN
浏览 0提问于2018-09-26得票数 1
回答已采纳
在EMR主节点上运行我的应用程序时遇到了一个问题。它需要访问版本1.11中添加的一些AWS SDK方法。所有必需的依赖项都被捆绑到一个胖jar中，应用程序在我的dev box上按预期工作。
但是，如果在电子病历主节点上执行应用程序，则在调用方法时会失败，并出现NoSuchMethodError异常，在AWS SDK版本1.11+中添加，例如
java.lang.NoSuchMethodError:
com.amazonaws.services.sqs.model.SendMessageRequest.withMessageDeduplicationId(Ljava/lang/String;)
浏览 11提问于2017-01-17得票数 3
回答已采纳
我第一次安装了软件，并且安装得很好。如果我手动从控制面板卸载软件->添加/删除程序，那么它正在安装而没有显示任何错误信息。
在“卸载”一节中，我编写了以下代码
Section "Uninstall"
DeleteRegKey HKLM "Software\Microsoft\Windows\CurrentVersion\Uninstall\Test"
DeleteRegKey HKLM "Software\Microsoft\Windows\CurrentVersion\Uninstall\Test\EMR"
DeleteRe
浏览 0提问于2019-01-01得票数 0
回答已采纳
2回答
是否有方法为Amazon EMR中的步骤设置超时？
我正在EMR上运行一个批处理Apache作业，如果它没有在3小时内结束的话，我希望这个任务停止。
我找不到一种方法来设置超时而不是在火花，或在亚恩，或在EMR配置。
谢谢你的帮忙!
浏览 1提问于2017-04-21得票数 11
1回答
我尝试构建用PHP编写的第一个EMR流应用程序。
在我的本地系统上，这个程序运行得很好：./生产者/目标/发布/producer 1000 \ php mapper.php \排序\ php reducer.php
我还试着使映射器/还原器可执行，并添加了一个Shebang。
我使用“选择器”来选择映射器/还原器的s3路径，但是EMR在日志中抱怨道：
由: java.io.IOException:无法运行程序java.io.IOException error=2引起，没有这样的文件或目录
似乎EMR没有将mapper文件复制到hadoop集群。
知道为什么找不到地图吗？
浏览 2提问于2016-07-03得票数 0
2回答
在EMR上部署flink应用程序时出现此错误
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/flink/api/common/serialization/DeserializationSchema
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:348)
at org.apache.hadoop.util.RunJar.run(RunJar.java
浏览 2提问于2019-12-15得票数 0
1回答
有没有在EMR上尝试过Apache Gi相术？
在我看来，在EMR上运行的唯一要求是向作业流配置中添加适当的引导脚本。然后，我应该只需要使用一个标准的自定义JAR启动步骤来启动Giraph，并为我的Gi相图程序提供适当的参数。
任何文档/教程，或如果您可以分享您的经验与Gi相册关于EMR，这将是非常感谢。
浏览 1提问于2014-02-28得票数 2
回答已采纳
1回答
我使用一个class属性来设置默认的键:值对，如下所示： class ElectronicMedicalRecord():
def __init__(self, default_emr_config = {"language": 'english', "hospital_campus": 'PSOM', "emr_vendor": 'Epic'}):
self.default_emr_config = default_emr_config 但是，我现在必须定义一个名为
浏览 21提问于2020-10-20得票数 0
回答已采纳
1回答
我有一个EMR无服务器应用程序，不能连接到另一个地区的S3桶。有解决办法吗？可能是在提交新作业时在“作业参数”或“星火参数”中设置的参数。错误是：
ExitCode: 1. Last few exceptions: Caused by: java.net.SocketTimeoutException: connect timed out Caused by: com.amazon.ws.emr.hadoop.fs.shaded.org.apache.http.conn.ConnectTimeoutException
浏览 4提问于2022-07-06得票数 0
回答已采纳
我们目前正在为我们的一个应用程序建立电子病历集群，由于我们希望电子病历设置具有弹性，因此我们希望在不同于主要电子病历集群AZ的AZ中创建一个StandBy电子病历集群。但是，如果主EMR群集AZ宕机，我们不确定如何自动故障切换到辅助EMR。
有什么想法吗？
浏览 1提问于2017-06-14得票数 1
1回答
EMR的EBS存储
、、、、
请有人澄清一下，在EMR集群中，拥有EBS卷的用例是什么(跨知识/随需应变集群)。
在电子病历中使用EBS卷有什么好处？因为EBS也将随着EMR集群的终止而被删除。
我计划建立一个EMR集群运行一个基于火花的ETL作业，并寻找一些输入请。我可以使用EMRFS/S3，但只是想知道为什么我们在EMR中有一个EBS。
谢谢。
浏览 1提问于2018-05-16得票数 1
回答已采纳
在我们的应用程序中，我们使用spark master创建单个spark上下文，并使用它执行多个spark作业。我们在EKS上使用EMR的方式也是如此。有没有一种方法来执行它，或者它支持这种方式，或者EMR只适用于提交作业。
浏览 42提问于2021-10-26得票数 0
场景：
我在AWS EMR中运行Spark Scala作业。现在，我的工作转储了该应用程序独有的一些元数据。现在为了转储，我在位置"s3://bucket/key/<APPLICATION_ID>“中写入，其中ApplicationId为val APPLICATION_ID: String = getSparkSession.sparkContext.getConf.getAppId
现在基本上有没有一种像"s3://bucket/key/<emr_cluster_id>_<emr_step_id>".这样在s3位置写东西的方法呢？如
浏览 0提问于2020-09-13得票数 2
1回答
在我们的Spark应用程序中，我们将本地应用程序缓存存储在/mnt/yarn/app-cache/目录中，该目录在同一个ec2实例上的应用程序容器之间共享
之所以选择/mnt/...，是因为它是r5d实例上的快速NVMe SSD。
这种方法在EMR5.x- /mnt/yarn上运行了几年，它属于yarn用户，应用程序容器从yarn运行，它可以创建目录
在EMR6.x中，事情发生了变化--容器现在是从hadoop用户运行的，它没有对/mnt/yarn/的写访问权限
hadoop用户可以在/mnt/中创建目录，但是yarn不能，我希望保持兼容性--应用程序应该能够在EMR5.x和6.x上成功运行
浏览 3提问于2022-07-05得票数 2
回答已采纳
虽然这实际上是一个编程问题，我的直觉是主题更适合这个网站。但是，如果你觉得它更适合斯塔克溢出，请让我知道，我会在那里问它。
在SMTP中继中是否存在默认功能(或公认的标准)，即它们如何处理具有多个地址的单个电子邮件，其中一个或多个地址无效？
在我的测试中，如果SMTP检测到无效地址(通常是因为我连接到的公司SMTP系统中没有相应地址)，那么整个电子邮件就会失败--电子邮件上没有人接收它。
有人能确认这是否是标准功能吗？
还是可以在单个SMTP级别上进行配置？
还是由单个SMTP供应商决定如何处理一个或多个地址无效的电子邮件？
是否有可能“其他”收件人仍然会收到电子邮件？
笔记..。
我是一个程
浏览 0提问于2020-07-24得票数 1
1回答
我在EC2实例上运行Python应用程序，但是由于我使用的角色，我无法访问某个存储桶中的数据(不能更改存储桶策略)。
我被建议从EC2切换到EMR，因为EMR使用EMRFS，它将支持角色的无缝切换。考虑到我没有使用EC2框架，我想知道从Hadoop切换到EMR有多难。
此外，ECS是否会成为无缝切换角色的替代方案？
浏览 0提问于2018-08-07得票数 0
我在EMR上有Spark作业，并且EMR被配置为对Hive和Spark元数据使用Glue目录。 我创建了Hive外部表，它们出现在Glue目录中，我的Spark作业可以在Spark SQL中引用它们，比如spark.sql("select * from hive_table ...") 现在，当我尝试在Glue作业中运行相同的代码时，它失败了，并出现"table not found“错误。看起来Glue作业不像在EMR中运行Spark SQL那样使用Glue目录。 我可以通过使用Glue API并将数据帧注册为临时视图来解决此问题： create_dynamic_fr
浏览 29提问于2019-02-09得票数 1
1回答
我试图在AWS EMR上运行一个普通的蒸汽应用程序。在我的本地机器上，一切正常工作。然而，当我在AWS EMR集群中运行我的示例时，我得到的是空的RDDs。
libraryDependencies += "com.amazonaws" % "amazon-kinesis-client" % "1.14.8"
libraryDependencies += "org.apache.spark" %% "spark-streaming-kinesis-asl" % "3.0.0"
没有为存储检查点创建Dy
浏览 4提问于2022-07-12得票数 0
我在aws emr上使用了脚本运行程序，并且考虑到它看起来可能是非常基本的(可能是stuid)问题，但是我阅读了许多文档，没有人回答我们为什么需要emr中的脚本运行程序，而它所做的就是在主节点中执行脚本。不能使用bash运行相同的脚本吗？
浏览 4提问于2015-12-28得票数 1
回答已采纳
2回答
我有一个EMR集群正在运行，我正在尝试将笔记本连接到github。
我有：
添加了AWS对EMR角色的秘密访问(这是我的第一个错误)将出站HTTPS/443添加到所有EMR安全组
试图用我的用户/密码将该笔记本链接到一个私人回购程序，但我得到了以下错误：
Unable to reach repository https://github.com/<my repo>. Ensure network and security groups have valid configurations. Ensure that the repository information provided
浏览 4提问于2020-06-05得票数 2
1回答
我想调用多个火花作业使用火花提交在单个EMR集群内。EMR支持这一点吗？如何做到这一点？在这个时候，我使用AWS Lambda来调用EMR作业，但是我们希望扩展到单个EMR集群中的多个火花作业。
浏览 3提问于2019-03-31得票数 1
我有一个emr步骤，它是通过step功能提交的。在步骤运行期间，我可以看到任务被提交，但是emr步骤没有执行，emr控制台没有任何信息。
我如何调试这个？
如果步骤没有在阈值时间框架内开始执行，我如何发送sns ?在我的示例中，step函数显示已提交的emr任务，但没有关于emr控制台和管道的信息长时间运行，而失败时间超过半小时。
浏览 3提问于2021-08-14得票数 0
回答已采纳
1回答
我有一个jupyter笔记本，它使用AWS EMR集群上的Spark执行一些计算。我已经配置了它，以便我可以通过浏览器访问并运行我的笔记本进行机器学习。我正在寻找的解决方案，将允许我的，能够触发笔记本，无论是在时间表或需求，从一个web应用程序正在运行的AWS。
我看过，它允许从终端运行笔记本，并执行对各种格式的转换。然而，我不清楚我将如何从web应用程序中触发这一点。
高声思考
似乎我想让EMR集群启动并运行，然后让web应用程序在集群上调用一个脚本，该脚本将使用、nb红外并运行笔记本。
浏览 2提问于2017-02-15得票数 3
有没有办法读取不在您的亚马逊网络服务账户中的S3存储桶，并且您不能承担访问它的角色-特别是在电子病历中。
在普通的Hadoop或Spark中，您可以指定：
fs.s3.access.key=<accessKey>
fs.s3.secret.ket=<secretKey>
在Hadoop配置中使用SimpleAWSCredentialsProvider。这在本地是有效的，但是当尝试在使用EMR的EMR上运行时，我无法使其工作，我总是得到403：
com.amazon.ws.emr.hadoop.fs.shaded.com.amazonaws.services.s3.mod
浏览 1提问于2020-05-05得票数 0
2回答
我发现只有Cloudera CDH 5.5及更高版本才支持Impala 2.3。Impala2.2可以安装在Amazon EMR上，因为GitHub上有Bootstrap脚本&您不需要安装Cloudera.
但是，我没有看到任何在Amazon EMR上安装Cloudera CDH 5.5或5.6的方法。我想安装Impala 2.3，那么有什么方法可以在Amazon EMR上安装Impala 2.3吗？
浏览 0提问于2016-03-17得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
