AWS-EMR:日志文件在哪里？
AWS-EMR:日志文件在哪里？
提问于 2017-03-02 11:28:13
我正在使用EMR通过纱线运行spark作业。作业失败，但我找不到EMR记录异常的位置，我可以在主节点屏幕输出上看到回溯，如下所示。应该有一个更详细的日志文件，它显示了导致异常的原因，但我找不到它在哪里。我查看了hdfs://var/log/spark/app/application_xxx，它没有显示任何错误。以下是我提交申请的方式：
spark-submit --deploy-mode cluster --master yarn --num-executors 1 --executor-cores 2 --executor-memory 5g word2vec_app.py hdfs:///test/r8_no_sto.txt以下是主节点上的屏幕输出：
Exception in thread "main" org.apache.spark.SparkException: Application application_1488419676573_0005 finished with failed status
at org.apache.spark.deploy.yarn.Client.run(Client.scala:1167)
at org.apache.spark.deploy.yarn.Client$.main(Client.scala:1213)
at org.apache.spark.deploy.yarn.Client.main(Client.scala)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:738)
at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:187)
at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:212)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:126)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)回答 2
Stack Overflow用户
回答已采纳
发布于 2017-03-06 01:02:45
可以在每个节点的/mnt/var/log/hadoop-yarn/containers/application中找到节点的标准输出/标准错误。
Stack Overflow用户
发布于 2017-03-02 11:39:26
您的s3中将会有一个文件夹。在配置EMR时，我认为我们可以选择设置日志目录。路径为s3://aws-logs-ACCOUNT_NUMBER-AVAILABILITY_ZONE/elasticmapreduce/
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/42546291
复制相关文章
相似问题
腾讯云开发者
