我在使用Elastic Map Reduce时遇到一个错误,我不确定它是什么意思,因为它不是很具描述性。我特别想知道我得到的是哪种JSONDecodeError。"12“不是描述性的。这是输出。我使用的是MRjob类
writing to step-0-mapper_part-00000
writing to step-0-mapper_part-00001
Counters from step 1:
Undecodable input:
JSONDecodeError: 12
Unencodable output:
TypeError: 2
writing to /tmp/emr_irene.ec2-user.20130716.171313.288877/step-0-mapper-sorted
> sort /tmp/emr_irene.ec2-user.20130716.171313.288877/step-0-mapper_part-00000 /tmp/emr_irene.ec2- user.20130716.171313.288877/step-0-mapper_part-00001
writing to step-0-reducer_part-00000
Counters from step 1:
Undecodable input:
JSONDecodeError: 12
Unencodable output:
TypeError: 2
发布于 2014-07-18 01:24:05
本例中的数字12是您遇到的json编码错误数。要找出他们失败的具体原因,我知道的最好的方法是减少您的输入集,并通过重新运行作业来三角化问题。
发布于 2017-01-19 03:32:40
如果您正在使用Amazon AWS,您可以运行以下脚本,您将获得有关错误的更多信息:
python -m mrjob.tools.emr.fetch_logs --find-failure YOUR_JOB_ID
https://stackoverflow.com/questions/17683072
复制相似问题