MapReduce工作笔记——yarn reducer 内存溢出 beyond physical memory limits

0. 前言

有天在运行一个例行任务的时候，在 reducer 到 100% 的时候，任务突然崩了，以前跑的好好的程序怎么突然就崩了呢？，打开track url一看，报了如图所示的错误：

Current usage: 2.1gb of 2.0gb physical memory used; 1.6gb of 3.15gb virtual memory used. Killing container.

既然以前没有出现过类似的问题，那么排除常规数据的问题，那么就是系统配额reduce内存太少了，搜了一圈终于知道了解决方法，见链接：https://community.pivotal.io/s/article/MapReduce-YARN-Memory-Parameters

1. 解决方法

添加如下命令即可解决：

-D mapreduce.reduce.memory.mb=5120

这后面的大小可以自定义