Hadoop是MapReduce的开源实现，使得MapReduce技术能迅速、平易地来到人们身边。2006年1月，Doug Cutting在开源项目Nutch和Lucene中表现卓越，受邀加入Yahoo！公司，专攻Hadoop项目并对其进行开发。2006年2月，Hadoop项目从Nutch项目中脱离出来，正式成为Apache组织中一个专注于DFS和MapReduce的开源项目，目前Hadoop已成为Apache的顶级项目。2008年2月，Yahoo！公司宣布其搜索引擎中的索引是构建在一个拥有1万个内核的Hadoop集群上的。同年4月，Hadoop搜索排序速度打破世界纪录，成为世界上最快的TB级数据排序系统。在一个有910个节点的集群上，Hadoop仅用209秒便完成了对1TB数据的排序，打败了上一年用时297秒的冠军。2008年11月，谷歌宣布它的MapReduce只用68秒便对1TB数据完成排序。此时Yahoo！团队采用 Hadoop对1TB数据进行排序确只花了62秒。