前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >【教程】Hadoop MapReduce 实践

【教程】Hadoop MapReduce 实践

作者头像
dys
发布2018-04-04 14:25:30
7560
发布2018-04-04 14:25:30
举报
文章被收录于专栏:性能与架构

1. 教程内容

1)目标

帮助您快速了解 MapReduce 的工作机制和开发方法

主要帮您解决以下几个问题:

  • MapReduce 基本原理是什么?
  • MapReduce 的执行过程是怎么样的?
  • MapReduce 的核心流程细节
  • 如何进行 MapReduce 程序开发?(通过7个实例逐渐掌握)

并提供了程序实例中涉及到的测试数据文件,可以直接下载使用

关于实践环境,如果您不喜欢自己搭建hadoop环境,可以下载使用本教程提供的环境,实践部分内容中会介绍具体使用方法

学习并实践完成后,可以对 MapReduce 工作原理有比较清晰的认识,并掌握 MapReduce 的编程思路

2)内容大纲

  1. MapReduce 基本原理
  2. MapReduce 入门示例 - WordCount 单词统计
  3. MapReduce 执行过程分析
  4. 实例1 - 自定义对象序列化
  5. 实例2 - 自定义分区
  6. 实例3 - 计算出每组订单中金额最大的记录
  7. 实例4 - 合并多个小文件
  8. 实例5 - 分组输出到多个文件
  9. MapReduce 核心流程梳理
  10. 实例6 - join 操作
  11. 实例7 - 计算出用户间的共同好友

2. 下载方式

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2017-04-04,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 JAVA高性能架构 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1. 教程内容
    • 1)目标
      • 2)内容大纲
      • 2. 下载方式
      领券
      问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档