前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >MapReduce当中自定义对象的用法

MapReduce当中自定义对象的用法

作者头像
马克java社区
修改2021-07-05 10:21:58
3020
修改2021-07-05 10:21:58
举报
文章被收录于专栏:java大数据

马克-to-win @ 马克java社区:到目前为止,我们在hadoop网络上传的变量类型都是预定义的类型比如Text或IntWritable等,但有时需要我们,自己建一个类,把预定义的简单数据类型封装在里头而且还能像预定义的类型一样在hadoop网络中传输,这样更便于管理和运作。这样就需要向下面这样implements Writable。实现write和readFields方法。思路:如果想求平均值的话,按照前一章讲的hello world方法,同一个键的所有值,同时都进同一个reduce方法,这样的话,我们可以以字符串的形式,把o1,p2,250.0和o1,p1,200.0两个字符串同时传到同一个reduce之后,经过处理,求和求平均值就可以了,但是这种方法毕竟显得有点笨,(但基本能解决所有问题),所以我们可以用这一节所学的自定义对象的方法传值。显得高大上。讲述本节时,可以先讲一遍,明白了后,再讲一遍,说明为什么这么写程序。

需求:订单

o1,p2,250.0

o2,p3,500.0

o2,p4,100.0

o2,p5,700.0

o3,p1,150.0

o1,p1,200.0

求出每个订单的平均值:

o1 o1 0.0 225.0

o2 o2 0.0 433.3333333333333

o3 o3 0.0 150.0

package com;

import org.apache.hadoop.io.Writable;

import java.io.DataInput;

import java.io.DataOutput;

import java.io.IOException;

。。。。。。。。。。。。。。。。。。。

private String orderId;

private Double amount;

/* 为了防止出现空指针,我们给后面不存在的变量赋予默认值*/

private Double average=0.0;

public Double getAverage() {

return average;

}

public void setAverage(Double average) {

更多请见:https://blog.csdn.net/qq_44594249/article/details/96483004

本文系转载,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文系转载前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
大数据
全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档