前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >MapReduce实现倒序排序的两种方法

MapReduce实现倒序排序的两种方法

作者头像
静谧星空TEL
发布2021-04-27 10:32:55
6890
发布2021-04-27 10:32:55
举报
文章被收录于专栏:云计算与大数据技术

一、外部比较器实现

需要注意,这里的比较是对MapReduce中key类型的比较,并且key的类型为InWritable类型。

1、自定义比较器继承WritableComparator类

代码语言:javascript
复制
package com.gxwz.utils;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.WritableComparable;
import org.apache.hadoop.io.WritableComparator;

/**
 * TODO 	 IntWritable类的倒叙排序
 * @author   administrator
 * @Date	 2019年10月7日 	 
 */
public class IntWritableComparator extends WritableComparator {

	/*
	 * 重写构造方法,定义比较类 IntWritable
	 */
	public IntWritableComparator() {
		super(IntWritable.class, true);
	}
	/*
	 * 重写compare方法,自定义比较规则
	 */
	@Override
	public int compare(WritableComparable a, WritableComparable b) {
		//向下转型
		IntWritable ia = (IntWritable) a;
		IntWritable ib = (IntWritable) b;
		return ib.compareTo(ia);
	}
}

2、job设置比较器

代码语言:javascript
复制
//Job job = Job.getInstance(conf, "DescSort");
job.setSortComparatorClass(IntWritableComparator.class);

二、自定义序列化比较器实现

1、自定义序列化类,实现WritableComparable接口

代码语言:javascript
复制
package com.gxwz.entity;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

import org.apache.hadoop.io.WritableComparable;
/**
 * TODO 各地区年收入信息
 * @author   com
 * @Date	 2019年10月3日 	 
 */
public class AnnualIncome implements WritableComparable{

	private String workerId = "";	//id
	private String area = "";		//地区
	private String date = "";		//时间
	private String amount = "";		//收入
	public String getWorkerId() {
		return workerId;
	}
	public void setWorkerId(String workerId) {
		this.workerId = workerId;
	}
	public String getArea() {
		return area;
	}
	public void setArea(String area) {
		this.area = area;
	}
	public String getDate() {
		return date;
	}
	public void setDate(String date) {
		this.date = date;
	}
	public String getAmount() {
		return amount;
	}
	public void setAmount(String amount) {
		this.amount = amount;
	}
	
	@Override
	public String toString() {
		return workerId + "\t" + area + "\t" + date + "\t" + amount;
	}
	@Override
	public void write(DataOutput out) throws IOException {
		out.writeUTF(workerId);
		out.writeUTF(area);
		out.writeUTF(date);
		out.writeUTF(amount);
	}
	@Override
	public void readFields(DataInput in) throws IOException {
		this.workerId = in.readUTF();
		this.area = in.readUTF();
		this.date = in.readUTF();
		this.amount = in.readUTF();
	}
	@Override
	public int compareTo(AnnualIncome o) {
		return this.workerId.compareTo(o.workerId);
	}
}
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2019/10/07 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 一、外部比较器实现
  • 二、自定义序列化比较器实现
相关产品与服务
文件存储
文件存储(Cloud File Storage,CFS)为您提供安全可靠、可扩展的共享文件存储服务。文件存储可与腾讯云服务器、容器服务、批量计算等服务搭配使用,为多个计算节点提供容量和性能可弹性扩展的高性能共享存储。腾讯云文件存储的管理界面简单、易使用,可实现对现有应用的无缝集成;按实际用量付费,为您节约成本,简化 IT 运维工作。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档