专栏首页孙小白MapReduce的常见输入格式之KeyValueTextInputFormat

MapReduce的常见输入格式之KeyValueTextInputFormat

有一文件,如图所示

每行第一个字段为名字,后面的则为该人的一些信息,所以此时的输入格式应该是以每一行的名字为Key,每一行的其他信息为Value。

KeyValueTextInputFormat

  • 作用: 针对文本文件!使用分割字符,分隔符前的为Key,分隔符后的为value,所以这种输入格式就是将每一行分割为key和value
  • 如果没有找到分隔符,当前行的内容作为key,value为空串
  • 默认分隔符为\t,可以通过参数mapreduce.input.keyvaluelinerecordreader.key.value.separator指定分隔符 切片:默认的切片策略,即一行切为一片 RecordReaderKeyValueLineRecordReader 它们的数据类型
Text key
Text value

在Driver.java中,提供了两种设置输入格式的方法: ①

job.setInputFormatClass(XXXInputFormat.class);

Configuration conf = new Configuration();
conf .set("mapreduce.job.inputformat.class", "org.apache.hadoop.mapreduce.lib.input.XXXTextInputFormat");

WCMapper.java

public class WCMapper extends Mapper<Text, Text, Text, IntWritable>{
	
	private IntWritable out_value=new IntWritable(1);
	
	@Override
	protected void map(Text key, Text value, Mapper<Text, Text, Text, IntWritable>.Context context)
			throws IOException, InterruptedException {
	
		System.out.println("keyin:"+key+"----keyout:"+value);
		
		context.write(key, out_value);
	}
}

WCReducer.java

public class WCReducer extends Reducer<Text, IntWritable, Text, IntWritable>{
	
	private IntWritable out_value=new IntWritable();
	
	// reduce一次处理一组数据,key相同的视为一组
	@Override
	protected void reduce(Text key, Iterable<IntWritable> values,
			Reducer<Text, IntWritable, Text, IntWritable>.Context context) throws IOException, InterruptedException {
		
		int sum=0;
		
		for (IntWritable intWritable : values) {
			sum+=intWritable.get();
		}
		
		out_value.set(sum);
		
		//将累加的值写出
		context.write(key, out_value);
		
	}
}

WCDriver.java

public class WCDriver {
	
	public static void main(String[] args) throws Exception {
		
		Path inputPath=new Path("e:/mrinput/keyvalue");
		Path outputPath=new Path("e:/mroutput/keyvalue");
	
		//作为整个Job的配置
		Configuration conf = new Configuration();
		
		// 分隔符只是一个byte类型的数据,即便传入的是个字符串,只会取字符串的第一个字符
		conf.set("mapreduce.input.keyvaluelinerecordreader.key.value.separator", "***");
		
		//设置输入格式方法一
		conf.set("mapreduce.job.inputformat.class", "org.apache.hadoop.mapreduce.lib.input.KeyValueTextInputFormat");
		
		
		//保证输出目录不存在
		FileSystem fs=FileSystem.get(conf);
		
		if (fs.exists(outputPath)) {
			fs.delete(outputPath, true);
		}
		
		// ①创建Job
		Job job = Job.getInstance(conf);
		
		job.setJarByClass(WCDriver.class);
		
		// ②设置Job
		// 设置Job运行的Mapper,Reducer类型,Mapper,Reducer输出的key-value类型
		job.setMapperClass(WCMapper.class);
		job.setReducerClass(WCReducer.class);
		
		// Job需要根据Mapper和Reducer输出的Key-value类型准备序列化器,通过序列化器对输出的key-value进行序列化和反序列化
		// 如果Mapper和Reducer输出的Key-value类型一致,直接设置Job最终的输出类型
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(IntWritable.class);
		
		// 设置输入格式方法二
		//job.setInputFormatClass(NLineInputFormat.class);
		
		// 设置输入目录和输出目录
		FileInputFormat.setInputPaths(job, inputPath);
		FileOutputFormat.setOutputPath(job, outputPath);
		
		// ③运行Job
		job.waitForCompletion(true);
			
	}
}

切片结果:

keyOut应该是value,此处写错了!

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • MapReduce的常见输入格式之NlineInputFormat

    RecordReader:LineRecordReader,一次处理一行,将一行内容的偏移量作为key,一行内容作为value 它们的数据类型:

    爱学习的孙小白
  • 使用MapReduce运行WordCount案例

    注意:准备的数据的格式必须是文本,每个单词之间使用制表符分割。编码必须是utf-8无bom

    爱学习的孙小白
  • MapReduce的常见输入格式之CombineTextInputFormat

    Job-->MRAppMaster-->RM-->调度队列-->NM-->Container-->MapTask 可以看见,从job提交到执行maptask,...

    爱学习的孙小白
  • MapReduce的常见输入格式之NlineInputFormat

    RecordReader:LineRecordReader,一次处理一行,将一行内容的偏移量作为key,一行内容作为value 它们的数据类型:

    爱学习的孙小白
  • MapReduce工作原理

    这篇文章是我之前在自学 MapReduce 的笔记,想着最近再回顾一下 MapReduce 的原理,于是就整理了一下。

    create17
  • Android Oreo 自适应图标 | 中文教学视频

    Android 开发者
  • Vue如何创建自定义指令?

    什么是vue指令了? Vue自带的指令很多,v-for/v-if/v-else/v-else-if/v-model/v-bind/v-on/v-show/v-...

    Javanx
  • 微服务平台之API授权

    微服务平台的安全控制包括登录认证、用户授权、服务调用安全等多个方面,其中,服务调用安全又分为系统内服务调用认证、系统间服务调用认证。

    yuanyi928
  • PHP-PSR编码规范

    副作用:(side effects),一个文件只做一件事情,如果做了其他事情就是产生了副作用

    cwl_java
  • 品玩SAS:泰坦尼克号之灾(上)——逃生率分析

    最近重温了一遍泰坦尼克号,又一次为杰克和露丝甜美的爱情感动,两人坦诚真挚的相爱让人神往,一阵幻想过后咬了口嘴边的柠檬,真酸...

    机器思维研究院

扫码关注云+社区

领取腾讯云代金券