Hadoop中如何正确编写继承自Writable接口的子类

Hadoop中可以编写自己的类，用作hadoop job的key或者value类型，自己编写的类要实现接口Writable。

我编写了一个HttpContent类，主要用于保存爬取网页的源码，返回状态和编码格式信息，他在mapper中别实例化保存网页内容，然后传输到reducer中被使用，在编写中遇到了一些问题：

（1）首先是没有编写默认的构造函数类，因为java中的反馈机制需要一个参数为空的默认构造函数，如果没有这个类就不能利用反馈机制实例化这个类。

（2）然后是类型在序列化的时候写入后读取值不正确，一定要统一类型中write(DataOutput out)和readFields(DataInput in)中写入和读取参数的方法，例如一个int类型如果你在write()中使用writeInt写出，在readFields()中就应该使用readInt()读入，否则读取的值是不正确的。多个值写出读入的时候，写出读入的顺序要保持一致的，否则读取也是不正确的。

（3）Writable中用于写出的DataOutput类型没有针对String类型的序列化方法，需要先将String类型转换成为Byte数组类型，然后在进行序列化。

下面是HttpContent的类型的源码，重点是write(DataOutput out)和readFields(DataInput in)方法：

package bbs.http;

import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import java.io.UnsupportedEncodingException;

import org.apache.hadoop.io.Writable;

/**  *  */ public class HttpContent implements Writable{

 private byte[] content;  private int status;  private String encoding;

 public HttpContent(){  }  public HttpContent(byte[] content, int status, String encoding) {   this.content = content;   this.status = status;   if (encoding == null)    this.encoding = "GBK";   else    this.encoding = encoding;

 }

 public byte[] getByte() {   return this.content;  }

 public String getData() {   String data =null;   try {    if(content==null){     //System.out.println("content涓簄ull:"+getStatus());     return null;    }    data = new String(content, encoding);   } catch (UnsupportedEncodingException e) {    e.printStackTrace();   }   return data;  }

 public int getStatus() {   return this.status;  }

 public String getEncoding() {   return encoding;  }

 @Override  public String toString() {   return "Content: " + getData() + "\n" + "status: " + status + "\n"     + "encoding: " + encoding + "\n";  }

 @Override  public void readFields(DataInput in) throws IOException {   int size=in.readInt(); //  System.out.println("HttpContent readFields: size="+size);   if(size>0){    content=new byte[size];    in.readFully(this.content);   }else{    content=null;   }   this.status=in.readInt(); //  System.out.println("status="+status);   int encodeSize=in.readInt();   byte[] encodeBytes=new byte[encodeSize];   in.readFully(encodeBytes);   this.encoding=new String(encodeBytes,"GBK"); //  System.out.println("encoding="+this.encoding);  }

 @Override  public void write(DataOutput out) throws IOException {   if(content==null){    out.writeInt(0);   }else{ //   System.out.println("HttpContent write(): content.length="+content.length);    out.writeInt(content.length);    out.write(content);   } //  System.out.println("Status="+status);   out.writeInt(status); //  System.out.println("encoding="+encoding);   byte[] temp=encoding.getBytes("GBK");   out.writeInt(temp.length);   out.write(temp); //  out.writeBytes(encoding);  } }