首页
学习
活动
专区
圈层
工具
发布

Hadoop中如何正确编写继承自Writable接口的子类

我编写了一个HttpContent类,主要用于保存爬取网页的源码,返回状态和编码格式信息,他在mapper中别实例化保存网页内容,然后传输到reducer中被使用,在编写中遇到了一些问题: (1)首先是没有编写默认的构造函数类...下面是HttpContent的类型的源码,重点是write(DataOutput out)和readFields(DataInput in)方法: package bbs.http; import java.io.DataInput...java.io.UnsupportedEncodingException; import org.apache.hadoop.io.Writable; /**  *  */ public class HttpContent...(){  }  public HttpContent(byte[] content, int status, String encoding) {   this.content = content;...void readFields(DataInput in) throws IOException {   int size=in.readInt(); //  System.out.println("HttpContent

1.2K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    netty系列之:搭建HTTP上传文件服务器

    对于GET请求来说,因为所有的内容都包含在URI中,所以不需要额外的HTTPContent,直接发送HttpRequest到服务器就可以了。...'=').append(attrVal).append("\r\n"); } } POST方法上传数据 对于POST请求,它比GET请求多了一个HTTPContent...如果是HttpContent,我们将解析的结果放到一个StringBuilder中缓存起来,等接收到LastHttpContent再一起发送出去即可。...在收到HttpContent之后,我们调用decoder.offer方法,对HttpContent进行解码: decoder.offer(chunk); 在decoder内部有两个存储HttpData数据的容器...channel.write(request); 要注意,如果是transfer-encoding = chunked,那么这个HttpRequest只是请求头的信息,我们还需要手动将HttpContent

    2.6K30

    Asp.Net WebAPI核心对象解析(三)

    4.HTTP消息内容解析:       在.NET4.5版本的HTTP模型中,HTTP消息的正文由抽象基类HttpContent表示,HttpResponseMessage和HttpRequestMessage...对象都包含一个HttpContent类型的Content属性。      ...(1).HttpContent主要属性和方法: 名称 描述 ReadAsByteArrayAsync 以异步操作将 HTTP 内容写入字节数组。...在HttpContent中利用CopyToAsync()方法以推送方式访问原始的消息内容,由方法代码可以看出,该方法接受两个参数,一个是流对象,一个是有关传输的信息(例如,通道绑定),此参数可以为 null...在HttpContent中包含有另外两个类似的方法,ReadAsStringAsync()和ReadAsByteArrayAsync()异步的提供消息内容的缓冲副本,ReadAsByteArrayAsync

    3.8K90
    领券