专栏首页JadePeng的技术博客Hadoop Avro支持多输入AvroMultipleInputs

Hadoop Avro支持多输入AvroMultipleInputs

Avro 提供了1.x版本的AvroMultipleInputs,但是不支持2.x API版本,因此修改对应代码,增加对hadoop 2.x API版本的的支持

代码放在https://github.com/jadepeng/AvroMultipleInputs/

使用方法和MultipleInputs类似,指定inputpath,key和value的SCHEMA,以及处理用的Mapper类即可

AvroMultipleInputs.addInputPath(job, new Path(inputPath),Schema.create(Schema.Type.STRING), 
						SingerItem.SCHEMA$, SingerItemMapper.class);

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • axios 浏览器内存泄露问题解决

    业务页面,频繁切换下一条,内存飙涨,导致卡顿,之前怀疑是音频播放器的锅,修改后问题依旧,于是排查网络请求。

    JadePeng
  • Angular 中后台前端解决方案 - Ng Alain 介绍

    JadePeng
  • NLP标注工具brat 配置文件说明

    the configuration of an annotation project is controlled by four files:

    JadePeng
  • Python高级进阶#001 pycharm+anaconda3+pyqt5可视化界面开发环境搭建

    3.qt的可视化开发,工具在anaconda3中的designer.exe,这个工具设计完界面后,生成的文件名称扩展名是.ui

    刘金玉编程
  • python高级开发中可视化界面开发环境搭建

    学习本阶段教程,需要掌握python基础知识,找到老刘的零基础python教程,可在优酷搜索“刘金玉编程”找到老刘的频道官方主页。

    刘金玉编程
  • linux下重命名文件或文件夹使用mv既可实现。

    linux下重命名文件或文件夹使用mv既可实现。 例子: ①将一个名为abc.txt的文件重命名为1234.txt [root@station90 root]#...

    学到老
  • UV、PV、TPS、QPS、DAU

    每秒请求数,服务器在一秒的时间内处理了多少个请求,QPS的数值需要通过下面的指标得到。

    HaydenGuo
  • mac端的优秀抓包工具——Charles使用 原

            Charles是mac端的一款截取与分析网络请求的工具,在网络开发中使用其作分析,可以大大提高我们的开发效率。Charles是收费软件,一般可以...

    珲少
  • tensorflow中tf.reduce_mean函数的使用

    tf.reduce_mean 函数用于计算张量tensor沿着指定的数轴(tensor的某一维度)上的的平均值,主要用作降维或者计算tensor(图像)的平均值...

    砸漏
  • tf.reduce_mean()

    tf.reduce_mean 函数用于计算张量tensor沿着指定的数轴(tensor的某一维度)上的的平均值,主要用作降维或者计算tensor(图像)的平均值...

    狼啸风云

扫码关注云+社区

领取腾讯云代金券