Hadoop Avro支持多输入AvroMultipleInputs

Avro 提供了1.x版本的AvroMultipleInputs,但是不支持2.x API版本,因此修改对应代码,增加对hadoop 2.x API版本的的支持

代码放在https://github.com/jadepeng/AvroMultipleInputs/

使用方法和MultipleInputs类似,指定inputpath,key和value的SCHEMA,以及处理用的Mapper类即可

AvroMultipleInputs.addInputPath(job, new Path(inputPath),Schema.create(Schema.Type.STRING), 
						SingerItem.SCHEMA$, SingerItemMapper.class);

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏用户3030674的专栏

Android sdk配置 常见问题及处理方法

Fetching https://dl-ssl.google.com/android/repository/addons_list-2.xml Fetched ...

522
来自专栏黑白安全

D-Link DIR-600M 150M无线路由器的认证绕过

我只需要连接上路由器,然后查看路由器的网关地址,在浏览器打开网关地址,输入用户名admin,密码输入超过20个空格 即可成功绕过认证,进入路由管理后台.

662
来自专栏小尘哥的专栏

前后端分离Nuxt.js解决SEO问题

背景:由于后端程序猿通常对CSS 、JS掌握不是特别好,通常的开发模式,UI把静态html做好交给程序猿,程序猿开发,把静态html变成动态的时候经常会有各种样...

944
来自专栏Android开发指南

android studio遇到的问题(记录总结)

41613
来自专栏有困难要上,没有困难创造困难也要上!

上传iOS应用时 ERROR ITMS-90096: Your binary is not optimized for iPhone 5。。。

2847
来自专栏Java学习123

解决Cannot change version of project facet Dynamic web module to 2.5

2563
来自专栏何俊林

手把手图文并茂教你发布Android开源库

经常逛github,总看到别人的readme中写着compile ‘com.xxx:1.0.xxx’,这个已经越来越普及,个人,团人,公司都在用,虽然做andr...

2966
来自专栏AndroidTv

AndroidTv开发中常用的adb命令

盒子应用开发时,调试比手机上的开发比较麻烦一点,而且需要经常跟 adb 打交道,不管是 wifi 连接调试,还是应用删除安装等。这里记录一些常用的操作,方便查阅...

36410
来自专栏云计算教程系列

如何在Ubuntu 14.04上备份OrientDB数据库

OrientDB是一个多模型NoSQL数据库,支持图形和文档数据库。它是一个Java应用程序,可以在任何操作系统上运行; 它也完全是ACID投诉,支持多主复制。

400
来自专栏cloudskyme

博客群发(2)--实现登陆

模板方法 python也是一种面向对象的语言,所以在实现群发的时候,会登陆不同的网站,但是登陆的方法什么的不尽相同,所以这里想到的是模板方法。 模板方法模式: ...

3276

扫描关注云+社区