首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >基于Avro文件和Avro Schema构建Avro Hive表

基于Avro文件和Avro Schema构建Avro Hive表

原创
作者头像
ZHANGHAO
修改2019-02-26 14:53:40
2.5K0
修改2019-02-26 14:53:40
举报
文章被收录于专栏:张浩的专栏张浩的专栏

使用avro-tools获取Avro文件的Schema

avro-tools getschema hdfs://localhost:9000//user/hive/warehouse/retail_stage.db/orders/part-m-00000.avro >~/orders.avsc

将Avro文件的Schema文件上传到HDFS

hdfs dfs -put orders.avsc /user/hive/warehouse/avro/schema/orders/

创建Hive表

create external table retail_stage.orders_sqoop
location '/user/hive/warehouse/retail_stage.db/orders'
stored as avro
//这里填写avro文件的schema文件
tblproperties('avro.schema.url'='hdfs://localhost:9000/user/hive/warehouse/avro/schema/orders/orders.avsc')

从表中查询数据

image.png
image.png

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 使用avro-tools获取Avro文件的Schema
  • 将Avro文件的Schema文件上传到HDFS
  • 创建Hive表
  • 从表中查询数据
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档