前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Oceanus Kudu Sink总结

Oceanus Kudu Sink总结

原创
作者头像
spiderwu
修改2021-08-07 19:00:52
1.1K0
修改2021-08-07 19:00:52
举报
文章被收录于专栏:Flink 实践Flink 实践

实时即未来,最近在腾讯云Oceanus进行实时计算服务,以下为flink写入Kudu实践中的总结。分享给大家~

kudu的架构依赖于Hadoop体系,一般具有3个masterServer。

Kudu 内表和外表

内部表由Impala管理,从Impala中删除时数据和表会被删除。

外部表(CREATE EXTERNAL TABLE)不受Impala管理,并且删除此表不会将表从其源位置(此处为Kudu)丢弃。只会去除Impala和Kudu之间的映射。

常用命令
cd /usr/local/service/kudu/bin
# 查看kudu所有表
./kudu table  list  master01,master02,master03
# 查询表数据
./kudu table scan master01,master02,master03 yourTableName
注意事项:

Kudu 使用Impala创建新表时,它通常是内部表,并且在Kudu中存储时带有Impala的前缀。如,在Kudu中真实的表名常常为impala::default\_database.table\_name

而通过Java API(JDBC)方式创建的表,默认在Impala中是看不到的,即在Impala中没有对应的表信息。

不过可以将kudu中的表映射到impala中:

CREATE EXTERNAL TABLE kudu_name
STORED AS KUDU
TBLPROPERTIES (
  'kudu.master_addresses' = 'hadoop01:7051,hadoop02:7051,hadoop03:7051', 
  'kudu.table_name' = 'PERSON'
);

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • Kudu 内表和外表
  • 常用命令
  • 注意事项:
相关产品与服务
流计算 Oceanus
流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的企业级实时大数据分析平台,具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点。流计算 Oceanus 以实现企业数据价值最大化为目标,加速企业实时化数字化的建设进程。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档