首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

LocalCatalog详解之Coordinator处理流程

用过Impala的同学都知道,Impala本身引入了一个catalogd服务,来缓存hms和nn中的一些元数据,例如表的信息、文件信息、block信息等。同时,这份元数据会通过statestored广播到所有的coordinator节点(以下简称c节点),executor节点不需要缓存元数据。这种设计可以极大的提升查询性能,每次SQL解析的时候,不需要再跟hms/nn进行交互,所有的元数据操作都通过catalogd来进行,c节点只需要周期性地从statestored获取元数据信息进行同步即可。 但是这种设计也带来了一定的问题,当元数据量非常大的时候,catalogd本身就成为了瓶颈,会出现各种各样的问题。为此,社区从3.x版本就开始开发了一种新的catalog模式,称为LocalCatalog模式,也可以叫“Fetch-on-demand”。关于这个LocalCatalog模式的相关讨论,可以参考社区JIRA:IMPALA-7127,里面也有设计文档,这里就不再展开说明。本文主要会从两个常见的场景出发,结合代码,来跟大家一起学习下LocalCatalog模式下,c节点的一些处理逻辑。由于LocalCatalog模式涉及到的内容非常多,因此本文可以无法一一覆盖,敬请谅解。

02

快速学习-数据库之元数据

(1) 什么是数据元数据? 元数据(MetaData),是指定义数据结构的数据。那么数据库元数据就是指定义数据库各类对象结构的数据。 例如数据库中的数据库名,表明, 列名、用户名、版本名以及从SQL语句得到的结果中的大部分字符串是元数据 (2)数据库元数据的作用 在应用设计时能够充分地利用数据库元数据深入理解了数据库组织结构,再去理解数据访问相关框架的实现原理会更加容易。 (3)如何获取元数据 在我们前面使用JDBC来处理数据库的接口主要有三个,即Connection,PreparedStatement和ResultSet这三个,而对于这三个接口,还可以获取不同类型的元数据,通过这些元数据类获得一些数据库的信息。下面将对这三种类型的元数据对象进行各自的介绍并通过使用MYSQL数据库进行案例说明

02

扫码

添加站长 进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

    运营活动

    活动名称
    广告关闭
    领券