问hcatalog在hadoop中的用途是什么？

EN

简而言之，HCatalog向其他mapreduce工具开放了蜂窝元数据。每个mapreduce工具都有自己关于HDFS数据的概念(例如Pig将HDFS数据视为文件集，Hive将其视为表)。有了基于表的抽象，HCatalog支持的mapreduce工具不需要关心数据存储在哪里，以哪种格式和存储位置(HBase或HDFS)。

如果您沿着Hcatalog配置WebHcat，我们确实可以获得webhcat以RESTful方式提交作业的功能。

这是一个关于ho如何使用HCATALOG的非常基本的例子。

我在配置单元中有一个表，表名为STUDENT，它存储在HDFS位置之一：

neethu 90 malini 90 sunitha 98 mrinal 56 ravi 90 joshua 8

现在假设我想要将这个表加载到pig以进行进一步的数据转换，在这个场景中，我可以使用HCATALOG：

在对Pig使用Hive metastore中的表信息时，请在调用pig时添加-useHCatalog选项：

pig -useHCatalog

(您可能希望导出HCAT_HOME 'HCAT_HOME=/usr/lib/hive-hcatalog/')

现在将该表加载到pig：A = LOAD 'student' USING org.apache.hcatalog.pig.HCatLoader();

现在，您已经将表加载到pig.To，检查模式，只需对关系进行描述即可。

DESCRIBE A

谢谢

Hcatalog是Hadoop文件系统的元数据管理。Hcatalog可以通过webhcat访问，webhcat使用rest api。无论在hcatalog中创建什么表，都可以通过hive和pig进行访问。