将元数据从metastore(derby)迁移到Hive 2.4.3

文章/答案/技术大牛

发布

1回答

hadoop、hive、hiveql、hive-metastore

我刚刚部署了Hive 2.4.3，但是在老版本的Hive 1.2上只有很少的表有分区，我使用Derby作为元数据存储。将它们迁移到新安装的Hive的最佳方式是什么？

浏览 9提问于2019-06-18得票数 0

2回答

无论我在哪里运行配置单元，都会创建metastore_db

hive、hiveql

文件夹metastore_db是在我运行配置单元查询的任何目录中创建的。有没有办法在一个已定义的位置只有一个metastore_db，并阻止它在所有地方被创建？这跟hive.metastore.local有关系吗？

浏览 1提问于2012-11-29得票数 23

回答已采纳

2回答

是否在配置单元中创建表异常？

java、apache、hadoop、hive、apache-zookeeper

我已经安装了Hive，但是当我编写创建表的命令"CREATE table foo(id int，msg STRING);“时。我抛出异常“清理操作完成失败:元数据中的错误: javax.jdo.JDOFatalDataStoreException:创建数据库'metastore_db‘失败，请参见details.NestedThrowables:java.sql.SQLException:创建数据库'metastore_db’失败的下一个异

浏览 0提问于2012-05-24得票数 2

4回答

无法创建数据库路径文件:/user/hive/仓库错误

linux、hadoop、mapreduce、hive、hdfs

我有一个3节点集群，在运行一些单元查询时，我会收到以下错误 <property&g

浏览 6提问于2013-04-09得票数 3

3回答

Spark和Hive之间的Derby版本不匹配:无法实例化org.apache.hadoop.hive.metastore.HiveMetaStoreClient

apache-spark、apache-spark-sql

当连接Spark(为Hadoop 2.6.0构建的1.4.0)与hive(版本1.1.0)表时，由于derby版本不匹配而出现异常。有没有办法让(spark和hive)都可以使用相同的derby版本？...Any有其他方法来解决这个问题吗？Caused by: java.sql.SQLException: Failed to start database 'metastore_db' with class loader org.apache.spark.sql.hive</em

浏览 3提问于2015-07-02得票数 7

4回答

配置单元元存储未创建MYSQL或Derby连接

mysql、hadoop、hive、derby

配置单元元存储未创建MYSQL或Derby连接。对于DerbyMetastore connection URL: jdbc:mysql://localhost/metastore-dbType derby -info Metastore connection URL: jdbc:mysql://localhost/m

浏览 1提问于2014-01-30得票数 1

1回答

启动蜂箱时出错

hadoop、hive

at org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance(MetaStoreUtils.java:1654) at org.apache.hadoop.hive.metastore.RetryingMetaStoreClienthive.metastore.RetryingMetaStoreClient.getProxy(RetryingMetaStoreClient.java:130) at org.apache.ha

浏览 2提问于2017-06-03得票数 0

2回答

为什么不复制Impala表定义？

hadoop、hdfs、impala

我能够将CSV文件复制到HDFS，并在中描述的基础上创建和查询Impala表。但是，我不能在不同的数据节点上查询同一个表：Query: select * from tab1Query: refresh tab1是否需要执行一些命令来获取数据节点上所有

浏览 1提问于2013-10-29得票数 2

回答已采纳

3回答

Spark不允许我创建一个表，抱怨默认的转移目录

hive、apache-spark-sql

IF NOT EXISTS src (key INT, value> org.apache.hadoop.hive.ql.metadata.HiveException:> or unable to create one)at &

浏览 1提问于2015-09-23得票数 0

回答已采纳

1回答

如何从直线进入Metastore？

hive、beeline

我需要直接从Metasore执行一些SQL查询(如)。如何启用作为数据库的访问，或者Metastore的数据库名是什么？现在(2019年)有可能吗？备注对我来说是蜂巢架构的一个非常重要的元素，最终用户需要访问它.“所有的Hive实现都需要一个转移服务，它存储元数据。它是使用关系数据库中的表实现的。默认情况下，Hive使用内置的Der

浏览 0提问于2019-08-07得票数 3

6回答

MetaException(消息:在亚稳态中找不到版本信息。)

mysql、hadoop、hive

at org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance(MetaStoreUtils.java:1654) at org.apache.hadoop.hive.metastore.ObjectStore.checkSchema(ObjectStore.java:7753)

浏览 4提问于2017-02-13得票数 19

回答已采纳

1回答

已安装蜂巢，但在运行时出现错误。

apache、ubuntu、hadoop、installation、hive

SLF4J: Found binding in [jar:file:/usr/lib/hive/apache-hive-2.0.0-bin/lib/hive-jdbc-2.0.0-standalone.jar/apache-hive-2.0.0-bin/lib/hive-common-2.0.0.jar!ERROR XBM0H: Directory /usr/lib/hive</

浏览 7提问于2016-03-31得票数 0

回答已采纳

2回答

如何让Hive* JDBC驱动程序和Hive shell与同一个DB通信？*

java、jdbc、hadoop、hive

""); 本教程将运行，它将在默认数据库上创建一个表testhivedrivertable并对其进行描述。这工作得很好，而且我的hive服务记录了一堆东西。然后，我尝试通过hive -p 10000将一个shell带到同一个DB，这将为我提供一个shell，但是我看不到java程序创建的表( java程序也看不到我在shell中时创建的表)。此外，当我在hive shell中运行命令时，控制台中没有显示任何内容，因此我非常确定我正在与一个不同的hive</em

浏览 1提问于2011-10-08得票数 1

回答已采纳

7回答

无法实例化HiveMetaStoreClient

hadoop、permissions、hive、hdfs、hue

当我试图从集群外部运行一些测试时，我会得到以下错误失败:元数据中的错误:无法实例化org.apache.hadoop.hive.metastore.HiveMetaStoreClient失败:执行错误，从使用file:/net/slc01nwj/scratch/ashsshar/view_storage/ashsshar_bda_latest_2/work/hive_scratch&#x

浏览 6提问于2013-04-04得票数 3

1回答

在mac上启动配置单元时出现Java异常

macos、hive、config

at org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance(MetaStoreUtils.java:1485) at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.newRawStore(HiveMetaStor

浏览 0提问于2015-07-13得票数 2

1回答

将配置单元用作元存储区时，无法查看数据库

hadoop、hive、derby、apache-hive、metastore

为了通过Apache Drill访问hive，我启动了metastore as a service。为了将其用作hive-site.xml中的转储，我将hive.metastore.uris参数设置为thrift://localhost:9083。创建元存储服务后，我尝试查看databases.It显示的只有2个数据库，而不是4个数据库，这4个数据库是在启动配置单元作为服务之前创建的。也有一些以前创建的表没有显示

浏览 14提问于2016-08-03得票数 0

回答已采纳

6回答

如何摆脱星火壳牌中的derby.log、metastore_db

apache-spark、derby

在运行spark-shell时，它会创建一个文件derby.log和一个文件夹metastore_db。我如何配置火花，以将这些放在其他地方？

浏览 4提问于2016-07-14得票数 23

回答已采纳

2回答

无法从第二次运行Oozie工作流作业启动蜂巢操作

hadoop、hive、oozie

运行“从Oozie到第二次工作流作业运行的Hive操作”时正面临位问题。{不确定同一个Jar正在检查Derby，在何处使用Oracle，在hive-site.xml、hive-default.xml中更新的是相同的如果该作业是在杀死前一个实例之后才刚开始的，那么同样的任务也将按预期的方式完成-供应商：" DataNucleus“版本："2.0.3”2426主要信息DataNucleus.Persistence -DataNucleus持久性工厂初始化为数据<

浏览 1提问于2015-02-02得票数 0

回答已采纳

1回答

Spark作业在Hive数据库中找不到表

hadoop、apache-spark、hive

我在Hive的默认数据库中有一个表，可以在命令行中成功地从该表中获取记录：但是，当我在Spark创建一个要运行的作业时，它只会像这样抛出我的异常：16/01/04 03:41:42 INFO HiveMetaStore.auditJavaSparkContext sc = new

浏览 0提问于2016-01-04得票数 6

回答已采纳

4回答

配置单元元存储和名称节点在群集中的作用是什么？

hive

在安装了Hive的群集中，metastore和namenode有什么？我知道Metastore拥有所有的表模式和分区细节以及元数据。现在，这个元数据是什么？那么namenode有什么呢？

浏览 1提问于2013-06-12得票数 13

点击加载更多