hive.HiveImport: FAILED: SemanticException [错误10072]：数据库不存在：
我试图将MySQL数据库导入到Hive中，以便根据博客分析大型MySQL数据，有几种方法可以做到这一点
- 非实时: Sqoop
- 实时: MySQL的Hadoop应用程序
因此，我决定采用“非实时”的方法，我已经用4个节点、Sqoop和Hive设置了Hadoop集群，这些都可以在以下版本中很好地工作
名称版本
Apache 2.6.0
Apache 蜂巢-0.14.0
Apache sqoop-1.4.5.bin_hadoop-2.0.4-alpha
现在，当我试图使用以下命令导入数据时
导入命令
sqoop-import-all-tables --verbose --connect jdbc:mysql://X.X.X.X/edgeowt --username root -P --hive-import --warehouse-dir /user/hive/warehouse --hive-database edgeowt.db --hive-overwrite那么我就会收到以下错误
误差
INFO hive.HiveImport: FAILED: SemanticException [Error 10072]: Database does not exist: edgeowt.db
15/04/16 13:32:09 ERROR tool.ImportAllTablesTool: Encountered IOException running import job: java.io.IOException: Hive exited with status 88我使用Hiveserver2登录并检查数据库，但是我能够看到给定的数据库。
$HIVE_HOME/bin>beeline
beeline> !connect jdbc:hive2://localhost:10000 scott tiger org.apache.hive.jdbc.HiveDriver
0: jdbc:hive2://localhost:10000> show databases;
+----------------+--+
| database_name |
+----------------+--+
| default |
| edgeowt |
+----------------+--+在查看HDFS文件系统web接口之后，我意识到DB的所有者是不同的。
Permission Owner Group Size Replication Block Size Name
drwxr-xr-x hduser supergroup 0 B 0 0 B candidate
drwxr-xr-x scott supergroup 0 B 0 0 B edgeowt.db
drwxr-xr-x scott supergroup 0 B 0 0 B hd_temperature由于我试图使用、hduser、导入数据，并且数据库是使用、scott、用户创建的。我尝试使用以下命令将所有提供给edgeowt.db上的hduser
0: jdbc:hive2://localhost:10000>GRANT ALL ON DATABASE edgeowt TO USER hduser;并与
0: jdbc:hive2://localhost:10000> SHOW GRANT ON DATABASE edgeowt;
+-----------+--------+------------+---------+-----------------+-----------------+------------+---------------+----------------+----------+--+
| database | table | partition | column | principal_name | principal_type | privilege | grant_option | grant_time | grantor |
+-----------+--------+------------+---------+-----------------+-----------------+------------+---------------+----------------+----------+--+
| edgeowt | | | | admin | ROLE | ALL | false | 1429170366000 | scott |
| edgeowt | | | | hduser | USER | ALL | false | 1429170906000 | scott |
+-----------+--------+------------+---------+-----------------+-----------------+------------+---------------+----------------+----------+--+但是不能解决这个错误，那么我该如何解决这个问题呢？或者解决这个问题的任何一点都是有帮助的。
~/..bashrc
# Set JAVA_HOME (we will also configure JAVA_HOME directly for Hadoop later on)
export JAVA_HOME=/usr/lib/jvm/java-7-oracle
# Set Hadoop-related environment variables
export HADOOP_INSTALL=/opt/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_HOME=$HADOOP_INSTALL
# Set hive home
export HIVE_HOME=/opt/hive
export PATH=$PATH:$HIVE_HOME/bin
# Set HCatlog home
export HCAT_HOME=$HIVE_HOME/hcatalog
export PATH=$PATH:$HCAT_HOME/bin
# Set Sqoop home
export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=$HADOOP_HOME/lib/native"
export SQOOP_HOME=/opt/sqoop
export SQOOP_CONF_DIR="$SQOOP_HOME/conf"
export SQOOP_CLASSPATH="$SQOOP_CONF_DIR"
export PATH=$PATH:$SQOOP_HOME/bin编辑
尝试使用下面的命令仍然有相同的错误
sqoop-import-all-tables --verbose --connect jdbc:mysql://X.X.X.X/edgeowt --username root -P --hive-import --warehouse-dir /user/hive/warehouse --hive-database edgeowt --hive-overwrite回答 4
Stack Overflow用户
发布于 2015-04-27 07:22:38
最后，我在阅读论坛上关于同一个问题的讨论https://groups.google.com/a/cloudera.org/forum/#!topic/cdh-user/UR0CaPVbqvQ时自己得到了答案。
的问题是关于蜂巢的Metastore配置，有三种类型的蜂巢转移配置
- 嵌入式Metastore (默认的亚稳态部署模式).
- Locall Metastore.
- Remote Metastore.
而我的蜂巢Metastore配置是默认配置。正如配置Hive Metastore的cloudera文档中提到的那样，我将亚稳态配置从Embedded (默认)更改为Remote Metastore，并开始为我工作。
有关Metastore配置的更多信息，请使用以下Cloudera文档。
Sqoop命令
sqoop-import-all-tables --connect jdbc:mysql://X.X.X.X/edgeowt --username root -P --hive-import --hive-database edgeowt --hive-overwrite -m 4Stack Overflow用户
发布于 2015-04-16 12:29:43
sqoop-导入所有表-详细-连接jdbc://x.x/edgeowt-用户名根-P -P-导入-仓库-dir/user/hive/仓库edgeowt.db --hive-改写
将--hive-database edgewot.db更改为--hive-table edgewot.db，其中edgewot是您的单元数据库名，db是您的蜂窝表名。
sqoop-import-all-tables --verbose --connect jdbc:mysql://X.X.X.X/edgeowt --username root -P --hive-import --warehouse-dir /user/hive/warehouse --hive-table edgeowt.db --hive-overwrite注意：在sqoop-1.4.5中没有--单元数据库选项。请参阅表8-- http://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html中7.2.11节的Hive参数
--交替方法--
如果sqoop导入所有表失败，请尝试以下步骤：
1.在/usr/local (本地文件系统)中创建一个名为hivetables的文件夹。更改文件夹sudo chmod -R 777 /usr/local/hivetables的权限。
2.在/usr/local/hivetables中创建一个名为sqoop-hive.sh的shell脚本，并更改该文件sudo chmod -R 777 /usr/local/hivetables/sqoop-hive.sh的权限
3.将其粘贴到sqoop-hive.sh文件中：
#!/bin/sh
#tabfold="/usr/local/hivetables"
#cd $tabfold
mysql -u $1 -p$2 -N information_schema -e "select table_name from tables where table_schema = '$3'" > /usr/local/hivetables/tables.txt
HOSTFILE="/usr/local/hivetables/tables.txt"
for host in $(cat $HOSTFILE)
do
$SQOOP_HOME/bin/sqoop import --connect jdbc:mysql://localhost:3306/$3 --table $host --username $1 --password $2 --hive-import --hive-table $4.$host --warehouse-dir /user/hive/warehouse
done4.以sh /usr/local/hivetables/sqoop-hive.sh MYSQLUSERNAME MYSQLPASSWORD MYSQLDATABASE HIVEDATABASE的形式执行shell脚本
注意： mysql 命令将mysql数据库中的表名导出到文本文件中。 for 循环读取表文件并对每个表名执行sqoop命令。
Stack Overflow用户
发布于 2015-04-16 10:23:31
您在hive-env.sh中导出hive_conf_dir吗？
导出HIVE_CONF_DIR="/etc/ hive /conf“--您的单元配置路径
https://stackoverflow.com/questions/29670830
复制相似问题
腾讯云开发者
