相关内容

• org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

  atorg.apache.hadoop.hive.ql.metadata.Hive.registerAllFunctionsOnce(Hive.java:226) atorg.apache.hadoop.hive.ql.metadata.Hive(Hive.java:366) atorg.apache.hadoop.hive.ql.metadata.Hive.create(Hive.java:310) atorg.apache.hadoop.hive.ql.metadata.Hive.getInternal(Hive.java:290) atorg.apache.hadoop.hive.ql.metadata.Hive.get(Hive.java:266) at org.apache.hadoop.hive.ql.session.SessionState.start:3367) atorg.apache.hadoop.hive.ql.metadata.Hive.getMSC(Hive.java:3406) at org.apache.hadoop.hive.ql.metadata.Hive.getMSC(Hive.java:3386) atorg.apache.hadoop.hive.ql.metadata.Hive.getAllFunctions(Hive.java:3640) atorg.apache.hadoop.hive.ql.metadata.Hive.reloadFunctions

  来自：

  云+社区专栏

  浏览：732

• Unable to instantiate org.apache.hadoop.hive.metas

  hive启动后运行命令时出现：FAILED: Error in metadata: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClientFAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask这种情况一般原因比较多，所以需要进行hive调试：进入hive的bin目录输入：hive --hiveconf hive.root.logger=debug,console;进去的原因有多种，但一般常见的有两种，1 没有将jdbc驱动包导入到hive的lib目录    解决方案：    下载mysql jdbc驱动包导入到hive的lib目录中 http:www.mysql.comdownloadsconnectorj5.1.html2 mysql中保存hive元数据的数据库没有赋予足够权限    解决方案：    赋予hive数据库足够权限，方式有3中如下：1.用root 进入mysql后mysql>set password =password(你的密码

  来自：

  云+社区专栏

  浏览：431

• Hadoop Hive Hbase Kylin 环境搭建

  # 安装版本| SoftWare | Version || ------------- |:-------------:|| JDK | 1.8 || Hadoop | 2.7.3 || Hive |JAVA_HOME, JRE_HOME, 以及PATH 下载Hadoop(2.7.3) http:hadoop.apache.orgreleases.html下载地址 # hadoop-env.sh 配置需要在hive的 lib文件夹中，添加 “mysql-connector-java-xxx.jar” # hive-env.sh 配置 HADOOP_HOME=usrhadoop-2.7.3 # 创建一个-2.1.1hcatalog export HBASE_HOME=usrhbase-1.3.0 export PATH=$HADOOP_HOMEbin:$HADOOP_HOMEsbin:$HIVE_HOMEbin启动hadoop-2.7.3sbinstop-all.shhadoop-2.7.3sbinstart-all.sh# Hive 启动# 无需启动 hive-2.1.1binhive# Hbase 启动

  来自：

  云+社区专栏

  浏览：279
• 广告

  关闭

  50+款云产品免费体验

  提供包括云服务器，云数据库在内的50+款云计算产品。打造一站式的云产品试用服务，助力开发者和企业零门槛上云。

• java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClie

  : Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient 5 at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:371) 6 at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:689) 7 at org.apache.hadoop.hive.cli.CliDriver.mainHive.java:2625)18 at org.apache.hadoop.hive.ql.metadata.Hive.getMSC(Hive.java:2644)19 at org.apache.hadoop.hive.ql.session.SessionState.startHive.java:2625)40 at org.apache.hadoop.hive.ql.metadata.Hive.getMSC(Hive.java:2644)41 at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:365)42 at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:689)43 at org.apache.hadoop.hive.cli.CliDriver.main

  来自：

  云+社区专栏

  浏览：520

• Hadoop、Hbase、Hive版本兼容性

  1.hadoop与hbase哪些版本兼容？2.hadoop与hive哪些版本兼容？3.hbase与hive哪些版本兼容？4.hbase与zookeeper哪些版本兼容？hadoop与hive哪些版本兼容？hadoop与hive版本对应关系 hive版本2.0.0支持hadoop版本Hadoop 2.x.yhive版本1.2.1支持hadoop版本Hadoop 1.x.y, 2.x.y hive版本1.0.1Hadoop 1.x.y, 2.x.yhive版本0.13.1 支持hadoop版本 Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y hive版本0.13.0 支持hadoophive版本0.11.0 支持hadoop版本 Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y hive版本0.10.0 支持hadoop版本 Hadoop 0.20.x,

  来自：

  云+社区专栏

  浏览：4822

• hadoop上搭建hive

  环境hadoop2.7.1+ubuntu 14.04hive 2.0.1集群环境namenode节点：master (hive服务端)datanode 节点：slave1,slave2（hive客户端）hive建立在hadoop的HDFS上，搭建hive前，先需搭建hadoop远程模式：101.201.81.34（Mysql server meta server安装位置）一、101.201.81.43:$JRE_HOMEbin:$HADOOP_HOMEbin:$HADOOP_HOMEsbin:$HIVE_HOMEbin:$PATHexport HADOOP_MAPARED_HOME=$HADOOP_HOMEexportHADOOP_CONF_DIR=$HADOOP_HOMEetchadoopsource etcprofile3.修改hiveconf下的几个template模板并重命名为其他cp hive-env.sh.templatehive-env.shcp hive-default.xml.template hive-site.xml配置hive-env.sh文件，指定HADOOP_HOME安装位置 HADOOP_HOME=$

  来自：

  云+社区专栏

  浏览：483

• Hadoop基础教程-第11章 Hive：SQL on Hadoop（11.1 Hive 介绍）（草稿）

  第11章 Hive：SQL on Hadoop11.1 Hive 介绍11.1.1 为什么需要Hive？Hadoop的出现，正如当年Java语言的出现，得到了极大的关注和广泛应用。Hive的出现就是来解决这个问题，Hive让那些精通SQL而Java技术相对薄弱的数据分析师能够利用Hadoop进行各种数据分析。在Hadoop生态圈中还有一个Pig组件，作用与Hive类似，但是Pig提供的不是SQL接口，而是一种叫做Pig Latin的语言接口，增加了学习成本。所以Pig没有Hive这么流行了。掌握Hive对于使用Hadoop来说至关重要。11.1.2 Hive架构简单地说，Hive底层存储使用了HDFS，查询语句转变为MapReduce作业。 ?与Hadoop的HDFS和MapReduce计算框架不同，Hive并不是分布式架构，它独立于集群之外，可以看做一个Hadoop的客户端。

  来自：

  云+社区专栏

  浏览：349

• Hadoop——Hive

  概述官方地址http:hive.apache.org 简单，容易上手提供了类似SQL查询语言HQL 为超大数据集设计的计算、存储拓展能力 统一的元数据管理体系架构?image.png配置设置环境变量export HIVE_HOME=homehadoopapphive-1.1.0-cdh5.7.0export PATH=$HIVE_HOMEbin:$PATH修改hive中config目录的配置 设置 hive-env.shHADOOP_HOME=homehadoopapphadoop-2.6.0-cdh5.7.0设置 hive-site.xml javax.jdo.option.ConnectionURLjdbc:mysql:localhost:3306hive_test?bin]$ .hive创建数据表create table wordcount (count string);查看表show tables;加载本地数据到表中hive> load data local

  来自：

  云+社区专栏

  浏览：188

• hive_异常_01_（未解决）FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.

  一、异常现象单独的 hadoop、hbase 、hive 都是正常的，但是在 hive 整合hbase 时，在 hive中输入以下建表语句，CREATE TABLE hbase_table_1(key(RetryingMetaStoreClient.java:74) at org.apache.hadoop.hive.ql.metadata.Hive.createMetaStoreClient(Hive.java:2841) at org.apache.hadoop.hive.ql.metadata.Hive.getMSC(Hive.java:2860) at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:453) at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:671) at org.apache.hadoop.hive.cli.CliDriver.mainorg.apache.hadoop.hive.ql.exec.DDLTask.

  来自：

  云+社区专栏

  浏览：577

• Hadoop整合Hive之API封装及操作

  首先看依赖 4.0.0 com.ta.hive tg_hive 0.0.1-SNAPSHOT jar TG_hadoop_hive http:maven.apache.org UTF-8 4.12 1.1.22.6.2 junit junit ${junit.version} test org.apache.hadoop hadoop-hdfs ${hadoop.version} runtime mysqlmysql-connector-java 5.1.5 org.apache.hadoop hadoop-common ${hadoop.version} runtime jdk.tools jdk.toolsorg.pentaho 如果你的maven更新报错了，说明你的包有冲突，排除掉冲突的包即可下面看看API的封装package com.tg.hadoop.hive; import java.sql.Connectionjava.sql.SQLException;import java.sql.Statement;** * * @author 汤高 * *public class HiveAPI { 网上写 org.apache.hadoop.hive.jdbc.HiveDriver

  来自：

  云+社区专栏

  浏览：878

• Hadoop Hive：从本地机器上的.csv文件加载数据？

  我为我设置了Hadoop和Hive，这样我就可以在我的计算机上运行Hive查询访问AWS群集上的数据。我可以使用存储在我的计算机上的.csv数据运行Hive查询，就像我使用MS SQL Server一样？ 那么如何将.csv数据加载到Hive呢？这与Hadoop有什么关系，我应该运行哪一种模式？

  来自：

  云+社区问答

  回答：2

• Hadoop+Hive+HBase+Spark 集群部署（一）

  ZK_HOMEoptsoftzookeeper-3.4.12optsoftzookeeper-3.4.12optsoftzookeeper-3.4.12optsoftzookeeper-3.4.12 HIVE_HOMEoptsoftapache-hiveHADOOP_PREFIX=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_PREFIXexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_PREFIXlibnativeexport HADOOP_CONF_DIR=$HADOOP_PREFIXetchadoopexport HADOOP_HDFS_HOME=$HADOOP_PREFIXexport# Hive Configexport HIVE_HOME=optsoftapache-hive-2.3.3-binexport HIVE_CONF_DIR=${HIVE_HOME}confexport:${HBASE_HOME}bin:${HIVE_HOME}bin:$PATHHaoop集群安装详见 https:nnode.cnarticlehadoop_2_8_3_install 本文由 bytebye

  来自：

  云+社区专栏

  浏览：302

• hadoop hive 分区表load至新表

  hadoop hive 分区表移动shell脚本### fct_path_list_history.sh#!$dateend +%s` echo 处理时间范围：$beg_s 至 $end_s while ;do day=`date -d @$beg_s +%Y-%m-%d`; echo 当前日期：$day hivehive sql#### fct_path_list_history.sqluse dw;LOAD DATA INPATH hdfs:nameservice1userhivewarehousedw.dbfct_path_listdate

  来自：

  云+社区专栏

  浏览：1034

• 如何通过官网查找hadoop、hbase、hive版本兼容信息

  问题导读 1.如何查看hbase与hadoop的兼容？2.hive是否与所有hadoop兼容？3.hadoop2.7.1 hbase1.2.x hive1.2.0是否兼容？最简单的办法：hadoop、hbase、hive、zookeeper版本对应关系续(最新版) 那么我们该如何查看hadoop、hbase、hive他们之间的兼容关系 这时候，我们就要去官网了： 首先查看################################ hive我们如何查看兼容信息，还是我们首先进入官网 http:hive.apache.org，看到下图 ?点击downloads,进入http:hive.apache.orgdownloads.html 这时候我们看到下面内容： ? 这样，我们就看到了他们的兼容情况。这样我们知道：hadoop2.7.1 hbase1.2.x hive1.2.0是兼容的

  来自：

  云+社区专栏

  浏览：1183

• hadoop: hive 1.2.0 在mac机上的安装与配置

  环境：mac OS X Yosemite + hadoop 2.6.0 + hive 1.2.0 + jdk 1.7.0_79前提：hadoop必须先安装，且处于运行状态（伪分式模式或全分布模式均可）hive都试过），hive 1.2.0启动时，始终报jdk版本不匹配，后来在mac上将hadoop 2.6.0源编译成mac原生版本后，就正常了。=homehadoophadoop-2.6.0export HIVE_HOME=homehadoophive-1.2.0...export HADOOP_CONF_DIR=${HADOOP_HOME}etchadoop（必须先手动建好），其它目录为hdfs中的目录（hive启动时，先自动建好，如果自动创建失败，也可以手动通过shell在hdfs中创建）四、替换hadoop 2.6.0中的jline jar包由于hive1.2.0自带的jline包跟hadoop 2.6.0自带的版本不一致，因此需要将$HIVE_HOMElibjline-2.12.jar 这个文件替换掉$HADOOP_HOMEsharehadoopyarnlib

  来自：

  云+社区专栏

  浏览：515

• 单机搭建hadoop+hive+spark环境

  ;USE hive;CREATE USER hive@localhost IDENTIFIED BY hive;GRANT ALL ON hive.* TO hive@localhost IDENTIFIEDBY hive;GRANT ALL ON hive.* TO hive@% IDENTIFIED BY hive;FLUSH PRIVILEGES;安装hadoopsudo apt-get installsshsudo apt-get install rsync tar -xzvf hadoop-2.7.6.tar.gzln -s homeuser_namehadoop hadoop export JAVA_HOME-2.3.4-bin.tar.gztar -xzvf apache-hive-2.3.4-bin.tar.gz ln -s homeuser_nameapache-hive-2.3.4-bin hive.tgztar -xvzf spark-2.0.2-bin-hadoop2.7.tgzln -s homeuser_namespark-2.0.2-bin-hadoop2.7 sparkexport SPARK_HOME

  来自：

  云+社区专栏

  浏览：1376

• Hadoop+Hive+HBase+Spark 集群部署（四）

  identified by hive;grant all on metastore.* to hive@localhost identified by hive;flush privileges;将jdbc驱动放到hive lib中mv mysql-connector-java-5.1.43.tar.gz $HIVE_HOMElib复制初始化文件并重改名cp hive-env.sh.template hive-env.shcphive-default.xml.template hive-site.xmlcp hive-log4j2.properties.template hive-log4j2.propertiescp hive-exec-log4j2Java路径export HADOOP_HOME=optsofthadoop-2.8.3 ##Hadoop安装路径export HIVE_HOME=optsoftapache-hive-2.3.3-bin##Hive安装路径export HIVE_CONF_DIR=optsoftapache-hive-2.3.3-binconf ##Hive配置文件路径在hdfs 中创建下面的目录 ，并且授权hdfs

  来自：

  云+社区专栏

  浏览：175

• CentOS7上安装 JDK8 Hadoop Hive

  usrlocalsbin:usrlocalbin:usrsbin:usrbin:rootbin:usrlocalhivebin:usrjavadefaultbin:usrjavadefaultbin安装Hadoop安装HIVE下载 http:mirror.bit.edu.cnapachehive?将hive解压到usrlocal下：tar -zxvf apache-hive-3.1.2-bin.tar.gz -C usrlocal将文件重命名为 hive 文件：mv apache-hive-2.1.1-bin hive修改环境变量 etcprofile#hiveexport HIVE_HOME=usrlocalhiveexport PATH=$PATH:$HIVE_HOMEbin执行 sourceetc.profile执行 hive --version

  来自：

  云+社区专栏

  浏览：147

• 【Sqoop】CDH版Hadoop、Hive及Sqoop的伪分布式环境搭建

  （2）在optsoftware目录下新建cdh目录：software]$ mkdir cdh 向optsoftwarecdh目录上传下载好的CDH版本的Hadoop、Hive及Sqoop： hadoop-5.3.6 （2）进入optcdh-5.3.6hive-0.13.1-cdh5.3.6conf目录， conf]$ cp hive-env.sh.template hive-env.sh 配置optcdh-5.3.6hive-0.13.1-cdh5.3.6confhive-env.shHADOOP_HOME=optcdh-5.3.6hadoop-2.5.0-cdh5.3.6export HIVE_CONF_DIR=optcdh-5.3.6hive-0.13.1-cdh5.3.6conf（3） conf]$ cp hive-log4j.properties.template hive-log4j.properties=optcdh-5.3.6hadoop-2.5.0-cdh5.3.6export HADOOP_MAPRED_HOME=optcdh-5.3.6hadoop-2.5.0-cdh5.3.6export HIVE_HOME

  来自：

  云+社区专栏

  浏览：306

• Hive 基础操作

  Hive 是一个建立在 Hadoop 文件系统上的数据仓库架构，它为数据仓库的管理提供了许多功能，包括数据 ETL（抽取、转换和加载）工具、数据存储管理和大型数据集的查询和分析能力。Hive 使用 Hadoop 的 HDFS 作为文件的存储系统，很容易扩展自己的存储能力和计算能力，可达到 Hadoop 所能达到的横向扩展能力，数千台服务器的集群已不难做到，是为海量数据做数据挖掘而设计在 EMR 命令行使用以下命令切换到 Hadoop 用户，并进入 Hive 文件夹：# su hadoop# cd usrlocalservicehive新建一个 bash 脚本文件 gen_data.shHive 基础操作连接 Hive登录 EMR 集群的 Master 节点，切换到 Hadoop 用户并且进入 Hive 目录，并连接 Hive：$ su hadoop$ cd usrlocalservicehivebin-u jdbc:hive2: $host: $port -n hadoop -p hadoop 创建 Hive 表无论以 Hive 模式还是 beeline 模式成功连接到 Hive 数据库后，Hive-SQL

  来自：

  文档弹性 MapReduceEMR 开发指南Hive 开发指南