展开

关键词

首页关键词hadoop hive

hadoop hive

相关内容

  • org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

    atorg.apache.hadoop.hive.ql.metadata.Hive.registerAllFunctionsOnce(Hive.java:226) atorg.apache.hadoop.hive.ql.metadata.Hive(Hive.java:366) atorg.apache.hadoop.hive.ql.metadata.Hive.create(Hive.java:310) atorg.apache.hadoop.hive.ql.metadata.Hive.getInternal(Hive.java:290) atorg.apache.hadoop.hive.ql.metadata.Hive.get(Hive.java:266) at org.apache.hadoop.hive.ql.session.SessionState.start:3367) atorg.apache.hadoop.hive.ql.metadata.Hive.getMSC(Hive.java:3406) at org.apache.hadoop.hive.ql.metadata.Hive.getMSC(Hive.java:3386) atorg.apache.hadoop.hive.ql.metadata.Hive.getAllFunctions(Hive.java:3640) atorg.apache.hadoop.hive.ql.metadata.Hive.reloadFunctions
    来自:
    浏览:732
  • Unable to instantiate org.apache.hadoop.hive.metas

    hive启动后运行命令时出现:FAILED: Error in metadata: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClientFAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask这种情况一般原因比较多,所以需要进行hive调试:进入hive的bin目录输入:hive --hiveconf hive.root.logger=debug,console;进去的原因有多种,但一般常见的有两种,1 没有将jdbc驱动包导入到hive的lib目录    解决方案:    下载mysql jdbc驱动包导入到hive的lib目录中 http:www.mysql.comdownloadsconnectorj5.1.html2 mysql中保存hive元数据的数据库没有赋予足够权限    解决方案:    赋予hive数据库足够权限,方式有3中如下:1.用root 进入mysql后mysql>set password =password(你的密码
    来自:
    浏览:431
  • Hadoop Hive Hbase Kylin 环境搭建

    # 安装版本| SoftWare | Version || ------------- |:-------------:|| JDK | 1.8 || Hadoop | 2.7.3 || Hive |JAVA_HOME, JRE_HOME, 以及PATH 下载Hadoop(2.7.3) http:hadoop.apache.orgreleases.html下载地址 # hadoop-env.sh 配置需要在hive的 lib文件夹中,添加 “mysql-connector-java-xxx.jar” # hive-env.sh 配置 HADOOP_HOME=usrhadoop-2.7.3 # 创建一个-2.1.1hcatalog export HBASE_HOME=usrhbase-1.3.0 export PATH=$HADOOP_HOMEbin:$HADOOP_HOMEsbin:$HIVE_HOMEbin启动hadoop-2.7.3sbinstop-all.shhadoop-2.7.3sbinstart-all.sh# Hive 启动# 无需启动 hive-2.1.1binhive# Hbase 启动
    来自:
    浏览:279
  • 广告
    关闭

    50+款云产品免费体验

    提供包括云服务器,云数据库在内的50+款云计算产品。打造一站式的云产品试用服务,助力开发者和企业零门槛上云。

  • java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClie

    : Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient 5 at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:371) 6 at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:689) 7 at org.apache.hadoop.hive.cli.CliDriver.mainHive.java:2625)18 at org.apache.hadoop.hive.ql.metadata.Hive.getMSC(Hive.java:2644)19 at org.apache.hadoop.hive.ql.session.SessionState.startHive.java:2625)40 at org.apache.hadoop.hive.ql.metadata.Hive.getMSC(Hive.java:2644)41 at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:365)42 at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:689)43 at org.apache.hadoop.hive.cli.CliDriver.main
    来自:
    浏览:520
  • Hadoop、Hbase、Hive版本兼容性

    1.hadoop与hbase哪些版本兼容?2.hadoop与hive哪些版本兼容?3.hbase与hive哪些版本兼容?4.hbase与zookeeper哪些版本兼容?hadoop与hive哪些版本兼容?hadoop与hive版本对应关系 hive版本2.0.0支持hadoop版本Hadoop 2.x.yhive版本1.2.1支持hadoop版本Hadoop 1.x.y, 2.x.y hive版本1.0.1Hadoop 1.x.y, 2.x.yhive版本0.13.1 支持hadoop版本 Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y hive版本0.13.0 支持hadoophive版本0.11.0 支持hadoop版本 Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y hive版本0.10.0 支持hadoop版本 Hadoop 0.20.x,
    来自:
    浏览:4822
  • hadoop上搭建hive

    环境hadoop2.7.1+ubuntu 14.04hive 2.0.1集群环境namenode节点:master (hive服务端)datanode 节点:slave1,slave2(hive客户端)hive建立在hadoop的HDFS上,搭建hive前,先需搭建hadoop远程模式:101.201.81.34(Mysql server meta server安装位置)一、101.201.81.43:$JRE_HOMEbin:$HADOOP_HOMEbin:$HADOOP_HOMEsbin:$HIVE_HOMEbin:$PATHexport HADOOP_MAPARED_HOME=$HADOOP_HOMEexportHADOOP_CONF_DIR=$HADOOP_HOMEetchadoopsource etcprofile3.修改hiveconf下的几个template模板并重命名为其他cp hive-env.sh.templatehive-env.shcp hive-default.xml.template hive-site.xml配置hive-env.sh文件,指定HADOOP_HOME安装位置 HADOOP_HOME=$
    来自:
    浏览:483
  • Hadoop基础教程-第11章 Hive:SQL on Hadoop(11.1 Hive 介绍)(草稿)

    第11章 Hive:SQL on Hadoop11.1 Hive 介绍11.1.1 为什么需要Hive?Hadoop的出现,正如当年Java语言的出现,得到了极大的关注和广泛应用。Hive的出现就是来解决这个问题,Hive让那些精通SQL而Java技术相对薄弱的数据分析师能够利用Hadoop进行各种数据分析。在Hadoop生态圈中还有一个Pig组件,作用与Hive类似,但是Pig提供的不是SQL接口,而是一种叫做Pig Latin的语言接口,增加了学习成本。所以Pig没有Hive这么流行了。掌握Hive对于使用Hadoop来说至关重要。11.1.2 Hive架构简单地说,Hive底层存储使用了HDFS,查询语句转变为MapReduce作业。 ?与Hadoop的HDFS和MapReduce计算框架不同,Hive并不是分布式架构,它独立于集群之外,可以看做一个Hadoop的客户端。
    来自:
    浏览:349
  • Hadoop——Hive

    概述官方地址http:hive.apache.org 简单,容易上手提供了类似SQL查询语言HQL 为超大数据集设计的计算、存储拓展能力 统一的元数据管理体系架构?image.png配置设置环境变量export HIVE_HOME=homehadoopapphive-1.1.0-cdh5.7.0export PATH=$HIVE_HOMEbin:$PATH修改hive中config目录的配置 设置 hive-env.shHADOOP_HOME=homehadoopapphadoop-2.6.0-cdh5.7.0设置 hive-site.xml javax.jdo.option.ConnectionURLjdbc:mysql:localhost:3306hive_test?bin]$ .hive创建数据表create table wordcount (count string);查看表show tables;加载本地数据到表中hive> load data local
    来自:
    浏览:188
  • hive_异常_01_(未解决)FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.

    一、异常现象单独的 hadoop、hbase 、hive 都是正常的,但是在 hive 整合hbase 时,在 hive中输入以下建表语句,CREATE TABLE hbase_table_1(key(RetryingMetaStoreClient.java:74) at org.apache.hadoop.hive.ql.metadata.Hive.createMetaStoreClient(Hive.java:2841) at org.apache.hadoop.hive.ql.metadata.Hive.getMSC(Hive.java:2860) at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:453) at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:671) at org.apache.hadoop.hive.cli.CliDriver.mainorg.apache.hadoop.hive.ql.exec.DDLTask.
    来自:
    浏览:577
  • Hadoop整合Hive之API封装及操作

    首先看依赖 4.0.0 com.ta.hive tg_hive 0.0.1-SNAPSHOT jar TG_hadoop_hive http:maven.apache.org UTF-8 4.12 1.1.22.6.2 junit junit ${junit.version} test org.apache.hadoop hadoop-hdfs ${hadoop.version} runtime mysqlmysql-connector-java 5.1.5 org.apache.hadoop hadoop-common ${hadoop.version} runtime jdk.tools jdk.toolsorg.pentaho 如果你的maven更新报错了,说明你的包有冲突,排除掉冲突的包即可下面看看API的封装package com.tg.hadoop.hive; import java.sql.Connectionjava.sql.SQLException;import java.sql.Statement;** * * @author 汤高 * *public class HiveAPI { 网上写 org.apache.hadoop.hive.jdbc.HiveDriver
    来自:
    浏览:878
  • Hadoop Hive:从本地机器上的.csv文件加载数据?

    我为我设置了Hadoop和Hive,这样我就可以在我的计算机上运行Hive查询访问AWS群集上的数据。我可以使用存储在我的计算机上的.csv数据运行Hive查询,就像我使用MS SQL Server一样? 那么如何将.csv数据加载到Hive呢?这与Hadoop有什么关系,我应该运行哪一种模式?
    来自:
    回答:2
  • Hadoop+Hive+HBase+Spark 集群部署(一)

    ZK_HOMEoptsoftzookeeper-3.4.12optsoftzookeeper-3.4.12optsoftzookeeper-3.4.12optsoftzookeeper-3.4.12 HIVE_HOMEoptsoftapache-hiveHADOOP_PREFIX=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_PREFIXexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_PREFIXlibnativeexport HADOOP_CONF_DIR=$HADOOP_PREFIXetchadoopexport HADOOP_HDFS_HOME=$HADOOP_PREFIXexport# Hive Configexport HIVE_HOME=optsoftapache-hive-2.3.3-binexport HIVE_CONF_DIR=${HIVE_HOME}confexport:${HBASE_HOME}bin:${HIVE_HOME}bin:$PATHHaoop集群安装详见 https:nnode.cnarticlehadoop_2_8_3_install 本文由 bytebye
    来自:
    浏览:302
  • hadoop hive 分区表load至新表

    hadoop hive 分区表移动shell脚本### fct_path_list_history.sh#!$dateend +%s` echo 处理时间范围:$beg_s 至 $end_s while ;do day=`date -d @$beg_s +%Y-%m-%d`; echo 当前日期:$day hivehive sql#### fct_path_list_history.sqluse dw;LOAD DATA INPATH hdfs:nameservice1userhivewarehousedw.dbfct_path_listdate
    来自:
    浏览:1034
  • 如何通过官网查找hadoop、hbase、hive版本兼容信息

    问题导读 1.如何查看hbase与hadoop的兼容?2.hive是否与所有hadoop兼容?3.hadoop2.7.1 hbase1.2.x hive1.2.0是否兼容?最简单的办法:hadoop、hbase、hive、zookeeper版本对应关系续(最新版) 那么我们该如何查看hadoop、hbase、hive他们之间的兼容关系 这时候,我们就要去官网了: 首先查看################################ hive我们如何查看兼容信息,还是我们首先进入官网 http:hive.apache.org,看到下图 ?点击downloads,进入http:hive.apache.orgdownloads.html 这时候我们看到下面内容: ? 这样,我们就看到了他们的兼容情况。这样我们知道:hadoop2.7.1 hbase1.2.x hive1.2.0是兼容的
    来自:
    浏览:1183
  • hadoop: hive 1.2.0 在mac机上的安装与配置

    环境:mac OS X Yosemite + hadoop 2.6.0 + hive 1.2.0 + jdk 1.7.0_79前提:hadoop必须先安装,且处于运行状态(伪分式模式或全分布模式均可)hive都试过),hive 1.2.0启动时,始终报jdk版本不匹配,后来在mac上将hadoop 2.6.0源编译成mac原生版本后,就正常了。=homehadoophadoop-2.6.0export HIVE_HOME=homehadoophive-1.2.0...export HADOOP_CONF_DIR=${HADOOP_HOME}etchadoop(必须先手动建好),其它目录为hdfs中的目录(hive启动时,先自动建好,如果自动创建失败,也可以手动通过shell在hdfs中创建)四、替换hadoop 2.6.0中的jline jar包由于hive1.2.0自带的jline包跟hadoop 2.6.0自带的版本不一致,因此需要将$HIVE_HOMElibjline-2.12.jar 这个文件替换掉$HADOOP_HOMEsharehadoopyarnlib
    来自:
    浏览:515
  • 单机搭建hadoop+hive+spark环境

    ;USE hive;CREATE USER hive@localhost IDENTIFIED BY hive;GRANT ALL ON hive.* TO hive@localhost IDENTIFIEDBY hive;GRANT ALL ON hive.* TO hive@% IDENTIFIED BY hive;FLUSH PRIVILEGES;安装hadoopsudo apt-get installsshsudo apt-get install rsync tar -xzvf hadoop-2.7.6.tar.gzln -s homeuser_namehadoop hadoop export JAVA_HOME-2.3.4-bin.tar.gztar -xzvf apache-hive-2.3.4-bin.tar.gz ln -s homeuser_nameapache-hive-2.3.4-bin hive.tgztar -xvzf spark-2.0.2-bin-hadoop2.7.tgzln -s homeuser_namespark-2.0.2-bin-hadoop2.7 sparkexport SPARK_HOME
    来自:
    浏览:1376
  • Hadoop+Hive+HBase+Spark 集群部署(四)

    identified by hive;grant all on metastore.* to hive@localhost identified by hive;flush privileges;将jdbc驱动放到hive lib中mv mysql-connector-java-5.1.43.tar.gz $HIVE_HOMElib复制初始化文件并重改名cp hive-env.sh.template hive-env.shcphive-default.xml.template hive-site.xmlcp hive-log4j2.properties.template hive-log4j2.propertiescp hive-exec-log4j2Java路径export HADOOP_HOME=optsofthadoop-2.8.3 ##Hadoop安装路径export HIVE_HOME=optsoftapache-hive-2.3.3-bin##Hive安装路径export HIVE_CONF_DIR=optsoftapache-hive-2.3.3-binconf ##Hive配置文件路径在hdfs 中创建下面的目录 ,并且授权hdfs
    来自:
    浏览:175
  • CentOS7上安装 JDK8 Hadoop Hive

    usrlocalsbin:usrlocalbin:usrsbin:usrbin:rootbin:usrlocalhivebin:usrjavadefaultbin:usrjavadefaultbin安装Hadoop安装HIVE下载 http:mirror.bit.edu.cnapachehive?将hive解压到usrlocal下:tar -zxvf apache-hive-3.1.2-bin.tar.gz -C usrlocal将文件重命名为 hive 文件:mv apache-hive-2.1.1-bin hive修改环境变量 etcprofile#hiveexport HIVE_HOME=usrlocalhiveexport PATH=$PATH:$HIVE_HOMEbin执行 sourceetc.profile执行 hive --version
    来自:
    浏览:147
  • 【Sqoop】CDH版Hadoop、Hive及Sqoop的伪分布式环境搭建

    (2)在optsoftware目录下新建cdh目录:software]$ mkdir cdh 向optsoftwarecdh目录上传下载好的CDH版本的Hadoop、Hive及Sqoop: hadoop-5.3.6 (2)进入optcdh-5.3.6hive-0.13.1-cdh5.3.6conf目录, conf]$ cp hive-env.sh.template hive-env.sh 配置optcdh-5.3.6hive-0.13.1-cdh5.3.6confhive-env.shHADOOP_HOME=optcdh-5.3.6hadoop-2.5.0-cdh5.3.6export HIVE_CONF_DIR=optcdh-5.3.6hive-0.13.1-cdh5.3.6conf(3) conf]$ cp hive-log4j.properties.template hive-log4j.properties=optcdh-5.3.6hadoop-2.5.0-cdh5.3.6export HADOOP_MAPRED_HOME=optcdh-5.3.6hadoop-2.5.0-cdh5.3.6export HIVE_HOME
    来自:
    浏览:306
  • Hive 基础操作

    Hive 是一个建立在 Hadoop 文件系统上的数据仓库架构,它为数据仓库的管理提供了许多功能,包括数据 ETL(抽取、转换和加载)工具、数据存储管理和大型数据集的查询和分析能力。Hive 使用 Hadoop 的 HDFS 作为文件的存储系统,很容易扩展自己的存储能力和计算能力,可达到 Hadoop 所能达到的横向扩展能力,数千台服务器的集群已不难做到,是为海量数据做数据挖掘而设计在 EMR 命令行使用以下命令切换到 Hadoop 用户,并进入 Hive 文件夹:# su hadoop# cd usrlocalservicehive新建一个 bash 脚本文件 gen_data.shHive 基础操作连接 Hive登录 EMR 集群的 Master 节点,切换到 Hadoop 用户并且进入 Hive 目录,并连接 Hive:$ su hadoop$ cd usrlocalservicehivebin-u jdbc:hive2: $host: $port -n hadoop -p hadoop 创建 Hive 表无论以 Hive 模式还是 beeline 模式成功连接到 Hive 数据库后,Hive-SQL
    来自:

扫码关注云+社区

领取腾讯云代金券