首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

配置Hive使用MySql存储数据

配置Hive使用MySql存储数据 2018-7-24 作者: 张子阳 分类: 大数据处理 默认情况下,Hive会使用Derby来存储数据(主要是表、列、分区Partition的信息)。...Hive支持使用单独的数据库来存储数据,比如MySql、PostgreSql等,本文将介绍如何配置Hive使用MySql存储数据。 本文假设你已经单机安装、配置好了MySqlHive。...默认情况下,并没有这个文件,所有的参数配置在hive-default.xml.template。因此,第一次使用时,需要手动创建这个文件。...这个时候,可以登录到mysql,删除掉hive_metastore数据库,然后执行一下下面的命令,重新初始化一下数据库: # schematool --dbType mysql --initSchema...MySql来存储Hive数据的配置。

3.3K50
您找到你想要的搜索结果了吗?
是的
没有找到

Apache-Hive 使用MySQL存储Hive数据

默认情况下,Hive数据是存储到Derby的,这是Apache的一个纯Java编写的小巧数据库,类似于Sqlite。...但是这样就会出现一个情况:Derby是单例的,当你在一个终端打开了hive时,在另外一个终端打开hive命令行会报错。所以使用MySQL来存储数据能够解决这个问题,并且也更方便迁移和备份。...-8.0.21.jar,将jar包移动至 /opt/apache-hive-1.2.2-bin/lib 下 配置HiveMySQL的连接 第一步,在Hive的conf目录中新建文件hive-site.xml...Hive的metastore 的MySQL数据库的字符集格式问题。...的数据表的初始化,按照上述第三步,在启动Hive前初始化下数据表即可:使用 schematool -dbType mysql -initSchema 命令进行初始化。

2.8K30

Hive 数据更新

本文将介绍如何在 Hive 中进行数据更新的相关操作。什么是 Hive 数据Hive 数据是指描述数据数据,包括表的结构、分区信息、数据存储路径等。...创建/修改表在 Hive ,要创建一个新表或修改已有表的结构,都需要更新数据。...数据存储Hive数据存储在一个独立的数据存储库,通常来说,Hive 默认使用关系型数据库(如 MySQL、PostgreSQL)作为数据存储后端。...这个数据存储库包含了关于数据表、分区、列、属性、表关系等信息。2. 数据管理数据Hive 数据库(Metastore)进行管理,数据库负责存储、维护和查询数据信息。...总结在 Hive 数据数据管理和查询的重要基础,确保数据的准确性对于数据的处理和分析至关重要。

24220

Flink开发-Mysql数据导入Hive

前言 MysqlResultSet默认会将一次查询的结果存入内存。如果数据量比较大,就会占用大量的内存。如果内存不够,就会报错。...前面示例的 DataStream,流数据类型都是定义好的 POJO 类。...原子类型 在 Flink ,基础数据类型(Integer、Double、String)和通用数据类型(也就是不可再拆分的数据类型)统一称作”原子类型”。...Tuple 类型 当原子类型不做重命名时,默认的字段名就是”f0”,容易想到,这其实就是将原子类型看作了一组Tuple1 的处理结果。...Row 类型 Flink 还定义了一个在关系型表更加通用的数据类型——行(Row),它是 Table 数据的基本组织形式。

1.8K50

Hive快速入门系列(4) | 如何将Hive数据配置到MySql

上一篇博文我们讲了怎样安装MySql,这篇文章为上篇的后续,此篇文章讲的是如何将Hive数据配置到MySql。 本系列所用到的安装包博主已经上传到百度云盘,如有需要的可以自取。...mysql-connector-java-5.1.27]$ cd /opt/module/hive/conf [bigdata@hadoop001 conf]$ vim hive-site.xml 2.2...根据官方文档配置参数,拷贝数据hive-site.xml文件 https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin...多窗口启动Hive测试 3.1 先启动MySQL [bigdata@hadoop001 mysql-libs]$ mysql -uroot -p199712 # 查看有几个数据mysql> show...[bigdata@hadoop001 hive]$ bin/hive 3.3 启动hive后,回到MySQL窗口查看数据库,显示增加了metastore数据mysql> show databases

87920

【说站】mysql如何获取hive表的数据信息

mysql如何获取hive表的数据信息 说明 1、通过hive数据库(通常为Msyql)获得,通过sql的关联即可。...2、获取表名称及表创建时间、库名及库注释,以S_ID作为关联关系获取C_ID,字段名称及字段注释在表。 实例 SELECT   t2....`TYPE_NAME` `column_data_type` -- 字段数据类型 FROM   tbls t1 -- 获取表名称及表创建时间 JOIN   dbs t2 -- 获取库名及库注释 ON   ... 获取C_ID,用以获取字段注释 ON   t1.SD_ID = t4.SD_ID -- 以S_ID作为关联关系获取C_ID JOIN   columns_v2 t5 -- 字段名称及字段注释都在此表...ON   t4.CD_ID = t5.CD_ID 以上就是mysql获取hive表的数据信息,希望对大家有所帮助。

2.5K10

Hive 配置 postgres 或 MySQL 作为数据

Hive数据默认使用derby作为存储DB,derby作为轻量级的DB,在开发、测试过程中使用比较方便,但是在实际的生产环境,还需要考虑易用性、容灾、稳定性以及各种监控、运维工具等,这些都是derby...MySQL和PostgreSQL是两个比较常用的开源数据库系统,在生产环境中比较多的用来替换derby,并且强烈推荐这么做。 下面就来介绍如何配置Pg或MySQL来作为Hive数据库。...MySQL 如果需要使用MySQL作为metastore后台数据,按照以下步骤进行配置。 安装 同样,选择一个合适的节点。...ln -s /usr/share/java/mysql-connector-java-5.1.45.jar /PATH/TO/HIVE/lib 安装Hive 在ambari上持续点击下一步,配置数据库...以上就是配置Hive数据库的基本过程,如有疑问,可以给我留言。

2.2K20

数据管理 | Hive 数据迁移与合并

hive2、hive3、hive4 的数据全部合并到 hive1 的数据 Mysql ,然后就可以在 hive1 处理 hive2、hive3、hive4 数据。...: 可以将一个 hive 集群数据全部迁移到目标 hive 集群,不移动数据; 在迁移失败的情况下,可以回退到数据导入之前的状态; 可以停止源 hive 服务,但不能停止目标 hive 的服务下...,进行数据迁移; 迁移过程控制在十分钟之内,以减少对迁移方的业务影响; 数据合并的难点 hive数据信息(metastore)一般是通过 Mysql 数据库进行存储的,在 hive-1.2.1...跳号值(100) 数据库操作 我们使用了 mybatis 进行了源和目标这 2 个 Mysql数据库操作,从源 Mysql 按照上面的逻辑关系取出数据修改主外健的 ID 号再插入到目标 Mysql...文件配置源和目的数据库的 JDBC 配置项 执行数据迁移命令 hive-tools 会在迁移数据之前首先检查源和目的数据重名的 hive db,终止数据迁移操作并给出提示 执行删除重名数据库命令

2K30

Hive数据服务MetaStore

概念 MetaSore 是 Hive 数据存储的地方。Hive 数据库、表、函数等的定义都存储在 Metastore 。根据系统配置方式,统计信息和授权记录也可以存储在此处。...配置参数 参数说明 hive.metastore.local 本地或远程数据存储。...hive.metastore.uris 远程数据存储的 Thrift URI。数据服务客户端通过该配置连接远程数据。...javax.jdo.option.ConnectionUserName 数据存储数据库用户名 javax.jdo.option.ConnectionPassword 数据存储数据库密码 hive.metastore.warehouse.dir...这种配置方式成为本地配置,因为 MetaStore 服务仍然和 Hive 服务运行在同一个进程,但连接的却是另一个进程运行的数据库,在同一台机器上或者远程机器上。 ?

9.2K42

MySQL 数据

你可能想知道MySQL以下三种信息: 查询结果信息: SELECT, UPDATE 或 DELETE语句影响的记录数。 数据库和数据表的信息: 包含了数据库及数据表的结构信息。...MySQL服务器信息: 包含了数据库服务器的当前状态,版本号等。 在MySQL的命令提示符,我们可以很容易的获取以上服务器信息。...$count : 0); PHP 实例 在PHP,你可以使用 mysqli_affected_rows( ) 函数来获取查询语句影响的记录数。...mysqli_affected_rows ($conn_id) : 0); print ("$count 条数据被影响\n"); ---- 数据库和数据表列表 你可以很容易的在MySQL服务器获取数据库和数据表列表...> ---- 获取服务器数据 以下命令语句可以在 MySQL 的命令提示符使用,也可以在脚本 使用,如PHP脚本。

54310

MySQL 数据

你可能想知道MySQL以下三种信息: 查询结果信息: SELECT, UPDATE 或 DELETE语句影响的记录数。 数据库和数据表的信息: 包含了数据库及数据表的结构信息。...MySQL服务器信息: 包含了数据库服务器的当前状态,版本号等。 在MySQL的命令提示符,我们可以很容易的获取以上服务器信息。...$count : 0); PHP 实例 在PHP,你可以使用 mysqli_affected_rows( ) 函数来获取查询语句影响的记录数。...mysqli_affected_rows ($conn_id) : 0); print ("$count 条数据被影响\n"); ---- 数据库和数据表列表 你可以很容易的在MySQL服务器获取数据库和数据表列表...> ---- 获取服务器数据 以下命令语句可以在 MySQL 的命令提示符使用,也可以在脚本 使用,如PHP脚本。

1K00

搭建Hive3.x并整合MySQL8.x存储数据

Hive是什么: 由Facebook开源,最初用于解决海量结构化的日志数据统计问题 是一个构建在Hadoop之上的数据仓库,可以对已经在存储(HDFS)数据进行结构化的映射。...: 简单、容易上手,提供了类似SQL查询语言HQL,只要有SQL基础就能上手 为超大数据集设计的计算/存储扩展能力(MR计算,HDFS存储) 统一的数据管理,可与Presto/Impala/SparkSQL...默认是使用derby这种内嵌数据库来存储在Hive创建的表、列、分区等数据信息,但在生产环境中肯定不会使用内嵌数据库,而是将数据存储在外部的数据,例如MySQL。...在Hive创建数据表示例: 0: jdbc:hive2://localhost:10000> create table hive_wordcount(context string); No rows...中就可以看到表和字段的数据信息: ?

1.3K30
领券