在数据处理和数据仓库建设中,常常会用到Hive进行数据存储和查询。然而,有时候我们需要将Hive中的表结构迁移到其他关系型数据库,比如MySQL。本文将介绍如何将Hive中的建表语句转换为MySQL中的建表语句,方便数据迁移和数据同步。
在做数据导出之前,我们看一下已经完成的操作:数据分析阶段将指标统计完成,也将统计完成的指标放到Hive数据表中,并且指标数据存储到HDFS分布式文件存储系统。
在《大数据之脚踏实地学09--Hive嵌入式安装》一文中我们详细介绍了Hive嵌入式的安装流程,即默认使用Hive的内置Derby数据库作为元信息的存储。但这样做存在一个非常大的弊端,那就是无法让多用户(即客户端)在同一个目录下同时访问数据库,这显然是有问题的。最常用的解决方案就是使用MySQL存储元信息,MySQL可以安装在master机器中,也可以安装在别的机器中。
Sqoop可以在HDFS/Hive和关系型数据库之间进行数据的导入导出,其中主要使用了import和export这两个工具。这两个工具非常强大,提供了很多选项帮助我们完成数据的迁移和同步。比如,下面两个潜在的需求:
在前面的文章《6.3.0-如何将CM内嵌PostgreSQL服务迁移至外部PostgreSQL服务》介绍了将CM内嵌的PostgreSQL迁移至外部PostgreSQL,因为CM内嵌的PostgreSQL数据库不支持直接迁移至MySQL。本篇文章Fayson主要介绍如何将集群使用的外部PostgreSQL迁移至MySQL数据库。
在前面的文章《5.16.2-如何将CM内嵌PostgreSQL服务迁移至外部PostgreSQL服务》介绍了将CM内嵌的PostgreSQL迁移至外部PostgreSQL,因为CM内嵌的PostgreSQL数据库不支持直接迁移至MySQL。本篇文章Fayson主要介绍如何将集群使用的外部PostgreSQL迁移至MySQL数据库。
上次介绍了HDFS,本来想进入Mapreduce,但感觉Mapreduce基本废弃,于是直接进入了Hive中来。
默认情况下,Hive的元数据是存储到Derby中的,这是Apache的一个纯Java编写的小巧数据库,类似于Sqlite。但是这样就会出现一个情况:Derby是单例的,当你在一个终端打开了hive时,在另外一个终端打开hive命令行会报错。所以使用MySQL来存储元数据能够解决这个问题,并且也更方便迁移和备份。
在前面的文章《如何将CM内嵌PostgreSQL服务迁移至外部PostgreSQL服务》介绍了将CM内嵌的PostgreSQL迁移至外部PostgreSQL,因为CM内嵌的PostgreSQL数据库不支持直接迁移至MySQL。本篇文章Fayson主要介绍如何将集群使用的外部PostgreSQL迁移至MySQL数据库。
基于传统关系型数据库的稳定性,还是有很多企业将数据存储在关系型数据库中;早期由于工具的缺乏,Hadoop与传统数据库之间的数据传输非常困难。基于前两个方面的考虑,需要一个在传统关系型数据库和Hadoop之间进行数据传输的项目,Sqoop应运而生。
PostgreSQL 实时采集是基于 PostgreSQL的逻辑复制以及逻辑解码功能来完成的。逻辑复制同步数据的原理是,在Wal日志产生的数据库上,由逻辑解析模块对Wal日志进行初步的解析,它的解析结果为ReorderBufferChange(可以简单理解为HeapTupleData),再由Pgoutput Plugin对中间结果进行过滤和消息化拼接后,然后将其发送到订阅端,订阅端通过逻辑解码功能进行解析。
在每一个节点上安装hive,每一个hive是拥有一套自己的元数据,每个节点的库,表就不统一。所以安装一个MySQL让其他的节点都连接这一个MySQL。
上一篇博文我们讲了hive的操作,并且知道默认的derby数据库不支持并发执行,因此我们选用Mysql存储Metastore。那么这篇博文带来的是如何安装Mysql。
Kettle可以与Hadoop协同工作。让我们从简单的开始,本文介绍如何配置Kettle访问Hadoop集群(HDFS、MapReduce、Zookeeper、Oozie等),以及Hive、Impala等数据库组件。所有操作都以操作系统的root用户执行。
Hue是一个以Hadoop平台为基础的Web客户端工具,Hue不仅可以集成大数据平台的Hive、Impala、HBase、Solr等组件,提供易于操作的Web界面。同样在3.8版本以后还提供了Notebook组件(支持多种编程语言),可以参考Fayson前面的文章《如何在Hue中添加Spark Notebook》。Hue同时也支持集成RDBMS数据库(Oracle、Postgresql、MySQL等),本篇文章Fayson以MySQL为例介绍如何在Hue中集成MySQL数据库。
Hive可以将结构化的数据映射为一张数据表 而默认hive进行存储的数据库是derby 启动我们的hadoop服务 当我们安装好hive后,要将mysql-connector-java-xx.jar的文件包放到hive目录下的lib文件夹下:
特别说明:该专栏文章均来源自微信公众号《大数据实战演练》,欢迎关注!
一、把数据从HDFS抽取到RDBMS 1. 从下面的地址下载示例文件。 http://wiki.pentaho.com/download/attachments/23530622/weblo
Hive是Hadoop生态中的一个重要组成部分,主要用于数据仓库。前面的文章中我们已经搭建好了Hadoop的群集,下面我们在这个群集上再搭建Hive的群集。
一.安装SQOOP后可使用如下命令列出mysql数据库中的所有数据库,与检验是否安装成功。 # sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password 123456
元数据服务(metastore)作用是:客户端连接metastore服务,metastore再去连接MySQL数据库来存取元数据。有了metastore服务,就可以有多个客户端同时连接,而且这些客户端不需要知道MySQL数据库的用户名和密码,只需要连接metastore 服务即可。
📷 Hive基础03、Hive基本使用 目录 1、查看hive数据库 2、进入Hive 3、库操作 ---- 1、查看hive数据库 登录MySQL数据库 mysql -u root -p 密码【123456】 查看【hive】数据库 show databases; 效果如下图: 📷 use hive; show tables; 📷 2、进入Hive hive 📷 3、库操作 注:【exit;】可以推出状态。 show databases; 📷 4、基本操作 查看当前数据库:set hive.c
根本原因:java.sql.SQLException异常:拒绝访问用户’root’@‘192.168.200.200’(使用密码:是)
平常用微软的SQL Server(MSSQL)数据库最多,用的是微软的SQL Server Management Studio (SSMS) 客户端,免费的。
当对Hive的VIEW执行SHOW CREATE TABLE时,结果输出只有部分,会被截断,这个表现在Hue,Beeline以及Hive CLI中都会存在,如下所示。
本篇博客,博主为大家带来的是大数据实战【千亿级数仓】阶段二的内容。
Hive 简介 Hive 是一个基于 hadoop 的开源数据仓库工具,用于存储和处理海量结构化数据。它把海量数据存储于 hadoop 文件系统,而不是数据库,但提供了一套类数据库的数据存储和处理机制,并采用 HQL (类 SQL )语言对这些数据进行自动化管理和处理。我们可以把 Hive 中海量结构化数据看成一个个的表,而实际上这些数据是分布式存储在 HDFS 中的。 Hive 经过对语句进行解析和转换,最终生成一系列基于 hadoop 的 map/reduce 任务,通过执行这些任务完成数据处理。 Hi
备注:本步骤不用重复执行,第7部分已经执行完成了,重复一遍,是为了回顾文件的具体位置 将数据上传到hadoop集群所在节点
经过前面几期内容的介绍,相信大家已经把Hadoop的环境搭建好了吧。正如前几期所说,Hadoop的搭建实际上最核心的就是HDFS(文件存储系统)、Map-Reduce(运算系统)和Yarn(资源调配系统)三个组间。
关系行数据库与非关系型数据库之间的数据同步 一、在不使用sqoop的情况下 Mysql–>hive 1.利用naivacat(工具)将数据库中的表导出(导出的时候要主要制表符/t) 2.利用WinSCP(工具)上传到linux指定的文件夹下 3.先在hive建表 create table 表名(idfa string) row format delimited fields terminated by ‘\t'” 4.hive -e “load data local inpath ‘t1.txt’ into table t1” (假设表里面有数据,须要truncate table hive表名。在运行4) truncate table t1;( 仅仅删除表数据) 或者hive -e “load data local inpath ‘t1.txt’ overwrite into table t1”; hive–>Mysql 1.hive -e “sql语句;>>name.txt” 导出在home/dev 2.然后在利用WinSCP(工具)下载到本地 二、在使用sqoop的情况下 1.解压sqoop,配置环境变量: 在/etc/profile中加入:(没有root权限是不能改动的,所以仅仅能在sqoop/bin路径下启动) export SQOOP_HOME/bin:PATH 配置完毕后要运行 source etc/profile 2. 解压mysql,将mysql-connector-java-5.1.24-bin.jar放到
Tableau是优秀的可视化分析软件,对于企业来说,可以购买Tableau Server实现线上数据自动化。但是如果只限于某个分析小组内部使用,高昂的价格是很好的劝退条件。而客户端软件在某宝上的价格就显得亲民很多,那有没有什么曲线的方法实现数据自动化呢。
1. Hadoop、Hive、MySQL安装(略) 2. 下载sqoop http://www.apache.org/dyn/closer.lua/sqoop/1.4.6 3. 解压 tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 4. 建立软连接 ln -s sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop 5. 加执行文件路径 export PATH=$PATH:/
我们知道,Hive的外部表可以连接HDFS中的任何目录的数据,那么Hive的外部表是否可以连接本身的内部表的数据呢?
进入数据库,输入 show variables like 'character%'; 回车
Sqoop是一款开源的大数据组件,主要用来在Hadoop(Hive、HBase等)与传统的数据库(mysql、postgresql、oracle等)间进行数据的传递。
- 学习大数据需要的基础 1、java SE、EE(SSM) 90%的大数据框架都是Java写的 2、MySQL SQL on Hadoop 3、Linux 大数据的框架安装在Linux操作系统上 - 需要学什么 大数据离线分析 一般处理T+1数据(T:可能是1天、一周、一个月、一年) a、Hadoop :一般不选用最新版本,踩坑难解决 (common、HDES、MapReduce、YARN) 环境搭建、处理数据的思想 b、H
最近在部署Hadoop,我发现了ambari工具部署hadoop的hive 组件的一个问题,不知道其他人遇到过没有。 问题描述:通过ambari工具搭建了hadoop2.0完全分布式集群。在测试hive的时候,按照官方文档里的说明通过下面命令检查根目录的时候:总是报错无法连接mysql。(java.sql.SQLException: Access denied foruser 'hive'@'hdb3.yc.com'(using password: YES))
将Mysql安装包上传到服务器上,然后解压压缩包,使用命令:unzip mysql-libs.zip
本文通过介绍如何通过Sqoop将MySQL数据导入到HDFS/HBase,以方便后续的大数据计算和分析。主要包括以下步骤:安装和配置Sqoop,创建数据库和表,使用shell脚本生成测试数据,导入到HDFS和HBase。
以上案例需要用到的处理器有:“CaptureChangeMySQL”、“RouteOnAttribute”、“EvaluateJsonPath”、“ReplaceText”、“PutHiveQL”。
假设MySQL数据库中有一张表,库名是sqooptest,表名是digdata,表的字段包含:
1、用户接口:CLI(hive shell);JDBC(java访问Hive);WEBUI(浏览器访问Hive) 2、元数据:MetaStore 元数据包括:表名、表所属的数据库(默认是default)、表的拥有者、列/分区字段,标的类型(表是否为外部表)、表的数据所在目录。这是数据默认存储在Hive自带的derby数据库中,推荐使用MySQL数据库存储MetaStore。 3、Hadoop集群: 使用HDFS进行存储数据,使用MapReduce进行计算。 4、Driver:驱动器:
在环境变量中增加如下命令,可以使用 bd 快速切换到 /data/tools/bigdata
前面介绍了sqoop1.4.6的 如何将mysql数据导入Hadoop之Sqoop安装,下面就介绍两者间的数据互通的简单使用命令。 显示mysql数据库的信息,一般sqoop安装测试用 sqoop list-databases --connect jdbc:mysql://192.168.2.101:3306/ --username root --password root 显示数据库里所有表: sqoop list-tables --connectjdbc:mysql://192.168.2.101:
[最近研究mysql数据库性能的相关问题,为了对比不同版本之间的差别。笔者找了一台测试服务器升级了该服务器的mysql数据库进行测试,在升级mysql过程中遇到了一些问题并将其
来源:https://www.jianshu.com/p/336f682e4b91
领取专属 10元无门槛券
手把手带您无忧上云