【Sqoop篇】----Sqoop从搭建到应用案例

一、前述

今天开始讲解Sqoo的用法搭建和使用。Sqoop其实功能非常简单。主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。

二、 配置

flume配置很简单:

第一步:将flume-env.sh.template模板文件改名为flume-env.sh文件

第二步 :更改里面的JAVA_HOME

第三步:配置环境变量

三、 使用

官方参考手册:http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_connecting_to_a_database_server

举几个简单例子:

导入:

案例一(步骤是Mysql---HDFS)的顺序):

import --connect jdbc:mysql://node3:3306/test --username root --password 123 --as-textfile --columns id,name,msg --table psn --delete-target-dir --target-dir /sqoop/data -m 1 可以将上述命令定义在一个脚本里面:

使用如下命令: sqoop --options-file sqoop1

案例二(步骤是Mysql---Hive)的顺序):实际上就是Mysql-HDFS-Hive里面

import --connect jdbc:mysql://node3/test --username root --password 123 --as-textfile --query 'select id, name, msg from psn where id like "1%" and $CONDITIONS' --delete-target-dir --target-dir /sqoop/tmp   -m 1 --hive-home /home/hive-1.2.1 --hive-import --create-hive-table --hive-table t_test

 PS:先导入到hdfs上的一个临时目录,然后再导入到Hive的数据管理目录/home/hive-1.2.1。

and $CONDITIONS是一个查询规则,必须加上。

导出: 案例一。将HDFS上的数据导出到Mysql中去 export --connect jdbc:mysql://node3/test --username root --password 123 -m 1 --columns id,name,msg --export-dir /sqoop/data --table h_psn

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Hadoop实操

CDH5.14和CM5.14的新功能

Fayson在2017年的10月12日介绍了《CDH5.13和CM5.13的新功能》,今天1月26日,Cloudera正式发布了CDH5.14。三个月零几天,2...

1.8K6
来自专栏Hadoop实操

如何将CDH从企业版降级为免费版

在使用CDH企业版时,当License过期后,在CM顶部总是会有一个红色的banner条显示License已过期。我们有时会觉得它影响美观,想要考虑将CDH从企...

8075
来自专栏码字搬砖

CDH集成Kafka

1.离线 先下载相应版本的kafka http://archive.cloudera.com/kafka/parcels/ 然后放置相应目录,如下图...

3252
来自专栏LuckQI

Java大数据学习~Hadoop初识一了解其架构

913
来自专栏码字搬砖

hive原理分析

基于hive1.1(从hive2.0开始,hive开始基于内存了,底层的实现框架不在基于MR)

3633
来自专栏Hadoop实操

CDSW1.3的新功能

前两天Fayson介绍过《CDH5.14和CM5.14的新功能》,与CDH5.14同时发布的还有CDSW1.3,以下我们具体看看CDSW1.3的新功能。

4336
来自专栏牛肉圆粉不加葱

YARN 设计理念与基本架构

ResourceManager 是一个全局的资源管理器,负责整个集群的资源管理和分配。它主要由两个组件构成:调度器(Scheduler)和应用程序管理器(App...

991
来自专栏加米谷大数据

技术干货 | Hadoop3.0稳定版安装攻略来啦!

第一次安装Apache Hadoop3.0.0是不是状况百出?没关系安装攻略来啦! ? Apache Hadoop 3.0.0在前一个主要发行版本(hadoop...

5239
来自专栏Hadoop实操

如何为Hive2启用Kerberos认证

3652
来自专栏Hadoop实操

如何在CDH集群中安装Hive2.3.3

6023

扫码关注云+社区

领取腾讯云代金券