前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Sqoop 整体介绍

Sqoop 整体介绍

作者头像
Freedom123
发布2024-03-29 08:34:06
820
发布2024-03-29 08:34:06
举报
文章被收录于专栏:DevOpsDevOps

Sqoop 数据迁移         Sqoop 底层还是运行在MapReduce上,通过Yarn进行调度的,只是Sqoop在做数据迁移过程中,只用到了MapTask,没有用到ReduceTask。         Sqoop 是一个数据迁移工具,可以理解为客户端程序,提供HDFS/Hive/HBase 到 RDS(Oracle,Postgrel,MySql等) 数据的导入导出         Sqoop 需要配置到HDFS端,Sqoop从HDFS/Hive/HBase 导出到 RDB时,需要预先 对RDB进行表结构定义,从RDB导出到Hive/HDFS/HBase时不需要对HBase进行表结构定义,对Hive的定义需要指定分隔符等参数.         Sqoop需要指定 Hadopp-Home.xml ,MapReduce-HOME.xml,JAVA-HOME 等系统环境变量          类型类型包含 Export,Import         Sqoop 在做数据迁移之前,最好测试下 数据连接是否正常,如果运行不正常,方便进行问题定位。         Sqoop 需要参数配置文件 ***.xml,             如果从 RDB  导出数据到 HDFS                 指定 RDB驱动,路径,用户名,密码,库及表等信息                 如果为 HDFS 需要执行 HDFS 路径,与Hive数据类似                 如果为HBase,则需要指定库信息,路径等             如果从 HDFS/Hive/HBase 到RDB时,                 指定HDFS,需要指定路径,分割幅等信息,Hive类似                 RDB需要指定 驱动名,URL,User,Pwd,库及表

执行脚本:

代码语言:javascript
复制
bin/sqoop --options-file opt/job_HDFS2RDBMS.opt

定义脚本:

HDFS到 RDB

代码语言:javascript
复制
export \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000 \
--table staff \
--num-mappers 1 \
--export-dir /user/hive/warehouse/staff_hive \
--input-fields-terminated-by "\t"

RDB到HDFS

代码语言:javascript
复制
import \
--connect jdbc:mysql://localhost:3306/wht \
--username root \
--password cloudera \
--table people \
--fields-terminated-by ',' \
--target-dir /user/hive/warehouse/cust \
--delete-target-dir \
--null-string '' \
--null-non-string '' \
-m 1

RDB到Hive

代码语言:javascript
复制
import \
--connect jdbc:mysql://localhost:3306/wht \
--username root \
--password cloudera \
--table people \
--fields-terminated-by ',' \
--hive-import \
--hive-table db01.peopleseq \
--hive-overwrite \
-m 1
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2019-12-01,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
云数据库 HBase
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档