Sqoop 常用操作

俺也想起舞

发布于 2019-07-24 14:35:35

4420

发布于 2019-07-24 14:35:35

文章被收录于专栏：码的一手好代码码的一手好代码

一些Sqoop的常用操作

Sqoop常用命令

1.预备环境

Hadoop
Zookeeper
MySql
Hive
HBase

2. import

简介

该工具可以将单个关系型数据库的表导入到HDFS上

常用参数

参数名称	功能
--connect <jdbc-uri>	jdbc链接(例：jdbc:mysql://host_name/table_name)
--help	帮助
--password <password>	密码
--username <username>	账号
--direct	import工具将会使用JDBC提供的高性能工具例如MySql中的mysqldump）
--fields-terminated-by <char>	设置导出内容不同列的分隔符（默认 ‘,’）
--delete-target-dir	如果文件已经存在则删除
--target-dir <dir>	指定目录输出
last-value	上次导出的主键（增量导出时使用）

sqoop import --connect jdbc:mysql://nhadoop1/test_user \
--username root \
--password 123456 \
--table user \
--direct \
--num-mappers 1 \
--fields-terminated-by ,\
--delete-target-dir

导入到Hive

参数	功能
--hive-import	指定导入到hive
--hive-database <database-name>	指定导入到数据库
--hive-table <table-name>	指定导入的表

sqoop import --connect jdbc:mysql://nhadoop1/test_user \
--username root \
--password 123456 \
--table user \
--direct \
--num-mappers 1 \
--fields-terminated-by , \
--delete-target-dir
--hive-import \
--hive-database database-name \
--hive-table table-name

原生环境可能存在的坑

java.lang.ClassNotFoundException

Sqoop 的lib中缺少Hive 的jar包，从Hive 中找的缺少的jar包到Sqoop中即可

缺少配置文件

拷贝hive/conf/hive-site.xml到sqoop/conf下

export

参数	功能`
--export-dir	指定输出目录
-- input-fields-terminated-by <char>	指定文件每行的分隔符
--update-key	使用update进行输出（默认insert），后面接匹配的键（例如 ID）
--columns <col,col,col…>	指定输出的栏目名

# 更新操作
sqoop export --connect jdbc:mysql://nhadoop1/test_user \
--username root \
--password 123456 \
--table jobs_k \
--columns rowkey,salary \
--export-dir /user/hive/warehouse/test.db/hbase_map_p \
--input-fields-terminated-by '\001' \
--update-key rowkey

补充

1. 执行文件中的命令

# 原语句
$ sqoop import --connect jdbc:mysql://localhost/db --username foo --table TEST

# 执行文件中的语句
$ sqoop --options-file /users/homer/work/import.txt --table TEST

# 文件中的内容
import
--connect
jdbc:mysql://localhost/db
--username
foo

本文参与腾讯云自媒体分享计划，分享自作者个人站点/博客。

如有侵权请联系 cloudcommunity@tencent.com 删除

hive