sqoop之旅5-sqoop实例
假设MySQL数据库中有一张表，库名是sqooptest，表名是digdata，表的字段包含：
- class_id
- class_name
- class_month
- teacher
导入HDFS中
sqoop import \
--connect jdbc:mysql://ubuntu:3306/sqooptest \ # ubuntu 是主机名；sqoop 是数据库的名字
--username root \
--password 123456 \
--table bigdata \ # 指定导入的表名
--warehouse-dir /sqoopim # 导入到HDFS中的目录
-m 1导入Hive中
sqoop import \
--connect jdbc:mysql://ubuntu:3306/sqooptest \ # ubuntu 是主机名；sqoop 是数据库的名字
--username root \
--password 123456 \
--table sqoop \ # 指定导入到hive中的表名
--hive-default \
--create-table \ # 创建表
-m 1查看远程服务器的数据库
sqoop list-databases \ # 显示所有的数据库
--connect jdbc:mysql://ubuntu:3306 \
--username root \
--password 123456 \
sqoop list-tables \ # 显示所有sqooptest数据库的中的表
--connect jdbc:mysql://ubuntu:3306/sqooptest/ \
--username root \
--password 123456 \密码操作
- 直接使用明文
sqoop import \
--connect jdbc:mysql://ubuntu:3306/sqooptest \
--username root \
--password 123456 \ # 明文形式
--table bigdata \
--warehouse-dir /sqoopim
-m 1- 使用暗文，交互式输入密码
sqoop import \
--connect jdbc:mysql://ubuntu:3306/sqooptest \ # ubuntu 是主机名；sqoop 是数据库的名字
--username root \
-P # 在接下来的额交互式界面中输入密码
--table bigdata \
-m 1- 通过password-profile形式
- 将密码写进一个文件中
>> vim password.txt
>> pwd
/usr/root/password.txt # 假设为该路径
sqoop import \
--connect jdbc:mysql://ubuntu:3306/sqooptest \ # ubuntu 是主机名；sqoop 是数据库的名字
--username root \
--password-profile \ # 在接下来的额交互式界面中输入密码
/usr/root/password.txt # 密码文件路径指定分隔符
分隔符默认的是逗号，通过fields-terminated-by来指定分隔符
sqoop import
--connect jdbc://mysql://ubuntu:3306/sqooptest \
--username root \
--password 123456 \
--table bigdata \
-m 2 \
--fields-terminated-by "|"使用文件进行导入
- 编辑文件
sqoop.im，参数和它们的值必须各一行
import
--connect
jdbc://mysql://ubuntu:3306/sqooptest
--username
root
--password
123456
--table
bigdata
--columns
class_id,teacher,class_name
-m
2- 执行文件，通过
options-file
sqoop --options-file sqoop.im本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
原始发表：2019-11-20，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读