sqoop,即SQL To Hadop
,目的是完成关系型数据库导入导出到Hadoop
Sqoop的原理是将命令翻译为mapreduce
程序执行,MR没有Reduce阶段,只有Map阶段
/etc/profile
中配置,导出为全局变量或在sqoop-env.sh
文件配置
注:需提前配置HADOOP_HOME,HIVE_HOME,HBASE_HOME,ZOOKEEPER_HOME
bin/sqoop list-databases --connect jdbc:mysql://hadoop102:3306/ --username root --password 123456
\
代表在shell窗口中换行
bin/sqoop import \
// 连接的url
--connect jdbc:mysql://hadoop102:3306/mydb \
// 用户名
--username root \
// 密码
--password 123456 \
// 要导哪个表的数据
--table staff \
// 将数据导入到hdfs的哪个路径
--target-dir /company \
// 如果目标目录存在就删除
--delete-target-dir \
// 导入到hdfs上时,mysql中的字段使用\t作为分隔符
--fields-terminated-by "\t" \
// 设置几个MapTask来运行
--num-mappers 2 \
// 基于ID列,将数据切分为2片,只有在--num-mappers>1时才需要指定,选的列最好不要有null值,否则null
// 是无法被导入的!尽量选取主键列,数字列
--split-by id
// 只导入id和name 列
--columns id,name \
// 只导入复合过滤条件的行
--where 'id >= 10 and id <= 20' \
// 执行查询的SQL,讲查询的数据进行导入,如果使用了--query,不加再用--table,--where,--columns
// 只要使用--query ,必须添加$CONDITONS,这个条件会被Sqoop自动替换为一些表达式
--query "SQL"
$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
--table staff \
--num-mappers 1 \
//导入到hive
--hive-import \
//导入到hive表中字段的分隔符
--fields-terminated-by "\t" \
// 是否以insert overwrite方式覆盖导入数据
--hive-overwrite \
// 要导入的hive表的名称,会自动帮助我们建表。建议还是在hive中手动建表,需要注意和mysql表的数据类型匹配
--hive-table staff_hive
bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/mydb \
--username root \
--password 123456 \
--table t_emp \
//如果表不存在,hbase自动建表
--hbase-create-table \
// 导入的表名
--hbase-table "t_emp" \
// mysql的哪一列作为rowkey
--hbase-row-key "id" \
//导入的列族名
--column-family "info" \
--num-mappers 1 \
--split-by id
bin/sqoop export \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 123456 \
//要导出的mysql的表名
--table staff2 \
--num-mappers 1 \
//导出的数据在hdfs上的路径
--export-dir /company \
// 导出时,基于哪一列判断数据重复
--update-key
// 导出的数据的分隔符
--input-fields-terminated-by "\t"