本文将利用Sqoop将MySQL海量测试数据导入到HDFS和HBase。
wget http://mirror.bit.edu.cn/apache/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
tar -zxvf sqoop-1.4.6.bin_hadoop-2.0.4.alpha.tar.gz -C /root/hadoop/
mv sqoop-1.4.6.bin_hadoop-2.0.4.alpha sqoop-1.4.6
export SQOOP_HOME=/root/hadoop/sqoop-1.4.6
export PATH = $PATH:$SQOOP_HME/bin
若正常显示Sqoop版本信息,则安装配置成功:
[root@localhost ~ ] # sqoop version
安装MySql后,创建测试数据库和测试表。
数据库名:test
表结构:point(pointId int(10) PRIMARYKEY,pointName varchar(16),pointValue int(10))
编写Shell脚本,此处的插入语句需要根据所创建的表结构来修改:
#!/bin/bash
i=1;
MAX_INSERT_ROW_COUONT=$1;
while(( $i <= $MAX_INSERT_ROW_COUNT ))
do
mysql -uhive -phive test -e "insert into test.point(pointId,pointName,pointValue) values($i,'point"$i"',$i);"
i=(($i+1))
done
exit 0
sqoop import --connect jdbc:mysql://localhost:3306/test --username hive --password hive --table
point
import:表示从传统数据库导入数据到 HDFS/HIVE/HBASE等;
–connect:建立数据库连接;
jdbc:mysql://localhost:3306/test:使用jdbc方式连接mysql数据库,数据库名为test;
–username:指定数据库用户名;
–password:指定数据库密码;
–table:指定表名
注意: a)HDFS输出目录不能已经存在; b)没有指定-m或者splite-by时,即没有指定并行度时,要导入的表必须有主键,否则会出错。 c)导入到指定目录:sqoop import –connect jdbc:mysql://localhost:3306/test –username hive –password hive –table point –target-dir /directory
如果没有指定输出目录,默认在/user/root/下创建一个与表名一致的子目录作为输出目录,导入操作执行后,查看HDFS中是否有导入的文件:
hdfs dfs -ls /user/root/point/
sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password root --table
point --hbase-table HPoint --column-family info --hbase-row-key pointId --hbase-create-table
–hbase-table:指定导入到HBase数据库中某表;
–column-family:指定列族名;
–hbase-row-key:指定rowKey;
–hbase-create-table:表示按照参数创建HBase中的表;
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。