使用Sqoop从MySQL导入数据

原创

ZHANGHAO

修改于 2018-10-08 09:52:35

2K0

修改于 2018-10-08 09:52:35

文章被收录于专栏：张浩的专栏张浩的专栏

MySQL表导入到HDFS

导入loudacre数据库中的account表到HDFS

sqoop import \
--connect jdbc:mysql://localhost/loudacre \
--username training --password training \
--table accounts \
--target-dir /loudacre/accounts \
--null-non-string '\\N'

增量更新导入到HDFS

--check-column <column name> 检查的增量更新的列

--last-value <largest_column_num> 检查的列中的上一个导入的值

sqoop import \
--connect jdbc:mysql://localhost/loudacre \
--username training --password training \
--incremental append \
--null-non-string '\\N' \
--table accounts \
--target-dir /loudacre/accounts \
--check-column acct_num \
--last-value <largest_acct_num>

指定的字段分隔符导入到HDFS

--fields-terminated-by <char> 表示要进行设置的字段分隔符，默认是","，这里我们可以用制表符"\t"

sqoop import \
--connect jdbc:mysql://localhost/loudacre \
--username training --password training \
--table webpage \
--target-dir /loudacre/webpage \
--fields-terminated-by "\t"

特定条件的数据导入到HDFS

可用--where <where clause> 来指定要导入的条件

sqoop import \
--connect jdbc:mysql://localhost/loudacre \
--username training --password training \
--table accounts \
--where "state = 'CA' and acct_close_dt IS NULL" \
--target-dir /loudacre/accounts-active  \
--null-non-string '\\N'

将MySQL数据导入到Hive中

使用--hive-import 可将表导入到Hive中

sqoop import \
--connect jdbc:mysql://localhost/loudacre \
--username training --password training \
--fields-terminated-by '\t' \
--table device \
--hive-import

使用avro的格式导入到HDFS

使用--as-avrodatafile可将导入数据格式化成avro

sqoop import \
--connect jdbc:mysql://localhost/loudacre \
--username training --password training \
--table accounts \
--target-dir /loudacre/accounts-avro  \
--null-non-string '\N' \
--as-avrodatafile

使用parquet的格式导入到HDFS

使用--as-parquetfile可将导入数据格式化成parquet

sqoop import \
--connect jdbc:mysql://localhost/loudacre \
--username training --password training \
--table accounts \
--target-dir /loudacre/accounts-parquet  \
--null-non-string '\N' \
--as-parquetfile

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

云数据库 SQL Server