导入loudacre数据库中的account表到HDFS
sqoop import \
--connect jdbc:mysql://localhost/loudacre \
--username training --password training \
--table accounts \
--target-dir /loudacre/accounts \
--null-non-string '\\N'
--check-column <column name> 检查的增量更新的列
--last-value <largest_column_num> 检查的列中的上一个导入的值
sqoop import \
--connect jdbc:mysql://localhost/loudacre \
--username training --password training \
--incremental append \
--null-non-string '\\N' \
--table accounts \
--target-dir /loudacre/accounts \
--check-column acct_num \
--last-value <largest_acct_num>
--fields-terminated-by <char> 表示要进行设置的字段分隔符,默认是",",这里我们可以用制表符"\t"
sqoop import \
--connect jdbc:mysql://localhost/loudacre \
--username training --password training \
--table webpage \
--target-dir /loudacre/webpage \
--fields-terminated-by "\t"
可用--where <where clause> 来指定要导入的条件
sqoop import \
--connect jdbc:mysql://localhost/loudacre \
--username training --password training \
--table accounts \
--where "state = 'CA' and acct_close_dt IS NULL" \
--target-dir /loudacre/accounts-active \
--null-non-string '\\N'
使用--hive-import 可将表导入到Hive中
sqoop import \
--connect jdbc:mysql://localhost/loudacre \
--username training --password training \
--fields-terminated-by '\t' \
--table device \
--hive-import
使用--as-avrodatafile可将导入数据格式化成avro
sqoop import \
--connect jdbc:mysql://localhost/loudacre \
--username training --password training \
--table accounts \
--target-dir /loudacre/accounts-avro \
--null-non-string '\N' \
--as-avrodatafile
使用--as-parquetfile可将导入数据格式化成parquet
sqoop import \
--connect jdbc:mysql://localhost/loudacre \
--username training --password training \
--table accounts \
--target-dir /loudacre/accounts-parquet \
--null-non-string '\N' \
--as-parquetfile
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。