我试图通过mysql数据库中的sqoop将数据加载到已存在的hive表中。我指的是以下指南,以供参考:-
--hive-import已经成功地进行了试验和测试。
我创建了一个蜂巢表如下:-
create table sqoophive (id int, name string, location string) row format delimited fields terminated by '\t' lines terminated by '\n' stored as textfile;
按要求加载数据。
我想使用--hive-overwrit
我在mysql中有表测试,如下所示:
id name address
1 Km sky
2 hd heaven
3 Ab null
4 en null
现在我做了一个sqoop导入,如下所示
sqoop import--connect jdbc:mysql://XXXXXX/testing --username XXXX --password XXXX --query "select * from testing.test where \$CONDITIONS" --null-string '' --null-non-string '
我可以使用Sqoop成功地执行从MySQL到HDFS的增量导入,方法是
sqoop job -create JOBNAME ... --incremental append --check-column id --last-value LAST
sqoop job -exec JOBNAME
以日志消息结束,如下所示
INFO tool.ImportTool: Saving incremental import state to the metastore
INFO tool.ImportTool: Updated data for job: JOBNAME
检查作业会发现incrementa