我在mysql中有表测试,如下所示:
id name address
1 Km sky
2 hd heaven
3 Ab null
4 en null
现在我做了一个sqoop导入,如下所示
sqoop import--connect jdbc:mysql://XXXXXX/testing --username XXXX --password XXXX --query "select * from testing.test where \$CONDITIONS" --null-string '' --null-non-string '
我试图通过mysql数据库中的sqoop将数据加载到已存在的hive表中。我指的是以下指南,以供参考:-
--hive-import已经成功地进行了试验和测试。
我创建了一个蜂巢表如下:-
create table sqoophive (id int, name string, location string) row format delimited fields terminated by '\t' lines terminated by '\n' stored as textfile;
按要求加载数据。
我想使用--hive-overwrit
我已经使用sqoop将所有表导入到一个"sqoop_import“数据库中,它能够看到所有导入的表,如下所示:
hive> use sqoop_import;
OK
Time taken: 0.026 seconds
hive> show tables;
OK
categories
customers
departments
order_items
orders
products
Time taken: 0.025 seconds, Fetched: 6 row(s)
hive>
但是,当我使用相同的用户尝试相同的弹壳或颜色时,它会显示以下不同的结果:-
[quic
我们在Oracle中有不同的数据库模式。我们计划从oracle到Hive ware house中的一些表进行sqoop。但是如果我们把一个oltp的表的sqooping是顺序的,那么它是有效的。但为了更好地使用,我们计划并行地sqoop不同的oltps表,但它正在并行sqoop同一个表。
似乎在sqoop表的同时,sqoop会在hdfs中创建一个临时表,并从那里将数据移动到hive表,因为这个原因我们不能并行sqoop。
有没有办法让我们并行地对相同的表进行sqoop操作。