我们在Oracle中有不同的数据库模式。我们计划从oracle到Hive ware house中的一些表进行sqoop。但是如果我们把一个oltp的表的sqooping是顺序的,那么它是有效的。但为了更好地使用,我们计划并行地sqoop不同的oltps表,但它正在并行sqoop同一个表。
似乎在sqoop表的同时,sqoop会在hdfs中创建一个临时表,并从那里将数据移动到hive表,因为这个原因我们不能并行sqoop。
有没有办法让我们并行地对相同的表进行sqoop操作。
我试图使用groovy将一个文件插入到oracle db表中。我使用以下代码:
import groovy.io.FileType
import groovy.sql.Sql
import oracle.jdbc.OracleDriver
import java.sql.Date
final def PROJECT_DIR = "/appdata/project/pmp"
final def SCRIPT_DIR = "/scm/src/main/scripts"
// To be able to use driver...
new OracleDrive
我使用的是Hortonworks Sandbox 2.2虚拟机,在oracle上运行Sqoop时遇到了问题。我执行的命令如下:
sqoop list-tables --connect jdbc:oracle:thin:@mydbhost.com:1521/sid --username user --password password
它会执行,但什么也不会发生:
Warning: /usr/hdp/2.2.4.2-2/accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the roo