oozie中的sqoop exec作业不工作
oozie中的sqoop exec作业不工作
提问于 2015-08-28 19:09:03
我正在运行一个3节点的HDP 2.2集群。Oozie版本是4.1.0.2.2，Sqoop版本是1.4.5.2.2。我正在使用Sqoop作业从RDBMS到HDFS进行增量导入，如下所示：
sqoop job –create JOB1 –meta-connect “jdbc:hsqldb:hsql://ip-address:16000/sqoop” — import –connect jdbc:oracle:thin:@ip-address:db –username db_user –password-file hdfs://ip-address:8020/user/oozie/.password_sqoop –table TABLE1 –target-dir /user/incremental/ –incremental lastmodified –check-column LAST_UPDATED –last-value “2013-08-12 18:13:44.0″ –merge-key ID –fields-terminated-by ‘|';JOB1作业-exec sqoop
当从命令提示符运行时，上述两个sqoop命令运行得非常好。我使用sqoop-metastore (HSQLDB)来存储sqoop作业。
sqoop创建作业正在OOZIE中工作，并且在oozie作业完成后，我可以看到sqoop作业在sqoop-metastore中列出。
但是，当我将sqoop exec作业放到oozie工作流中时，我得到了“Main class [org.apache.oozie.action.hadoop.SqoopMain], exit code [1]”错误。但是，底层的map reduce作业显示为已成功完成。已检查/var/log/oozie中的日志，但那里也没有日志。
workflow.xml：
<workflow-app xmlns=”uri:oozie:workflow:0.4″ name=”oozie-wf”>
<start to=”sqoop-wf”/>
<action name=”sqoop-wf”>
<sqoop xmlns=”uri:oozie:sqoop-action:0.2″>
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<configuration>
<property>
<name>fs.hdfs.impl.disable.cache</name>
<value>true</value>
</property>
</configuration>
<command>job –meta-connect “jdbc:hsqldb:hsql://ip-address:16000/sqoop” –exec JOB1</command>
</sqoop>
<ok to=”end”/>
<error to=”fail”/>
</action>
<kill name=”fail”>
<message>Failed, Error Message[${wf:errorMessage(wf:lastErrorNode())}]</message>
</kill>
<end name=”end”/>
</workflow-app>job.properties：
nameNode=hdfs://ip-address:8020
jobTracker=ip-address:8050
oozie.wf.application.path=hdfs://ip-address:8020/user/oozie/sqoopoozie
oozie.use.system.libpath=true
oozie.sqoop.log.level=DEBUG我在oozie中尝试了多种不同的sqoop exec作业，但都不起作用。请帮帮忙。
回答 1
Stack Overflow用户
发布于 2015-09-03 14:07:36
请确保在sqoop-site.xml中指定元存储，并在oozie工作流文件夹中传递站点xml。你可以用xml标签传递它。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/32269669
复制相关文章
相似问题