腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
使用Oozie的Sqoop工作流总是失败
可能是由于以下几个原因导致的:
配置错误:首先,需要确保Sqoop工作流的配置正确无误。检查Sqoop的连接参数、数据库连接信息、表名、列名等是否正确配置。另外,还需要确认Oozie工作流的配置文件中是否正确引用了Sqoop的动作节点。
数据源问题:如果Sqoop工作流总是失败,可能是由于数据源的问题。检查源数据库是否可用、网络连接是否正常,以及源表是否存在等。此外,还需要确保Sqoop所需的驱动程序已正确安装,并且版本与数据库兼容。
权限问题:Sqoop工作流执行时可能会涉及到文件读写、数据库操作等权限问题。确保Oozie用户具有足够的权限来执行Sqoop工作流中的操作,包括读取源数据、写入目标数据等。
资源限制:如果Sqoop工作流涉及大量数据的传输或处理,可能会导致资源限制问题。确保集群的计算资源、存储资源等满足Sqoop工作流的需求。可以考虑增加集群的计算节点、调整资源分配策略等方式来解决资源限制问题。
日志分析:查看Oozie和Sqoop的日志文件,以了解具体的错误信息和异常情况。根据日志中的提示,可以进一步定位问题所在,并采取相应的解决措施。
相关搜索:
cloudera中存在心跳问题的Oozie-sqoop工作流挂起
oozie工作流中的Pyspark Phoenix集成失败
使用oozie将lastvalue打印到新行的Sqoop
从Oozie工作流运行的mapreduce中的HBase连接失败
如何在oozie工作流中使用日期
使用Oozie和Sqoop将数据从HiveQL导出到MySQL
如何使用oozie协调器延迟工作流操作
如何在Oozie中执行特定的工作流操作。如果我手动终止了Oozie工作流?
如何为将来的日期运行oozie工作流
Teradata的Sqoop增量导入失败
以编程方式检查oozie工作流中来自另一个oozie工作流的操作的状态
如何使用restful而不是Editor UI创建Oozie工作流?
无法启动Oozie [使用Hadoop 2.6.0的Oozie 4.1.0 ]
Oozie Java Action在使用HCat时会失败吗?
如何在Dataproc中使用GCS bucket作为Oozie的工作流文件源
可以限制同时运行的oozie工作流的数量吗?
使用查询的Sqoop导出
如何将Oozie工作流操作的状态标记为OK
如何在实际运行之前检测oozie工作流中的错误?
使用beeline的Oozie shell操作
相关搜索:
cloudera中存在心跳问题的Oozie-sqoop工作流挂起
oozie工作流中的Pyspark Phoenix集成失败
使用oozie将lastvalue打印到新行的Sqoop
从Oozie工作流运行的mapreduce中的HBase连接失败
如何在oozie工作流中使用日期
使用Oozie和Sqoop将数据从HiveQL导出到MySQL
如何使用oozie协调器延迟工作流操作
如何在Oozie中执行特定的工作流操作。如果我手动终止了Oozie工作流?
如何为将来的日期运行oozie工作流
Teradata的Sqoop增量导入失败
以编程方式检查oozie工作流中来自另一个oozie工作流的操作的状态
如何使用restful而不是Editor UI创建Oozie工作流?
无法启动Oozie [使用Hadoop 2.6.0的Oozie 4.1.0 ]
Oozie Java Action在使用HCat时会失败吗?
如何在Dataproc中使用GCS bucket作为Oozie的工作流文件源
可以限制同时运行的oozie工作流的数量吗?
使用查询的Sqoop导出
如何将Oozie工作流操作的状态标记为OK
如何在实际运行之前检测oozie工作流中的错误?
使用beeline的Oozie shell操作
页面内容是否对你有帮助?
有帮助
没帮助
相关·
内容
文章
问答
(9999+)
视频
沙龙
1
回答
主类[org.apache.
oozie
.action.hadoop.SqoopMain],出口代码[1]
、
、
当我试图在ClouderaCDH-5.3中运行
sqoop
工作流
时,它给出了以下错误 但仍然会出现上述错误。
浏览 2
提问于2016-03-29
得票数 0
2
回答
在Hadoop集群上
使用
Oozie
运行
Sqoop
操作
、
、
、
我正在尝试
使用
Hadoop集群在
Oozie
中成功地运行
sqoop
操作。-0000037-140930230740727-
oozie
-oozi-W@
sqoop
-load-fail OK - OK E0729 这让我相信我
的
工作流
程没有什么问
浏览 8
提问于2014-10-02
得票数 1
回答已采纳
1
回答
oozie
sqoop
动作具有.map列-java
、
、
、
在
oozie
工作流
中,
sqoop
操作出错。当我从unix运行相同
的
sqoop
命令来测试它是否工作时,但是在
oozie
中它
失败
了。 日志..。1940 main INFO org.apache.
sqoop
.manager.SqlManager -
使用
默认
的
fetchSize of 1000 1940 main INFO org.apache.
sqoop
.tool.CodeGenTool-无Java类型
浏览 3
提问于2015-08-18
得票数 0
2
回答
如何
使用
oozie
调度
sqoop
操作
我对
Oozie
很陌生,只是想知道--我如何
使用
Oozie
来安排一个
sqoop
工作。我知道
sqoop
操作可以作为
Oozie
工作流
的
一部分添加。但是,我如何安排一个
sqoop
操作,并让它像每天每2分钟或8点那样自动运行(只需要一个cron任务)?
浏览 3
提问于2013-08-08
得票数 4
回答已采纳
1
回答
使用
Oozie
的
Sqoop
工作流
总是
失败
、
、
、
、
在学习
Sqoop
的
过程中,我执行了一个
sqoop
命令来获取Cloudera
的
DH中
的
所有mysql数据库,它正确地返回了所有可用
的
数据库。问题是,如果我在
Oozie
工作流
中运行与作业相同
的
命令,它
总是
失败
。name="foo-wf" xmlns="uri:
oozie
:workflow:0.2"> <start to=&qu
浏览 32
提问于2019-01-23
得票数 0
回答已采纳
1
回答
使用
Sqoop
执行
Oozie
工作流
时出错
、
、
、
当我从命令行运行它时,它工作得很好,但是当我把它放到shell脚本中并尝试通过
oozie
工作流
执行时,我得到了以下错误 `[0000069-150114201015959-
oozie
-oozi-W@
sqoop
-shell[0000069-150114201015959-
oozie
-oozi-W] ACTION[0000069-150114201015959-
oozie
-oozi-W@
sqoop
-shell] end executor] JOB[0000069-15011
浏览 2
提问于2015-04-02
得票数 0
2
回答
使用
Oozie
在Hue中
的
Sqoop
作用
、
、
、
我正在
使用
AWS EMR,我无法通过Hue中
的
Oozie
提交
Sqoop
操作。我已经安装了
sqoop
,并且可以从cli运行
sqoop
作业,而不是通过Hue中
的
Oozie
操作。我得到
的
错误是"
sqoop
命令找不到“。谢谢。巴拉斯
浏览 3
提问于2016-02-16
得票数 0
回答已采纳
1
回答
通过
Oozie
sqoop
访问Vertica数据库
、
、
我编写了一个
Oozie
工作流
,通过
Sqoop
访问HP Vertica数据库。这是在Cloudera上。运行后,会在Yarn日志中得到以下错误: at org.apache.
sqoop
.tool.EvalSqlTool.run(EvalSqlTool.java:64) at org.
浏览 1
提问于2015-02-23
得票数 2
回答已采纳
1
回答
Azure
oozie
工作流
、
、
、
、
我正在尝试在azurehdinsight集群上运行一个
oozie
工作流
,作业定义如下: <start to="
sqoop
1" /> <
sqoo
浏览 8
提问于2016-10-03
得票数 0
5
回答
通过
oozie
导出
sqoop
失败
、
、
我正在尝试通过
sqoop
将数据从hdfs导出到mysql。我可以通过shell运行
sqoop
,它工作得很好。但是当我通过
oozie
调用时。它是在以下错误和获取
失败
后出现
的
。我还包括了jars。没有沉淀性日志export --connect jdbc:mysql://localhost/bigdata --username root --password cloudera'\0001' --export-dir
浏览 0
提问于2012-07-19
得票数 2
1
回答
Oozie
和
sqoop
配置问题
、
、
、
我正在尝试设置一个
oozie
和
sqoop
工作流
(我想将mySql数据备份到我
的
hdfs中)。但是,当我试图开始我
的
工作时,我被卡住了。我
使用
的
是hadoop2(working node),这是
oozie
的
最新版本。我
使用
hdfs配置(在
oozie
conf/haddop conf目录上安装了core-site.xml、hdfs-site.xml、yarn site.xml、mapred-s
浏览 4
提问于2013-05-29
得票数 1
1
回答
Oozie
先生发射器
的
意义是什么?
、
、
我用
Sqoop
、Hive和Pig操作创建了一个简单
的
Oozie
工作流
程。对于其中
的
每一个动作,
Oozie
都会启动一个MR发射器,然后启动这个操作(
Sqoop
/Hive/Pig)。因此,在
工作流
程中,总共有6名乔布斯负责3项行动。 为什么
Oozie
启动一个MR发射器来启动操作,而不是直接启动操作?
浏览 5
提问于2013-10-21
得票数 7
1
回答
oozie
作业
的
yarn用户在/ user /yarn上
的
访问异常
、
、
、
我正在运行一个包含
sqoop
命令
的
oozie
工作流
。
sqoop
命令在通过终端提交时运行良好。但是
oozie
工作流
给出了以下异常: Exception in thread "main" java.lang.RuntimeException: org.apache.hadoop.security.AccessControlException: Permission denied: user=yarn, access=WRITE, inode="
浏览 1
提问于2016-01-15
得票数 0
3
回答
oozie
中
的
sqoop
exec作业不工作
、
、
我正在运行一个3节点
的
HDP 2.2集群。
Oozie
版本是4.1.0.2.2,
Sqoop
版本是1.4.5.2.2。我
使用
sqoop
-metastore (HSQLDB)来存储
sqoop
作业。但是,当我将
sqoop
exec作业放到
oozie
工作流
中时,我得到了“Main class [org.apache.
oozie
.action.hadoop.SqoopMain], exit code但是,底层
的
浏览 2
提问于2015-08-28
得票数 0
3
回答
错误: E0505: E0505 : App定义
、
、
oozie
job -
oozie
http://localhost:11000/
oozie
-config coordinator.properties -run 任何建议。
浏览 0
提问于2015-07-27
得票数 7
1
回答
如何
使用
Shell脚本修改job.properties文件并运行
Oozie
脚本?
、
、
、
我有一个
Oozie
工作流
程,基本上2. Runs MapReduce on the Data./run.sh "birth_date < TO_DATE(...)"我希望它将一个参数传递给job.properties文件,配置传递给
工作流
的
Oozie
Sqoop</em
浏览 0
提问于2014-01-26
得票数 1
1
回答
使用
Oozie
的
错误
Sqoop
、
、
我有一个关于
工作流
oozie
的
问题
sqoop
import --connect jdbc:oracle:thin@:ip:sid --username --password--target-dirMain class [org.apache.
oozie
.action.hadoop.SqoopMain], exit
浏览 0
提问于2015-06-26
得票数 0
1
回答
使用
oozie
工作流
的
s3服务器端加密
、
、
、
、
我有一个
sqoop
作业,它将把数据写入s3桶中。如果我从命令行运行这个作业,它就是对s3文件进行加密。但是,如果我
使用
相同
的
jar文件来
使用
oozie
工作流
运行
sqoop
作业,那么它就会将数据推送到s3,但加密不会发生。 <arg>root</arg> <
浏览 0
提问于2017-03-08
得票数 1
回答已采纳
2
回答
在shell脚本中运行
Sqoop
命令
的
oozie
、
、
、
我是否可以在脚本中编写
sqoop
导入命令,并将其作为协调器
工作流
在
oozie
中执行?
sqoop
import --connect 'jdbc:sqlserver://xx.xx.xx.xx' -username=sa -password -table materials--fields-ter
浏览 2
提问于2015-03-19
得票数 1
1
回答
Sqoop
失败
,错误消息[java.lang.ClassNotFoundException: org.apache.
oozie
.action.hadoop.SqoopMain类未找到]
、
、
、
我试图通过创建
oozie
工作流
,
使用
sqoop
将mysql表导入到hdfs。我在
oozie
sharelib中复制了mysql连接器,即另外,我复制了我
的
sqoop
导入文件夹我可以通过引用来执行样例Mapreduce作业 我可以提交作业,但它显示作业是用错误杀死
的</e
浏览 0
提问于2016-06-16
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
热门
标签
更多标签
云服务器
ICP备案
云直播
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券