腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
0
回答
多个
文件
依赖
项
的
Oozie
协调
器
配置
、
是否可以
配置
Oozie
协调
器
,以便在以下条件下触发工作流来处理每组
文件
:
文件
名在每个父/组
文件</
浏览 3
提问于2016-07-12
得票数 0
2
回答
使用
Oozie
使用Hive/Hadoop调度即席查询
、
、
、
Oozie
是否支持用户通过REST API调度ad-hoc Hive查询?我们正在构建一个系统,用户可以在其中搜索Hadoop中
的
文档,并支持用户(可选)指定要搜索
的
数据
的
某些属性,使用Hive对Hadoop执行查询。我们有一个服务,在运行时,我们处理用户
的
查询以生成相应
的
配置
单元查询。 我们希望能够通过
Oozie
安排这些查询,但我还没有找到关于如何通过
Oozie
执行这些查询
的
文档。我假设这是可能
的
浏览 1
提问于2014-04-25
得票数 0
4
回答
哪个是HADOOP
的
最佳调度程序。
oozie
还是cron?
谁能建议哪一个是最适合Hadoop
的
调度
器
。如果是
oozie
的话。
oozie
和cron作业有什么不同。
浏览 0
提问于2015-04-15
得票数 6
1
回答
Oozie
工作失误时
的
行为
、
我有一个
Oozie
协调
员
的
工作设置运行在12点
协调
世界时,每天。我正在寻找一种机制,使用它我可以要求
Oozie
重新运行那些由于
Oozie
服务
器
故障而错过
的
任务。我理解,通过workflow.xml
文件
中
的
SLA参数,我可以指定SLA
的
任务期限和电子邮件联系人,但不确定在以下情况下会发生什么:
oozie
作业计划于
协调
世界时07 :05时运行。但是,
oo
浏览 8
提问于2016-07-10
得票数 0
1
回答
oozie
是否提供任何I/O方面的性能优化?
、
、
、
、
由于
oozie
是Hadoop平台
的
工作流引擎,它是否提高了MapReduce作业
的
DAG
依赖
项
的
执行性能?我
的
意思是,由于一个MapReduce作业
的
输出作为DAG中下一个MapReduce作业
的
输入,
oozie
是否提供了将中间结果存储在内存中从而节省I/O
的
机制?或者仅仅是一个工作流管理
器
,
协调
一系列
依赖
的
MapRe
浏览 3
提问于2013-11-01
得票数 1
回答已采纳
1
回答
使用
Oozie
协调
器
根据更新
的
数据集重新触发工作流
、
我目前有一个
依赖
于数据集
的
Oozie
协调
器
。已将数据集
配置
为在完成时创建_SUCCESS
文件
以触发工作流。根据我
的
理解,工作流是基于_SUCCESS
文件
的
存在而触发
的
,但我有一个用例,我需要重新触发工作流,以便在相同
的
_SUCCESS更新(即时间戳更改)
的
情况下运行。我想知道在
Oozie
中我该怎么做。
浏览 1
提问于2016-01-12
得票数 0
2
回答
Oozie
协调
器
配置
属性
、
我有一个
Oozie
协调
器
,它调用一个特定
的
Oozie
工作流。 为了调用这个
协调
器
,我需要为工作流提供它所需
的
所有
配置
属性。这是否意味着我应该复制属于工作流
的
job.properties
文件
中
的
所有
配置
属性,并将它们也放入coordinator.properties
文件
中?还是我错过了什么?
浏览 3
提问于2015-02-18
得票数 2
2
回答
Oozie
:
oozie
生成输出事件吗?
、
、
在
oozie
中,input-events非常简单,如果指定
的
文件
/
文件
夹不存在,
协调
器
作业将保持在WAITING状态。但我不明白output-events做了什么。根据我
的
理解,在output-events标记中指定
的
文件
/
文件
夹应该由
oozie
创建,以防所有指定
的
操作都成功。但这是不可能
的
。我也找不到任何相关
的
日志。这方面的
浏览 2
提问于2015-10-20
得票数 5
回答已采纳
1
回答
使用keytab提交
oozie
作业
、
、
、
、
我使用keytab
文件
绕过kerberos通过
oozie
运行shell脚本。Shell脚本包括hbase命令,因此我需要在运行hbase之前执行kinit,commands.This对我来说很好。因此,如果我使用
协调
器
启动作业,并使用keytab (服务帐户)在工作流中使用
多个
shell脚本,那么
oozie
中会出现冲突吗?因为我使用
oozie
协调
器
启动任务,但是在服务帐户
的
工作流中有keytab
文件
浏览 3
提问于2014-10-17
得票数 1
回答已采纳
4
回答
如何在不重新启动
oozie
作业
的
情况下重新加载
oozie
作业
配置
文件
、
、
、
、
我想知道是否有一种方法可以在不重新启动
oozie
作业(
协调
器
)
的
情况下重新加载
oozie
作业
的
配置
文件
。因为
协调
器
实际上运行我们
的
许多任务,也许有时我们只需要更改作业
配置
文件
的
一行,然后进行更新,而不会干扰其他任务。 非常感谢。
浏览 0
提问于2013-11-03
得票数 7
3
回答
具有
多个
工作流
的
Oozie
协调
器
、
我有三个工作流XML
文件
,例如WF1 WF2 WF3。我是否可以将所有这些工作流程链接到一个
协调
器
中,以执行以下操作?WF1
依赖
于时间,WF2
依赖
于
文件
,WF3不
依赖
于任何东西。
浏览 0
提问于2014-10-30
得票数 5
2
回答
Oozie
输出-事件
、
、
、
我不明白Ozzie中
的
输出事件有什么用。Ozzie文档声明“一个
协调
器
操作可以产生一个或
多个
数据集实例作为输出”,但它没有给出任何实际
的
细节或示例。产生一个dataset实例作为输出意味着什么?这是否意味着Ozzie将通过数据集
的
URI模板创建一个
文件
夹作为输出?我真的不明白为什么我要使用输出evets… 谢谢!
浏览 0
提问于2012-10-29
得票数 3
回答已采纳
2
回答
如何将
Oozie
配置
传递给工作流操作,如Hive?
、
、
如何将
Oozie
配置
值传递给工作流操作?例如,
Oozie
知道作业跟踪
器
URL:
oozie
.actions.default.job-tracker,复制了这些信息,因为
Oozie
已经知道作业跟踪
器
的
URL。可以从worklow.xml
文件
中引用
Oozie</
浏览 0
提问于2016-03-08
得票数 2
2
回答
如何提交
oozie
协调
器
作业
、
、
我有一个在
文件
coordinator.xml中定义
的
oozie
协调
器
作业,它运行在workflow.xml
文件
中定义
的
工作流作业。我想运行
协调
器
作业,但是当我发出命令'
oozie
job -
oozie
job.properties -config ./job.properties -run‘时,它运行
的
是工作流,而不是
协调
器
浏览 0
提问于2015-06-02
得票数 1
3
回答
oozie
:如何在相应
的
工作流程中使用
oozie
coodinator属性?
、
我有一个
oozie
作业作为
协调
器
运行,它调用worflow,在
协调
器
中有一些使用
协调
器
EL函数
的
配置
属性,就像这样- <configurationdateOffset(coord:nominalTime(), -3, 'HOUR'), 'HH')}</value> <
浏览 2
提问于2013-12-09
得票数 3
1
回答
使用
oozie
包有什么好处?
、
我并没有真正理解使用
oozie
包
的
好处。对我来说,它只是一个参数
的
集合,
协调
员共享,但没有额外
的
控制。如果您没有在这里硬编码这些参数,这只是一个“网关”或属性
的
另一个视图,您必须存储在属性
文件
或环境变量中。我想这是有价值
的
,只是我没有得到。
浏览 1
提问于2017-08-07
得票数 1
2
回答
我应该永远使用
oozie
来运行MapReduce任务吗?
、
、
我有一个mapReduce任务(),它读取
文件
夹中
的
文件
,并将它们附加到zip中。我需要永远运行这个任务,所以当它完成处理它们时,它应该再次运行。我正在读关于
oozie
的
文章,但我不确定它是否最适合我,因为也许它对我
的
问题来说太大了。对任务
的
解
浏览 3
提问于2012-06-28
得票数 1
1
回答
更新
Oozie
协调
器
定义
、
、
我有一个运行
协调
器
,这是由
Oozie
java客户端安排
的
。现在我需要更新它
的
定义字段,比如frequency、start、end。我尝试了
Oozie
java客户端
的
updateCoor()函数,但是它抛出了一个异常,因为我们不能更新
协调
器
定义,而只能更新它
的
属性。.please建议,是否有人已经找到了任何解决方案?一种解决方案是杀死旧
的
协调
器
,并使用新
浏览 18
提问于2018-01-24
得票数 1
回答已采纳
1
回答
如何触发现在预定
的
oozie
作业?
、
、
我已经使用以下命令向
Oozie
提交了一个作业:
oozie
job -config ${config_file} -submit 我
的
作业被安排在每天5个
协调
世界时运行(频率= 1440)。我
的
问题是-如何触发超出此时间范围
的
执行?假设我已经提交了一个任务@7UTC,但不想等到第二天5UTC,并且想在提交后立即手动触发它。我试着开始一
项
工作:
oozie
job -
oozie
host -start coordinatior-job-
浏览 12
提问于2020-04-28
得票数 3
1
回答
如何在插入Hive表时从HDFS中拾取动态
文件
名
、
、
、
现在我需要编写一个工作流,每天作业都会在某个位置搜索
文件
-like/data/data_2015因此,每天工作流都会自动选择
文件
名并将数据加载到
配置
单元表(MyTable)中。现在,当运行与普通
配置
单元相同
的
作业时,我可以将
文件
路径设置为data_2015-07-07.csv,但是如何在
Oozie
浏览 1
提问于2015-07-07
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
热门
标签
更多标签
云服务器
ICP备案
对象存储
云直播
腾讯会议
活动推荐
运营活动
广告
关闭
领券