腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Luigi
可以
运行
远程
Hadoop
作业
吗
?
hadoop
、
hdfs
、
etl
、
directed-acyclic-graphs
、
luigi
如果
Luigi
图中的某个任务需要在
远程
Hadoop
集群上
运行
,这是否可行?
运行
Luigi
的机器与
Hadoop
集群不同。
luigi
是否仍能检查
远程
集群中的HDFS文件是否存在?
浏览 13
提问于2019-03-12
得票数 0
回答已采纳
1
回答
使用
Luigi
python
运行
Hadoop
jar
python
、
hadoop
、
pipeline
、
luigi
我需要使用python中的
运行
Hadoop
jar
作业
。我搜索并找到了用
Luigi
编写mapper和reducer的示例,但没有直接
运行
Hadoop
jar的示例。我需要
运行
直接编译的
Hadoop
jar。我该怎么做呢?
浏览 0
提问于2015-04-22
得票数 4
3
回答
有向无环图动态
作业
调度程序
python
、
scheduling
、
etl
、
directed-acyclic-graphs
、
oozie
有些
作业
在执行工作流时可能会失败,系统应该能够重新启动失败的工作流分支,而无需等待整个工作流完成执行。 类似于,但更通用,在python中。
浏览 12
提问于2013-01-12
得票数 28
回答已采纳
1
回答
Apache Oozie能
运行
码头集装箱
吗
?
docker
、
workflow
、
oozie
、
oozie-workflow
目前比较基于DAG的工作流工具,如气流和
Luigi
,用于调度通用码头集装箱以及火花
作业
。 Apache能否通过其shell操作
运行
通用Docker容器?或者,Oozie严格意义上是用于
Hadoop
工具,如Pig和Hive?Oozie与
Hadoop
堆栈的其他部分集成在一起,它支持多种类型的
Hadoop
作业
(例如Java映射-还原、流映射-还原、Pig、Hive、Sqoop和Distcp)以及特定于系统的
作业
(例如Java程序和
浏览 2
提问于2019-01-28
得票数 3
回答已采纳
1
回答
以DAG方式调度
作业
python
、
linux
、
cron
、
scheduled-tasks
、
airflow
因此,如果job_A for x=B失败了,那么树的分支将完全失败,不应该
运行
。不过,所有其他分支都应该
运行
。 所有
作业
都是用Python编写的,并使用并行性(基于生成SLURM
作业
)。无论树中较高的
作业
是否失败,所有
作业
都会
运行
。如果不深入了解依赖关系,就很难看出问题在哪里。如果更高的
作业
(例如,job_A)没有完成,job_B可能会被调度为
运行
,并根据过期日期失败或
运行
。我们能过滤失败的
作业
,只
浏览 6
提问于2015-12-17
得票数 6
回答已采纳
1
回答
在本地/
远程
Hadoop
配置之间切换
hadoop
有没有在本地
运行
Hadoop
作业
和在
远程
集群上
运行
Hadoop
作业
之间进行切换的简单方法?我更喜欢在本地进行所有开发,并通过命令行
运行
,更改参数或环境变量以在本地
运行
或在
远程
集群上
运行
之间切换。对于上下文,我有一个安装了
Hadoop
的Linux虚拟机。我是
Hadoop
的新手,但
可以
在那里
运行
本地
作业
。 相关问题
浏览 0
提问于2015-05-18
得票数 0
1
回答
无法使用
luigi
运行
mapreduce
spotify
、
hadoop-streaming
如何使用
luigi
运行
mapreduce
作业
。例如,wordcount_
hadoop
.py启动
作业
需要传递哪些参数输出:usage: wordcount_
hadoop
.py [-h] [--scheduler-port SCHEDULER_PORT] [--lock]EnvironmentParamsContainer,JobTask
浏览 4
提问于2013-10-10
得票数 0
1
回答
Luigi
对Spring批
java
、
python
、
spring-batch
、
etl
、
luigi
我提出的两个选项是
Luigi
(Python框架)和Spring。文件包含200到1 1kk的记录。不执行转换,只执行数据类型和长验证。
作业
的第一步包括检查标头、预告片、某些日期、查询参数表和截断暂存表。你能给我一些关于这个用例的每个框架的利弊
吗
?
浏览 1
提问于2019-03-21
得票数 1
2
回答
打印到映射器中的屏幕变量
java
、
hadoop
我想检查我的map函数中元素的内容,有没有办法将变量的内容打印到屏幕上。当我看不到每个变量中的内容时,处理这些东西的速度会非常慢。我尝试过"System.out.println“,但在映射器中似乎不起作用。 ) throws IOException, InterruptedException { System.out.println(line + "\n
浏览 0
提问于2011-04-16
得票数 1
回答已采纳
1
回答
Spring + Maven +
Hadoop
java
、
spring
、
maven
、
hadoop
我在Spring + Maven +
Hadoop
环境中遇到了问题。我使用的是Apache
Hadoop
,但不要使用SpringSource提供的spring-
hadoop
。为了在java中使用
hadoop
,我在Maven中添加了以下依赖项。<dependency> <artifactId>
hadoop
-core<
浏览 0
提问于2013-02-05
得票数 4
1
回答
在
LUIGI
中存储
作业
状态的持久性存储
luigi
我最近从
LUIGI
开始,有几个问题我无法用回答自己。
luigi
实际上什么时候将状态数据写入持久性存
浏览 2
提问于2016-06-29
得票数 1
1
回答
自动化
Hadoop
批处理命令
python
、
hadoop
、
mapreduce
、
oozie
、
luigi
我是这个领域的乞丐,所以不知道确切的术语,对不起问题:我无法理解人们是如何
运行
诸如 -mapper mapper.py \ -reducer reducer.py-output nfldata/
浏览 3
提问于2015-12-22
得票数 2
回答已采纳
1
回答
用于
远程
作业
提交的典型
Hadoop
设置
linux
、
windows
、
hadoop
、
cloudera-cdh
、
cloudera-manager
因此,我对
hadoop
还有点陌生,目前正在Amazonaws上建立一个小型测试集群。因此,我的问题涉及到关于集群结构的一些技巧,因此
可以
从
远程
机器提交
作业
。 目前我有5台机器。4基本上是带有NameNodes、Yarn等的
Hadoop
集群。一台机器被用作管理机( Cloudera )。我将描述我的思维过程中的设置,如果有人
可以
插话,我不清楚,这将是很好的。另外一个要点是,我希望能够通过客户机机器(可能是Windows)向集群提交
作业
。我对这个设置也不太清楚。我是否需要在
浏览 1
提问于2014-08-19
得票数 3
1
回答
无法
远程
运行
Hadoop
作业
hadoop
我想从windows机器
远程
运行
hadoop
作业
。集群正在Ubuntu上
运行
。 我试图在
作业
配置中传递jobtracker/namenode,但失败了。结果:获得一致的错误,因为无法加载目录。它类似于这篇文章:
浏览 1
提问于2014-03-05
得票数 4
1
回答
如何在MapReduce上增加WSO2
作业
数
wso2
、
wso2-bam
我使用WSO2 BAM 2.4.1
运行
Hive脚本,默认情况下,它只启动1 MapReduce
作业
,如下所示。需要有关如何配置WSO2 BAM以
运行
多个
作业
的帮助。1项工作中的1项 减少任务的数量被设置为0,因为没有减少操作符
浏览 5
提问于2014-08-29
得票数 0
1
回答
远程
运行
Hadoop
作业
hadoop
我正在尝试从集群外部
运行
一个MapReduce
作业
。at org.apache.
hadoop
.fs.F
浏览 2
提问于2014-03-06
得票数 7
2
回答
hadoop
是怎么工作的?客户端如何连接到
hadoop
java
、
apache
、
hadoop
、
hdfs
我对
hadoop
有基本的理解。我的问题是客户机/开发人员如何连接到
hadoop
集群来执行查询。 例如,我是
hadoop
开发人员。某个
远程
位置的
Hadoop
集群。如何连接到
hadoop
集群来
运行
我的java代码?我是否也必须在我的笔记本电脑中安装
hadoop
(为此我必须
运行
Linux)?或者,如果我与
Hadoop
集群在同一个网络中,只需在我的笔记本电脑中挂载共享,并将我的代码放入
hadoop</em
浏览 4
提问于2014-11-07
得票数 1
回答已采纳
2
回答
基于Python的异步工作流模块:芹菜工作流和
luigi
工作流有什么区别?
python
、
celery
、
luigi
我需要一个工作流引擎,它
可以
执行同步任务以及异步(批处理任务)任务链。我发现芹菜和路易吉作为批处理工作流程。我的第一个问题是这两个模块之间的区别是什么。
Luigi
允许我们重新
运行
失败的任务链,并且只有失败的子任务才能重新执行。芹菜:如果我们重新
运行
链(修复失败的子任务代码),它会重新
运行
已经成功的子任务
吗
? 假设我有两个子任务。当我在第二个任务中修复代码后重新
运行
这个链时会发生什么?第一个任务会尝试重新创建这些文件
吗
?
浏览 5
提问于2014-02-23
得票数 37
回答已采纳
1
回答
工作客户在哪里工作?
hadoop
、
mapreduce
两种情况: 当我在计算机上使用eclipse
远程
编程时,用菜单“run”
运行
作业
,该
作业
客户端是否<
浏览 3
提问于2013-04-10
得票数 0
2
回答
远程
执行
hadoop
作业
时出现异常
hadoop
、
mapreduce
、
hdfs
我正在尝试在
远程
Hadoop
群集上执行
hadoop
作业
。下面是我的代码。inputPath)); 当
作业
立即开始执行时(DistributedFileSystem.java:453)at org.
浏览 1
提问于2011-04-28
得票数 3
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
“技术选型”工作流引擎哪家强?首席架构帮你挑
Azkaban支持哪些类型的作业?
关于Hadoop核心技术的精华问答
使用Hadoop Shell命令获取集群状态及常用操作指南
小白3天速成调度框架oozie
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券