腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(3190)
视频
沙龙
1
回答
Airflow
Emr
Dag
成功
,
但
群集
未
启动
amazon-web-services
、
apache-spark
、
boto3
、
airflow
、
amazon-emr
我正在尝试
启动
一个AWS
emr
集群,并使用EmrCreateJobFlowOperator和EmrAddStepsOperator提交一个步骤,我的两个步骤都
成功
了,但是集群从来没有
启动
过,甚至没有步骤这两个步骤都会更改为
成功
状态 以下是我的代码 default_args = { 'depends_on_past': False, 'retry_dela
浏览 12
提问于2019-05-29
得票数 3
回答已采纳
1
回答
如何通过
Airflow
连接到AWS
Emr
笔记本
python
、
apache-spark
、
jupyter-notebook
、
airflow
、
amazon-emr
我希望将
airflow
连接到在
群集
上运行的
Emr
笔记本。目前,我已
成功
连接到AWS
EMR
群集
,但无法连接到该笔记本,请帮助。请帮帮忙谢谢 from
airflow
import
DAG
from
airflow
.hooks.S3_hook import S3Hook from
airflow
浏览 39
提问于2021-10-28
得票数 1
回答已采纳
2
回答
当EMRAddStep arg有以.json结尾的参数时,HadoopJarStep无法使用.json添加
EMR
步骤
apache-spark
、
airflow
、
amazon-emr
下面是我的
DAG
--请注意“--”,STEPS变量中的。from datetime import timedeltafrom
airflow
.providers.amazon.aws.operators.
emr
_create_job_flowimport EmrCreateJobFlowOperator from
airflow
.providers.amazon.aws.operators.
emr
_terminate_
浏览 4
提问于2020-08-21
得票数 2
1
回答
EMR
DAG
在所有步骤完成之前终止
python
、
airflow
我正在使用我的
DAG
中的
EMR
CreateJobFlow、AddSteps、StepSensor和TerminateJobFlow操作符来
启动
EMR
集群,添加步骤(2个spark app和dist-cp当我有一个2步的
DAG
(第一步是Spark应用程序,第二步是dist-cp)时,我能够做到这一点,但是,当我有两个spark应用程序时,集群
成功
地运行了第一步,并且在没有移动到第二步和第三步的情况下终止我自己也克隆了
EMR
集群(没有
airflow
),
浏览 0
提问于2018-10-29
得票数 2
1
回答
在气流
EMR
操作步骤中使用Json输入变量
amazon-emr
、
airflow
我目前遵循这里给出的模板:https://github.com/apache/
airflow
/blob/master/
airflow
/contrib/example_dags/example_
emr
_job_flow_manual_steps.py创建一个
DAG
,使用spark submit调用一个
emr
实例。from datetime import timedelta import
airflow
浏览 15
提问于2019-10-05
得票数 1
1
回答
为什么我的电子病历在最后一步结束后,什么时候开始通过气流?
airflow
、
amazon-emr
、
airflow-2.x
、
mwaa
cluster_creator ==通过电子病历
启动
集群step_checker ==检查步骤是否已完成。from datetime import datetime, timedeltafrom
airflow
.models import Variablefrom
airflow
.providers.amazon.aws.hooks.s3 import S3Hook from
airflow</em
浏览 6
提问于2022-04-22
得票数 0
回答已采纳
1
回答
Dag
定义中的
Airflow
访问命令行参数
airflow
SparkLivyOperator读取所有参数并在电子病历上
启动
一个Spark作业。我试着像下面这样读这些参数,但是我没有得到任何值。datetimefrom EmrManagerOperator import EmrManagerOperator DEFAULT_ARGS = {xcom_pull(task_ids='
emr
-create-{
dag
_id}'.format(
dag
_id=
DAG
_U
浏览 20
提问于2021-07-30
得票数 0
1
回答
AWS
EMR
群集
的最佳
Airflow
架构是什么?
amazon-web-services
、
airflow
、
cluster-computing
、
amazon-emr
我有一个AWS
EMR
集群,其中包含1个主节点、30个核心节点和一些自动扩展的任务节点。现在,成百上千的Hive和mysql作业由Oozie在集群上运行。我要把一些工作从Oozie换成
Airflow
。我搜索了一下,将气流应用到我的集群中。我发现所有的
dag
都应该位于每个节点上,而且
Airflow
Worker必须安装在所有节点上。但是,我的
dag
将频繁更新,并频繁添加新的
dag
,
但
节点数量约为100个,甚至使用自动缩放的节点。而且,如您所知,只有主节点在集群上有hive
浏览 20
提问于2019-09-24
得票数 0
1
回答
Apache气流1.10.10,远程工作人员和S3日志
airflow
当一个
DAG
运行时,第一步是它为
DAG
提取新的
EMR
,并与它一起作为一个只运行工作进程的工作节点。我们用的是芹菜刽子手。此工作节点发送要在
EMR
群集
上运行的任务。一旦任务运行,接下来的步骤将终止
EMR
并终止此员工实例。每个任务的日志都在此工作节点上。只要任务正在运行或工作节点正在运行,我就可以看到web上的日志。但是,一旦工人被解雇,我就无法看到日志。/deploy/
airflow
/logsre
浏览 0
提问于2020-07-08
得票数 0
2
回答
气流S3KeySensor -如何使它继续运行
boto3
、
airflow
、
airflow-scheduler
一旦完成,
DAG
就不再处于运行状态,而是进入
成功
状态,如果我想让它获取另一个文件,我需要清除所有的“过去”、“未来”、“上游”、“下游”活动。from
airflow
import
DAG
from
airflow
.operators import SimpleHttpOperator, HttpSensor, EmailOperator,=
DAG
('s3_triggered_
emr
_cluster_
dag
', default_a
浏览 1
提问于2018-05-29
得票数 25
回答已采纳
1
回答
EmrCreateJobFlowOperator返回"ERROR - The conn_id `
emr
_default` isn defined“
airflow
、
amazon-emr
当
Dag
运行时,步骤失败,我得到一个错误:下面是我在代码中的步骤: job_flow_overrides=JOB_FLOW_OVERRIDES,
emr
_conn_id='
emr
_default',
浏览 2
提问于2021-12-04
得票数 0
2
回答
如何在气流中建立
emr
_default
python
、
airflow
亲爱的斯塔克溢出会员,它给了我错误:
airflow
.exceptions.AirflowException: conn_id
emr
_default未定义谢谢!
浏览 3
提问于2017-06-26
得票数 7
回答已采纳
3
回答
使用
Airflow
dag
创建
EMR
群集
运行,一旦任务完成,
EMR
将终止
apache-spark
、
hadoop
、
airflow
、
amazon-emr
我有
Airflow
作业,它们在
EMR
集群上运行得很好。我需要的是,假设我有4个
airflow
作业,需要
EMR
集群20分钟才能完成任务。为什么不呢?我们可以在
DAG
运行时创建一个
EMR
集群,一旦作业完成,它将终止创建的
EMR
集群。
浏览 4
提问于2019-03-19
得票数 2
1
回答
Airflow
任务
未
运行
airflow
、
airflow-scheduler
我正在尝试在
Airflow
中运行一个简单的BASHOperator任务。
DAG
在触发时以树和图形视图的形式手动列出任务,
但
任务始终处于
未
启动
状态。from
airflow
.operators.dummy_operator import DummyOper
浏览 72
提问于2021-06-12
得票数 1
1
回答
并行运行气流任务-没有任何计划
python-3.x
、
amazon-ec2
、
airflow
、
airflow-scheduler
我能够
启动
airflow
webserver和
airflow
scheduler,并且能够在UI上查看我的所有
DAG
,但是现在我的任何一个
DAG
都没有开始工作了。我也尝试过在相同的主题上使用帖子,
但
都没有效果。/ec2-user/
airflow
/dags/s3_triggered_
emr
_cluster_
dag
.py 19214 0.01s 1.00s 2
浏览 2
提问于2018-05-31
得票数 1
回答已采纳
1
回答
Airflow
DAG
任务在我运行
DAG
时不运行,尽管任务在测试时工作正常
airflow
、
amazon-ecs
我在代码中定义了以下
DAG
: from datetime import timedelta, datetimefrom
airflow
import
DAG
from这看起来很好,当我运行时:
airflow
list_dags 我看到列出了我的
dag
: data-push 当我跑的时候:
airflow
list_tasks data-push 我看到我的三个任务出现了它们应该出现的样子data-push data-push-for-b
浏览 49
提问于2020-08-02
得票数 1
回答已采纳
1
回答
气流PythonOperator值班动物园管理员
python
、
airflow
谁知道如何使用气流监视动物园管理员路径,当动物园管理员路径数据“
成功
”时,将任务状态更改为“
成功
”;当动物园管理员路径数据“失败”时,将任务状态更改为“失败”;我编写以下代码,将“status_taskimport
DAG
from
airflow
.operators.python_operator=
DAG
(
dag
_id='recipe
浏览 2
提问于2020-05-21
得票数 0
回答已采纳
2
回答
google环境中的环境健康意味着什么?
google-cloud-platform
、
google-compute-engine
、
airflow
、
google-cloud-composer
绿色状态并不意味着所有气流部件都可以运行,
DAG
也可以运行--它只反映了作曲家部署的状态。 但不确定环境有什么问题,以及当它发生时如何修复它。
浏览 0
提问于2021-04-02
得票数 2
回答已采纳
1
回答
如何确定
DAG
在气流中是否暂停/
未
暂停?
python
、
airflow
、
directed-acyclic-graphs
、
airflow-scheduler
我想暂停空闲和冗余的
DAG
,我如何知道哪些
DAG
未
暂停,哪些
DAG
已暂停? 因此,我有一个要使用执行
airflow
pause <
dag
_id>的have命令取消暂停的
DAG
的列表。我想通过检查每个
DAG
的pause状态来了解命令是否
成功
。我已经检查了
airflow
webserver,似乎所有暂停的
DAG
仍在运行。def pause_idle_dags(dags = ["my
浏览 0
提问于2018-12-27
得票数 4
1
回答
如果另一个
DAG
上的所有任务都
成功
,则只运行
DAG
。
airflow
我对DAGs、气流和Python语法有点陌生(我从Java中学到编码),但我有一个
DAG
,它有大约10个相互独立的任务,而另一个
DAG
只有在所有10个任务都
成功
的情况下才能运行。因为按照我的方式,如果一个任务失败,
DAG
仍然运行其他任务,
DAG
被标记为
成功
。(这就是我想要的) ) 然后,在另一个应该运行的
DAG
上,只有当这个任务'task_sensor_fail
浏览 0
提问于2020-08-20
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
没看过这篇文章,别说你会用Airflow
任务流管理工具-Airflow配置和使用
数据作业自动化调度 AirFlow
迁移工具 Air2phin 宣布开源,2 步迁移 Airflow 至 Dolphinscheduler
大规模运行Apache Airflow的经验和教训
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券