我正在使用airflow composer - dataflow java操作员作业，它在作业完成后输出带有状态和错误消息详细信息的json文件(放入airflow数据文件夹)。
浏览 16提问于2021-08-31得票数 0
有没有一种方法可以在python函数(Print_hello)中应用jinja模板，而不使用airflow变量(位于airflow web UI中)或全局变量？def print_hello(): task_id='t_test',
python_callable
浏览 16提问于2021-01-12得票数 1
回答已采纳
2回答
在dags_folder中的airflow.cfg中有下面的python文件。此代码在数据库中创建主守护进程。这个主进程应该读取一个文本文件，并为文本文件中的每一行创建dags。但是在主守护进程中创建的dag没有添加到数据库中。创建它的正确方法是什么？版本详细信息：Apache-气流版本: 1.10.8from
浏览 6提问于2020-03-24得票数 2
回答已采纳
我有一个气流守护程序，它使用以下jinja模板："{{ execution_date.astimezone('Etc/GMT+6').subtract(days=1).strftime('%Y-%m-%dT00:00:00') }}"
此模板在其他dag中工作，并且当用于dag的schedule_interval设置为timedelta(hours=1)时工作。File "/usr/lib/<em
浏览 1提问于2019-07-09得票数 0
这是我们尝试过的：
(1)我们尝试在GUI中更改DAG的计划，但似乎只更改了该特定实例的计划。(2)我们尝试通过存储最后一个列值来程序化地处理增量更新。有没有其他更好的增量更新方法？
浏览 3提问于2018-03-13得票数 2
我正在做Airflow 1.10。 我在KubernetesPodOperator上运行命令时遇到了问题，在DAG运行时会对整个命令进行评估。正如我从文档中读到的，KubernetesPodOperator需要字符串列表或jinja模板列表： :param arguments: arguments of the entrypoint.我有PythonOperator，它生成命令并将其推送到XCOM和KubernetesPodOperator，在这两个命令的参数中，我传递由PythonOperato
浏览 65提问于2021-08-06得票数 0
回答已采纳
_prepare_and_execute_task_with_callbacks(context，任务中)文件"/usr/local/lib/python3.8/site-packages/airflow(content，context，jinja_env，seen_oids)文件"/usr/local/lib/python3.8/site-packages/
浏览 3提问于2021-05-20得票数 0
回答已采纳
我在我的Windows11笔记本电脑上使用WSL2，并从以下链接安装了Airflow教程：20.0.2Apache-Airflow 2.4.1 Python版本3.8.10Pip版本(我相信)sudo apt-get install software-properties-common但是，当我试
浏览 13提问于2022-10-23得票数 0
回答已采纳
我有一个用例，在这个用例中，我在一个for循环中，需要动态地填充HttpSensor任务中的字段 我尝试使用以下语法： 方法1失败： s = 'sensor_task_sd_{0}'.format(dsoft_fail=True, dag=dag_subdag,
) 但它失败了，因为在这一行中：rev=0".format(t) 我无法使用.format(t
浏览 44提问于2019-05-21得票数 4
2回答
有没有一种方法可以像{ ds }}中的几天一样，用1-2秒来增加{ts_nodash}-
ds_add('2015-01-01', 5
浏览 7提问于2021-04-07得票数 0
回答已采纳
1回答
尝试在Airflow中使用Jinja模板引用Python中的变量以打印变量值 job_id = 15
print("{{ params.job_id }}") 但是，它正在打印： {{ params.job_id
浏览 31提问于2020-10-07得票数 0
我使用的是气流2.1.4 (Composer)，基于以下函数，我希望有一个在BigQuery中返回表名的宏，即。这很奇怪，因为模板的渲染看起来很好。jinja_env.from_string(content).render(**context)
File "/opt/python3.8/lib/python3.8/site-packages//python3.8
浏览 1提问于2022-01-21得票数 1
回答已采纳
我对我的python代码有一些疑问。在这里，我创建了一个具有两个任务的DAG，一个执行正常，另一个失败(我强烈地提到了检查场景的错误值)。并且在任务失败时需要在GCP mysql中插入错误消息。错误:您的SQL语法中有一个错误；请查看与您的MySQL服务器版本对应的手册，了解要在&#x
浏览 0提问于2019-09-04得票数 0
1回答
当我们在气流UI上做dagrun时，在“图形视图”中，我们会得到每个作业运行的详细信息。因此，我的问题是，如何在运行的同一个进程中获取JobID。
谢谢你，切坦
浏览 2提问于2017-04-11得票数 17
回答已采纳
我希望将DAG的execution_date或ds宏注入到外部函数中的string中，以便基于execution_date动态地移动/聚合数据，这对于重新运行作业和回填非常有用。I试图使用{}宏语法，但它似乎不能在操作符/传感器调用之外使用。I使用，因为我使用IAM角色链接来使用AWS进行身份验证，而我无法找到一种方法使它与SQLoperators/传感器一起工作。Python3.9，Airflo
浏览 10提问于2021-09-27得票数 0
回答已采纳
说：You can use Jinja templating with every parameter that is marked as “templated” in the documentation气流自动模板化气流世界中的特定参数(例如PythonOperator的某些参数)是有意义的。我想知道最好的/正确的方法是让一个非气流变量模板化。我的具体用例类似于：from airflow.operators.pytho
浏览 1提问于2018-03-28得票数 5
我尝试使用我的自定义http操作符(扩展simpleHttpOperator )在我的http请求的headers值中使用模板。似乎只在数据字段中支持模板。如何在headers字段中实现同样的功能。我想要传递模板化的授权头。请在下面找到我的代码。import airflowfrom airflow.configuration import conf
from
浏览 22提问于2019-06-25得票数 0
回答已采纳
我正在尝试编写我们的第一个Airflow DAG，当我尝试使用命令airflow list_tasks orderwarehouse列出任务时，我得到了以下错误 File "/usr/local/lib/python2.7/site-packages/airflow/models.py", line 2038, in resolve_templa
浏览 18提问于2017-02-10得票数 31
回答已采纳
Airflow -无法对Kubernetes Pod操作员任务中的资源使用jinja模板。能够为环境变量、图像使用jinja模板，但不能为资源指定CPU和内存(请求和限制)。
浏览 31提问于2021-11-29得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
