在airflow中，可以使用简单的print()或建议的使用记录器写入日志 bigquery_conn_id=CONNECTION_ID现在假设我想打印"My name is load_ads_to_BigQuery-{}".format{i)，因为你可以看到这个打印是每个操作员唯一<em
浏览 4提问于2018-09-03得票数 1
回答已采纳
我从日志中看到以下信息： 2019-02-28 16:33:14,766 {python_operator.py:95}信息-导出以下环境变量： AIRFLOW_CTX_DAG_ID=email_operator_with_log_attachment_exampleAIRFLOW_CTX_EXECUTION_DATE=2019-02-28T21:32:51.357255+00:00A
浏览 40提问于2019-03-01得票数 4
回答已采纳
我正在尝试在apache-airflow中编写一个自定义操作符和传感器。它基本上有3个操作符和1个传感器，第一个操作符/任务将调用一些python方法，并在控制台上打印一些消息。之后，将调用第二个运算符，它是一个自定义运算符，位于名为"custom_operator.py“的文件中的插件文件夹中。它会将数据插入mongo db数据库。然后调用使用mongo_hook的自定义传感器，该传感器将监视数据库并检查数据库<
浏览 24提问于2019-04-12得票数 1
回答已采纳
1回答
当我们在气流UI上做dagrun时，在“图形视图”中，我们会得到每个作业运行的详细信息。"scheduled__2017-04-11T10:47:00".类似于JobID谢谢你，切坦
浏览 2提问于2017-04-11得票数 17
回答已采纳
我用气流emailOperator发送邮件。是否有任何方式发送“答复- to”参数也。我尝试过default_param={'key':'value'}，但将异常作为无效参数抛出。我读过这篇 ，但我不知道我在哪里做错了。版本: 2.0.2 task_id='send_email', subject=destination['subject']
浏览 10提问于2022-09-19得票数 -1
回答已采纳
from __future__ import print_functionfrom现在，我想将我的def print_context(ds, **kwargs)函数放到其他python文件中。-01
ImportError:没有名为worker的
浏览 4提问于2015-11-03得票数 25
我使用的是Apache-Airflow 2.0.0.0b1。我有一个EmailOperator，我想要动态地更改它的一些参数。具体地说，我想访问kwargs['ti']中的值...def get_email_operator(**kwargs):print_date_op >> ... >> get_email_operat
浏览 1提问于2020-11-25得票数 1
我们使用的是 task_id='download_file', bucket='our-bucket',)
这个任务运行得很好，但是对于我们的下一个任务，需要将local_file.jsonpass@mydb.mongodb.net
浏览 3提问于2020-11-17得票数 0
我正在尝试通过Google Cloud Composer的KubernetesPodOperator在从私有Google Container Registry中的图像构建的环境中运行任务。import datetimefrom airflow.contrib.operators import kubernetes_pod_operator
YESTERDAYUI的日志和存储存储桶的
浏览 0提问于2020-09-21得票数 0
实际上我成功地完成了，但问题是当我尝试通过输入命令行(如airflow pause dag_id )来暂停dag时，它抛出AttributeError: 'NoneType' object has no", line 379, in set_is_paused所以我检查了输出目录中的python文件，但是，它是由airflow编码的，我不知道如何修复它example_branch_dop_o
浏览 0提问于2018-09-07得票数 4
我是GCP的新手。我有一个在GCP环境中创建的样例python脚本，运行良好。我想在Airflow中安排这个。我将文件复制到环境(gs://us-west2-*******-6f9ce4ef-bucket/dags)中的DAG文件夹中，但它显示在airflow DAG中。这是airflow配置中的位置。dags_folder = &#
浏览 7提问于2021-03-11得票数 0
我的命令是成功安装了气流，但我无法从气流中导入airflow.operators.print_text_old。错误消息说：
from airflow.operat
浏览 0提问于2021-06-09得票数 2
我刚接触Airflow，只是为了练习在DAG中做一个简单的数据转换。然而，我不确定为什么第一个任务总是意外失败。有人能给我一些关于如何在DAG中调试失败的任务或指出错误部分的提示吗？非常感谢。import pandas as pdfrom airflow import DAG
from airflow.operators.dummy_operator importD
浏览 9提问于2021-09-13得票数 0
我目前使用的是Airflow (版本: 1.10.10)， 我对创建DAG很感兴趣，它将每小时运行一次， 这将带来Docker容器的使用信息(磁盘使用)， (可通过docker CLI命令( df -h)获得的信息)。我的理解是：“如果xcom_push为真，那么当bash命令完成时，写入标准输出的最后一行也将被推送到XCom。” 但我的目标是从bash命令中获得一个特定值，而不是最后编写的一行。f
浏览 40提问于2021-10-31得票数 0
回答已采纳
我尝试使用我的自定义http操作符(扩展simpleHttpOperator )在我的http请求的headers值中使用模板。似乎只在数据字段中支持模板。如何在headers字段中实现同样的功能。我想要传递模板化的授权头。请在下面找到我的代码。import airflowfrom airflow.configuration import conf
浏览 22提问于2019-06-25得票数 0
回答已采纳
我是Apache Airflow的新手。我的任务是从谷歌云存储读取数据，转换数据并将转换后的数据上传到BigQuery表中。我可以从云存储存储桶中获取数据，并直接存储到BigQuery表中。我不确定如何在这个管道中包含transform函数。下面是我的代码： # Import libraries needed for the operationfrom datetim
浏览 18提问于2021-07-09得票数 1
回答已采纳
我似乎不了解如何将模块导入到apache airflow DAG定义文件中。例如，我想这样做是为了能够创建一个库，使具有类似设置的声明任务不那么繁琐。airflow.operators.bash_operator import BashOperator
# Here，它将您给出的任何输入乘以2，并打印结果，但显然这并不重要，因为这是一个导入问题。我能够按照教程文档成功运行airf
浏览 197提问于2017-12-28得票数 29
回答已采纳
我目前正试图在气流中的DatabricksRunNowOperator上建立一个额外的链接，这样我就可以快速地访问运行的数据库，而不必翻阅日志。作为起点，我只是在任务实例菜单中添加到google的链接。我遵循了中所示的过程，创建了放置在我的气流主插件文件夹中的以下代码：from airflo
浏览 3提问于2020-02-14得票数 3
回答已采纳
-m venv ~/Desktop/气流
然后我做了pip3安装apache-气流=1.10.9
在我的airflow.cfg文件中我在$AIRFLOW_HOME/Desktop/airflow中创建了dags和插件目录首先是在(first_plugi
浏览 1提问于2020-06-07得票数 4
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
