1回答
当我的dag中的节点出现故障时，我希望看到日志，但页面只是保持呈现(符号)，并且没有实际加载日志。
是否有其他方法可以检查日志或更正此问题？
浏览 5提问于2018-12-18得票数 5
回答已采纳
我们正在使用带有docker-compose的 docker镜像运行Airflow集群。Airflow的调度器容器将其日志输出到/usr/local/airflow/logs/scheduler。问题是日志文件不会轮换，并且磁盘使用率会增加，直到磁盘满为止。可用，但未清理在工作节点上运行的DAG和计划程序容器上的日志目录。我正在寻找将调度程序日志输出到标准输出或S3/GCS存储桶的方法，但找不到。是否可以将调度
浏览 3提问于2021-01-10得票数 1
我们刚刚开始在我们的项目中为我们的数据管道使用Apache airflow，并探索了在airflow .For中将远程文件夹配置为日志目的地的功能。
我不能理解所有的字段，.I只是在我的项目下从谷歌控制台创建了一个示例GS Bucket，并将该项目ID作为空白提供给这个Connection.Leftweb服务器和计划程序.But后，我的Dags仍未将日志写入GS存储桶.I我能够看到在base_log_folder .B
浏览 2提问于2017-09-19得票数 0
我将airflow用于Spark作业的工作流程。安装完成后，我将DAG文件复制到airflow.cfg中设置的DAG文件夹。我可以回填DAG以成功运行BashOperators。
浏览 1提问于2018-04-23得票数 13
回答已采纳
嗨，我正在使用Airflow，并在EC2的后台运行。但是如何停止/检查日志呢？我在文档中找不到详细的解释。
谢谢!
浏览 21提问于2017-07-19得票数 5
2回答
按照和其中提到的指南，我将log_config复制到airflow/config文件夹中。但是，当我运行set服务器或调度程序时，我得到了“模块未定义”(init.py是在config文件夹中定义的)，并且PYTHONPATH被设置为airflow/config File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/<
浏览 3提问于2020-09-23得票数 3
我已经在现有的Airflow 2.0.0安装的基础上安装了Apache Spark provider，安装方法如下： pip install apache-airflow-providers-apache-spark' from 'apache-airflow-providers-apache-spark' package: name 'client' is not defined
[2021-01-19 18:49' from 'apache-airflow</
浏览 16提问于2021-01-20得票数 3
我想将DAG文件添加到Airflow中，它在Ubuntu上的Docker中运行。我使用了以下，其中包含配置和到docker镜像的链接。或者，我运行了docker run -d -p 8080:8080 puckel/docker-airflow webserver -v /root/dags:/usr/local/airflow/dags我尝试编辑/config/airflow.cfg并将git凭据添加到包含dags的存储库，但没有成
浏览 3提问于2018-09-17得票数 10
调度程序和when服务器在不同的容器上运行，当我运行DAG并检查when服务器上的日志时，它显示了这个特定的错误。*** Log file does not exist: /usr/local/airflow/logs/indexing/index_articles/2019-12-31T00:00:00+00:00AIRFLOW__CORE__SQL_ALCHEMY_CONN=postgresql+psycopg2://airflow</em
浏览 4提问于2020-01-04得票数 9
我使用Apache Airflow，我希望它在sla未命中时给我发一封电子邮件。这是我的配置from datetime import datetime, timedelta 'owner': 'airflow'
,
浏览 20提问于2018-08-20得票数 0
回答已采纳
4回答
我正在寻找资源来更改气流服务的日志路径，如Webserver和Scheduler。我不时地耗尽空间，所以我想把日志移动到一个更大的装载空间。airflow-scheduler.log
浏览 0提问于2018-11-29得票数 1
最重要的是，它似乎也没有正确加载。我只能单击列表右侧的Refresh按钮几次，然后切换列表左侧的on/off按钮才能安排DAG。
浏览 1提问于2017-01-10得票数 51
2回答
在google环境中，有选项卡监控，它包含环境概述部分，第一个度量标准是环境健康。环境健康--显示编写器部署的运行状态的时间线。绿色状态并不意味着所有气流部件都可以运行，DAG也可以运行--它只反映了作曲家部署的状态。
浏览 0提问于2021-04-02得票数 2
回答已采纳
2回答
我在EC2上运行Airflow 2.0.1，并启用了s3日志。我想禁用在本地(EC2)服务器中创建的日志。 该怎么做呢？
浏览 21提问于2021-06-22得票数 0
回答已采纳
我正在尝试使用docker在我的windows机器上运行airflow。这是我从官方文档- https://airflow.apache.org/docs/apache-airflow/2.0.1/start/docker.html获得的链接。db\', \'upgrade\']"}'}] 从日志中可以清楚地看出，日志表不存在，airflow正试图插入其中。我使用的是在
浏览 89提问于2021-07-03得票数 0
每个任务在Airflow中都是相同的代码，并以相同的方式放入结构中。我有一个这样的任务，在随机的日子里，它不能“开始”-它不会进入running阶段。它就像queued一样。当它这样做的时候，它的日志是这样写的 *** Log file isn't local.
*** Fetching here: http://:8793/log/my.dag.name.Could not read logs from s3://mybucket/airflow/l
浏览 200提问于2020-03-25得票数 0
回答已采纳
1回答
气流芹菜作业卡在运行状态
、、、
所有airflow计划作业都将进入running状态，但它们永远不会运行。我在rabbitmq日志或airflow日志中没有看到任何错误。任何帮助我们都将不胜感激broker_url = amqp://guest:guest@127.0.0.1/airflow
celery_result_backend= db+postgresql://airflow:airflow@127.0.0.1
浏览 3提问于2018-09-12得票数 0
2回答
dags、日志、插件和postgresql db位于所有主机都可以看到的共享驱动器上。 AIRFLOW__CELERY__BROKER_URL: rediscelery@$${HOSTNAME}"' time
浏览 19提问于2021-06-30得票数 7
回答已采纳
我已经开始使用KubernetesExecutor，并使用AWS设置了一个PV/PVC来为我的dags存储日志。我还使用s3远程日志记录。
在一个守护程序完成后，所有的日志记录都非常正常。但是，当我cat日志文件时，只要执行器仍在运行，我就不会看到日志。但是，执行程序完成后，我可以在cat文件和气流UI中看到完整的日志。奇怪的是，在运行过程中，当我执行到executor pod中，并且在共享EFS中执行完全相同的日志文件时，我能够在作业的那个点之前看到正确的<
浏览 3提问于2021-01-28得票数 1
3回答
我尝试了气流教程DAG，它与调度器一起工作，我可以看到由计划运行生成的日志。但是，如果我使用命令行测试，我没有看到输出：[2018-09-10 15:41:43,121] {__init09-10 15:41:43,281] {models.py:258} INFO - Filling up the DagBag from /Users/xiang/Documents/BigData/airflow</e
浏览 1提问于2018-09-10得票数 3
回答已采纳
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
