我使用的是与Kubernetes执行器一起的气流,并在本地进行测试(使用minikube),虽然我能够启动并运行它,但我似乎无法将我的日志存储在S3中。0x7fd00688a650>: Failed to establish a new connection: [Errno -2] Name or service not known'))
我实现了这个中提到的自定义日志类+psycopg2://postgres:airflow@airflow-postgresql:5432/<
我尝试了不同的方法来配置气流1.9来将日志写入s3,但是它只是忽略了它。我发现很多人在阅读日志之后都有问题,但是我的问题是日志仍然是本地的。我可以毫无问题地阅读它们,但它们不在指定的s3桶中。我尝试的是首先写入airflow.cfg文件
# Airflow can store logs remotely in AWS S3 or Google Cloud Storage.AIRFLOW__CORE__REMOTE_BASE_LOG_FOLDER=s3://bucket
我尝试了气流教程DAG,它与调度器一起工作,我可以看到由计划运行生成的日志。但是,如果我使用命令行测试,我没有看到输出:[2018-09-10 15:41:43,121] {__init09-10 15:41:43,281] {models.py:258} INFO - Filling up the DagBag from /Users/xiang/Documents/BigData/airflow</e