在Google Cloud Composer中浏览DAG任务信息时，Airflow抛出与时区相关的TypeError
。这个错误通常是由于时区设置不正确导致的。Airflow使用的是UTC时间，而Google Cloud Composer默认使用的是美国太平洋时间（PST/PDT）。当在Composer中查看DAG任务信息时，如果时区设置不正确，就会出现与时区相关的TypeError。
为了解决这个问题，可以按照以下步骤进行操作：
- 打开Google Cloud Console（https://console.cloud.google.com）并登录到您的帐户。
- 导航到Google Cloud Composer的页面。
- 选择您的Composer环境，并点击编辑按钮。
- 在编辑环境页面中，找到“Airflow配置”部分。
- 在“Airflow配置”部分中，找到并点击“编辑”按钮。
- 在“编辑Airflow配置”页面中，找到并点击“添加变量”按钮。
- 在“变量键”字段中输入“TZ”（不包含引号）。
- 在“变量值”字段中输入您所在的时区。例如，如果您在中国，可以输入“Asia/Shanghai”。
- 点击“保存”按钮保存配置更改。
- 等待一段时间，让配置更改生效。
通过以上步骤，您已经成功将时区设置为正确的值。现在，您可以重新浏览DAG任务信息，应该不再出现与时区相关的TypeError错误。
Google Cloud Composer是一个基于Apache Airflow的托管式工作流编排服务，用于创建、调度和监控工作流。它提供了一个直观的用户界面，使用户能够轻松地创建和管理DAG（有向无环图）任务。通过使用Google Cloud Composer，用户可以快速构建复杂的数据管道和工作流，以实现数据处理、ETL（抽取、转换和加载）、机器学习和其他自动化任务。
推荐的腾讯云相关产品：腾讯云容器服务（Tencent Kubernetes Engine，TKE）。腾讯云容器服务是一种高度可扩展的容器管理服务，可帮助用户轻松部署、管理和扩展应用程序容器。它提供了强大的容器编排和调度功能，支持自动扩展和负载均衡，并提供了可靠的安全性和高可用性。您可以通过以下链接了解更多关于腾讯云容器服务的信息：https://cloud.tencent.com/product/tke
相关·内容
我正在使用Google Cloud Composer运行一个Airflow DAG，它具有以下定义： with airflow.DAG(
'build_daily_rollups',DAG进入"running“状态，然后什么也没有发生-没有任何任务被调度，甚至没有任务排队，并且DAG中每个任务的状态都保持为n
浏览 4提问于2019-05-11得票数 1
回答已采纳
我正在尝试挂载dags文件夹，以便能够在Aiflow上的KubernetesPodOperator中运行python脚本，但我不知道怎么做。在生产中，我想在谷歌作曲家。这是我的任务： task_id='pod-ex-minimum', VolumeMount("my-volume",
浏览 4提问于2021-10-12得票数 1
我正在尝试通过Google Cloud Composer和KubernetesPodOperator在一个环境中运行一个Airflow任务，该环境是从一个私有的Google Container RegistryContainer Registry和Cloud Composer实例在同一个项目下，一切工作正常，直到我更新了DAG引用的镜像。当我更新Container
浏览 21提问于2020-10-09得票数 0
我正在尝试通过Google Cloud Composer的KubernetesPodOperator在从私有Google Container Registry中的图像构建的环境中运行任务。Container Registry和Cloud Composer实例在同一个项目下。我的代码如下。，并且我在Airflow
浏览 0提问于2020-09-21得票数 0
1回答
作曲家版本作曲家-2.0.25-气流-2.2.5
“来自服务器的错误(禁止)：事件被禁止:用户"xxxxx.iam.gserviceaccount.com‘不能在API组”2-2-5-11111111“中列出资源" events”：GKEAutopilot authz:在启用策略执行之前发送请求“时间戳：'2022-10-07T15:48:08.834865950Z”编写器
浏览 7提问于2022-10-07得票数 0
1回答
我将开始研究从CSV和数据湖中获取到BigQuery的GCP数据，我正在寻求您的建议，我可以使用哪些技术或架构。
我是GCP的新手，但我对数据工程技术有很好的理解，因为我正在为认证做准备。我尝试使用转换成管道的数据流简单地加载BigQuery，然后调度器在特定的时间运行管道。我遇到的问题是如何将已处理的CSV文件移动到其他桶中？我可以调用函数来移动文件吗？您所提供的任何建议或文件都
浏览 4提问于2022-10-21得票数 1
我已经制作了一个DAG，它通过安装在MySQL上的Cloud SQL代理连接到Cloud SQL (SQL)。它读取表的列表并基于这些表生成多个任务。我已经成功地在本地计算机上的Airflow中运行了此DAG，但一旦我尝试将其部署为Cloud Composer实例，DAG似乎无法正确加载到Airflow Web UI中<
浏览 21提问于2019-09-21得票数 2
回答已采纳
运行几天后，Google Cloud Composer web UI无限期地返回502服务器错误：The server encountered a temporary修复它的唯一方法是重新创建Composer环境。不过，在运行了几天之后，新的环境崩溃了，并出现了相同的错误。Image version: composer-1.4.0-airflow-1.10.0
Python version:
浏览 3提问于2018-12-16得票数 4
3回答
Composer由于无法读取日志文件而导致任务失败，它抱怨编码不正确。以下是显示在UI中的日志：
*** Unable to read remote log from gs://bucket/logs/campaign_exceptions_0_0_1/merge_campaign_exceptions0x7f1c9ff19d10>: Failed to establish a new connection: [Errno -2] Name or s
浏览 28提问于2019-08-06得票数 4
回答已采纳
1回答
我使用的是气流和Composer，由于我对气流调度器(它是慢的或停止的)有一些问题，版本:composer-1.10.4-气流-1.10.6
我推出了一个“巨大”的收集(因为我有时会需要它)与气流测试我的管道的可伸缩性其结果是，我的调度程序显然只调度很少任务的DAG，而大型DAG的任务没有被调度。你对此有什么见
浏览 5提问于2020-06-11得票数 1
我电脑上的代码运行得很好，但是当我把它放在DAG中运行时，它就不能工作了。我使用GCP和composer。其他任务在相同的云存储上工作得很好。编写者拥有所需的所有权限。def get_results(): df = pandas.read_csv('gs://y/x.csv')
浏览 1提问于2019-06-06得票数 1
1回答
我正在尝试创建一个DAG，它基于存储中的JSON文件动态地生成任务。我一步一步地遵循这个指南：
是否可以读取外部文件并使用它在Composer中动态创建任务？我需要从外部文件中读取，因为JSON的内容在每次执行时都会发生变化。
我正在使用composer-1.8.2-airflow-1.10.2。我读到了一个类似问题<em
浏览 1提问于2020-01-10得票数 1
1回答
我试图在Pub/Sub中发布一条消息，但我得到了以下错误：Traceback (most recent call last)
File "/usr/local/lib/airflow/airflow/gcs/
浏览 1提问于2021-08-30得票数 0
回答已采纳
我计划使用Google Cloud Composer (Apache Airflow)来管理我们的数据管道。某些处理步骤是在Docker镜像中定义的，我希望触发该镜像以在Google Kubernetes引擎上运行。这些处理步骤通常是资源密集型作业，我想知道调度它们的最佳方法是什么。然而，据我所知，此工作负载将在现有的Cloud Composer Kubernet
浏览 6提问于2019-08-21得票数 1
回答已采纳
2回答
在google环境中，有选项卡监控，它包含环境概述部分，第一个度量标准是环境健康。环境健康--显示编写器部署的运行状态的时间线。绿色状态并不意味着所有气流部件都可以运行，DAG也可以运行--它只反映了作曲家部署的状态。
但不确定环境有什么问题，以及当它发生时如何修复它。即使我的环境健康显示不健康，所有其他指标都是健康的
浏览 0提问于2021-04-02得票数 2
回答已采纳
我的任务是通过造纸厂操作员自动安排一些每天运行在AI平台笔记本上的笔记本的日程安排，但实际上通过Cloud Composer来做这件事给我带来了一些麻烦。 如有任何帮助，我们将不胜感激！
浏览 53提问于2020-01-30得票数 3
回答已采纳
我有启用VPN连接，Google (PostgreSQL)数据库实例具有相同的VPN连接和SSL启用。云SQL既有公共IP地址，也有私有IP地址。公共IP i用于从外部连接数据库，如PgAdmin客户端工具，以及用于内部连接的私有IP (如数据流)。现在我想连接这个来自Composer的CloudSQL。使用PostgresOperator连接Cloud数据库。在气流->连接部分创建与Puplic作为端口的单独连接。由于此Clo
浏览 6提问于2019-09-17得票数 4
1回答
为Composer区分了两种日志：
气流日志：这些日志与单个DAG任务相关联。您可以在与Composer环境关联的文件夹中查看任务日志。您还可以在气流网络界面中查看日志。
流日志：这些日志是气流中日志的超集。要访问流日志，可以转到Google控制台中的Env
浏览 7提问于2022-01-12得票数 2
我一直在尝试在Airflow中使用PubSubPullSensor来拉取JSON消息并将其摄取到bigquery中，当消息大小超过阈值时，传感器无法通过XCOM拉取消息并推送。
浏览 3提问于2020-05-12得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
