问通过apache气流检查文件是否存在于谷歌桶中？

EN

您可以使用中的GCSObjectExistenceSensor来验证文件在运行下游任务之前是否存在。

gcs_object_exists = GCSObjectExistenceSensor(
    bucket=BUCKET_1,
    object=PATH_TO_UPLOAD_FILE,
    mode='poke',
    task_id="gcs_object_exists_task",
)

您可以查看官方示例这里。请记住，此传感器是从BaseSensorOperator扩展而来的，因此您可以定义poke_interval、timeout和mode等参数，以满足您的需要。

• soft_fail (bool) -设置为true，将任务标记为在失败时跳过
• poke_interval (浮点)-作业应在每次尝试之间等待的时间(秒)
• 超时(浮动)-时间，以秒为单位的任务超时和失败。
• 模式(str) -传感器的工作方式。选项有：{ poke \调度}，默认值为poke。当设置为戳时，传感器占用整个执行时间的工作槽，并在戳之间睡觉。如果传感器的预期运行时较短或需要较短的戳间隔，则使用此模式。请注意，在此模式下，传感器将在传感器运行时期间保持工作槽和池槽。当设置为重新调度时，传感器任务在尚未满足标准时释放工作槽，并在稍后时间重新安排时间。如果满足标准之前的时间预计相当长，则使用此模式。插入间隔应超过一分钟，以防止调度程序负载过多。
• exponential_backoff (bool) -使用指数退避算法允许在戳点之间逐步延长等待时间

来源