我有一个从PubSub主题读取事件数据的数据流管道。当收到消息时,我执行一个转换步骤,将事件数据与我想要的BigQuery模式相匹配。但是,如果创建的输入不符合模式,则会遇到问题。显然,它被无限重试着写到BigQuery:
Count: 76 RuntimeError: Could not successfully insert rows to BigQuery table
目前,我正在进行大量手动检查,以确保输入是否符合模式,但是,在没有考虑到的情况下,我会积累RuntimeErrors。有没有一种方法可以尝试写到BigQuery,如果这样做失败了,用原始的输入做其他的事情?或者,是否有
我正在尝试使用下面的查询使用临时表更新表中的多条记录,但不起作用。请告诉我更新多条记录的正确方法。
UPDATE sarufoo
SET sarufoo.mobile = (SELECT mobile_no FROM logan)
WHERE sarufoo.homep IN (SELECT homep FROM logan);