我在从本地机器向我们的云平台提交Apache光束示例时遇到了问题。
但是当我尝试运行python wordcount示例时,我得到了以下错误:
IOError: Could not upload to GCS path gs://my_bucket/tmp: access denied.
Please verify that credentials are valid and that you have write access
to the specified path.
每当我使用"WriteToPubSub“时,我都会收到一个错误。下面的代码是我尝试调试这个问题的代码。我的实际代码是尝试从WriteToBigQuery的失败中获取数据,以便将其推送到死信发布订阅主题。但是当我尝试这样做的时候,我总是遇到下面的错误。我正在运行Apache Beam2.27,Python 3.8
import apache_beam as beam
from apache_beam.runners.interactive.interactive_runner import InteractiveRunner
from apache_beam.io.gcp.bigtabl
我正在使用GCP处理和存储从模拟IoT设备发送的数据。数据(应该)在以下路径中流动: 带有mqtt客户端的模拟IoT设备-> IoT核心设备-> IoT核心注册表->发布/订阅主题->发布/订阅订阅->云数据流发布/订阅订阅BigQuery模板-> BigQuery表 我所在的公司有一些GCP配置(它在VPC上),这需要我指定一个subnet for DataFlow to even run。当数据流在指定子网后运行时,它不会执行任何操作。它不会从订阅中提取数据,也不会输出任何错误消息。它显然没有意识到数据正被发送到主题和订阅。我还尝试了云数据流发布/订阅