我已经创建了一个从PubSub主题解析单个JSON的光束数据流管道： { "options": { "test_test_unit": "test2",
浏览 18提问于2019-04-18得票数 1
回答已采纳
我正在尝试使用数据流、发布/订阅和BigQuery来创建和导出合成数据流。(1,50)}}
} 该架构位于文件gs://my-folder/my-schema.json中。流似乎运行正常-我可以使用“导出到云存储”模板从相应的发布/订阅主题导出到GCS存储桶。当我尝试使用“导出到BigQu
浏览 2提问于2020-10-27得票数 2
回答已采纳
我正在寻找一种方法，使谷歌DataFlow作业停止摄取从发布/订阅时，一个(特定的)异常发生。来自发布/订阅的事件是使用TableRowJsonCoder通过PubsubIO.Read.Bound<TableRow>读取的JSON，并使用BigQueryIO.Write.Bound直接流式传输到相反，我想要做的是停止接收来自发布/订阅的消息和/或使
浏览 5提问于2017-06-10得票数 5
回答已采纳
我正在使用GCP处理和存储从模拟IoT设备发送的数据。数据(应该)在以下路径中流动： 带有mqtt客户端的模拟IoT设备-> IoT核心设备-> IoT核心注册表->发布/订阅主题->发布/订阅订阅->云数据流发布/订阅订阅BigQuery模板-> BigQuery当数据流
浏览 21提问于2021-10-01得票数 0
回答已采纳
我可以看到三种不同的方法：
将每个事件发布到API中的Pub/Sub主题，但是不要
浏览 7提问于2018-01-11得票数 21
我希望使用Dataflow将事件从PubSub流流到BigQuery。我看到在GCP中有两个模板可以实现这一点:一个是Dataflow从主题中读取消息，另一个是订阅。在这里使用订阅的好处是什么，而不仅仅是使用主题中的事件？
浏览 0提问于2019-05-24得票数 2
回答已采纳
我能够创建一个数据流管道，它从发布/订阅读取数据，并在处理后以流模式写入大型查询。 windowed_items.apply("Read and make event table row", new
浏览 3提问于2018-06-14得票数 2
我们将protobuf与GCP的pubsub和dataflow一起使用。我们使用单个proto文件定义发送到pubsub的数据以及bigquery模式。发布者-(发送原型) ->发布订阅->数据流-(写入)-> bigquery
有时dataflow会做一些表面上的更改，但它主要是将字段从protobuf复制到bigquery。我的问题是，有没有
浏览 1提问于2020-11-19得票数 2
问题陈述是我们正在自定义PubSubToBQ提供的PubSubToBQ数据流java模板，在该模板中我们将配置多个订阅/主题来读取数据并将数据推送到多个Bigquery表中，这需要作为单个数据流管道执行，以从源读取所有流并推入Bigquery表。但是，当我们从eclipse执行模板时，我们必须在gcs桶上传递订阅/主题和烧烤细节，然后使用具有不同订阅和<
浏览 0提问于2019-07-16得票数 0
我正在做一个项目，其中一个名为Eyedro的设备可以感知电压和电流等信息，并将其上传到已经设置好的云功能。这个设备有自己的接口来读取生成的数据，我有它用来做这件事的代码。我需要帮助使用代码获取生成的数据，并将其发送到云上。我是一个初学者，我不知道如何去解决这个问题，所以任何类型的方向都将非常感谢。下面是用于获取数据并将其打印到HTML表上的代码。if (this.readyState==4){ var json</em
浏览 1提问于2021-02-22得票数 0
2回答
我正在使用Cloud Dataflow streaming管道将从发布/订阅接收的事件插入到BigQuery数据集中。我需要几个，以保持每个工作简单，易于维护。我希望在收到新消息之前，数据流的比例为0 worker。但是看起来最小工人数是1。(月度使用不打折)
我计划每天通过api运行和</
浏览 0提问于2018-09-12得票数 4
我想使用pubsub将数据插入到bigquery表中。数据已经处理过了，所以我不需要数据流。我该怎么做呢？提前感谢
浏览 0提问于2018-07-03得票数 2
1回答
我关注的是通过GCD发布/订阅的物联网实时流处理，云数据流和通过BigQuery.I执行分析。我正在寻求如何实现这一点的帮助。
浏览 2提问于2017-06-15得票数 1
我希望将数据流到BigQuery中，并且我正在考虑使用PubSub + Cloud函数，因为不需要进行转换(至少目前是这样)，而且使用云数据流似乎有点过分，只需将行插入到表中即可。我是对的？我的问题是：
我是否需要将其作为json/ BigQuery (所有值都是字符串)推入到json/字典中，还是必须使用表的数据类型？( b)使用BQ.ins
浏览 10提问于2020-12-05得票数 1
回答已采纳
我们需要将一个json文件上传到云存储桶中，然后我们需要编写一个云函数来将json文件数据加载到bigquery表中。
浏览 0提问于2020-03-04得票数 0
2回答
我正在使用云数据流将数据从发布/订阅消息导入到BigQuery表中。我使用DynamicDestinations，因为这些消息可以放入不同的表中。我最近注意到，该进程开始消耗所有资源，并显示以下消息：
Processing stuck in step Write Avros to BigQuery Table/StreamingInserts/StreamingWriteTables(S
浏览 4提问于2019-02-16得票数 4
我一直在尝试在Airflow中使用PubSubPullSensor来拉取JSON消息并将其摄取到bigquery中，当消息大小超过阈值时，传感器无法通过XCOM拉取消息并推送。
浏览 3提问于2020-05-12得票数 0
1回答
我正在尝试使用云函数作为由PubSub触发的异步后台工作程序，并进行更长时间的工作(以分钟为单位)。完整的代码在这里有人强调，PubSub可以多次传递相同的消息，但令我惊讶的是，100条消息中有10到40条是重复的。CF的响应时间分别为5、6、7分钟。对于4分钟的响应，我没有注意到重复。
我已经为相同的时间间隔做了多次测试。接收第一条消息<
浏览 0提问于2019-05-18得票数 2
根据这里的文档：，BigQuery应该可以根据数据创建表。
InsertAllResponse response = bigQuery
.insertAll(InsertAllResponse resp
浏览 1提问于2018-09-25得票数 0
目前，抓取数据并将其转储到cloudSQL postgres数据库中。这些数据呈指数增长，我需要一种高效的方法来执行查询。数据库以~3GB/天的速度增长，我希望将数据保存至少3个月。因此，我把我的CloudSQL连接到BigQuery ..。下面是我在BigQuery上运行的一个查询示例，但我对此表示怀疑。不确定查询是在Postgres还是BigQuery中执行的。created_at) d, variable1, AVG(variable2) FROM my_table GROUP BY 1,2 ORDER B
浏览 1提问于2020-06-03得票数 1
回答已采纳
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
