腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
从
发布
订阅
用
BigQuery
编写
查询
google-bigquery
、
google-cloud-functions
、
google-cloud-pubsub
我正在接收包含PubSub主题中数据的消息,我需要在
BigQuery
中插入
从
消息中获得的数据,并使用后台云函数(
发布
/
订阅
)进行
查询
…… 我设法做到的是: /** const
bigquery
= new
BigQuery
(); async function query()中<e
浏览 6
提问于2021-01-11
得票数 0
回答已采纳
1
回答
为什么使用Gcloud Pub/Sub?
design-patterns
、
google-bigquery
、
gcloud
、
google-cloud-pubsub
为什么使用
发布
/
订阅
?Usecase:有一个http触发的"Cloud function“,在这个函数上发送一些数据。此函数在处理数据后,将数据
发布
到
发布
/
订阅
主题。然后还有另一个Cloud函数,它是基于
发布
到该
发布
/
订阅
主题而触发的。因此,这个云函数
从
发布
/
订阅
中获取已
发布
的数据,并将其插入到
BigQuery
表中
浏览 7
提问于2021-04-09
得票数 1
回答已采纳
1
回答
从
PubSub到Java API的扫雪机数据处理
java
、
snowplow
docs.snowplowanalytics.com/docs/getting-started-on-snowplow-open-source/setup-snowplow-on-gcp/setup-
bigquery
-destination/)将数据
从
发布
/
订阅
使用到
BigQuery
,但我希望直接使用
从
发布
/
订阅
到Java API的数据。有没有其他更好的方法将数据
从
浏览 20
提问于2021-05-07
得票数 0
回答已采纳
1
回答
我应该使用pub/sub吗
google-cloud-platform
我正在尝试
编写
一个使用GCP服务的摄取应用程序。每天可能有大约1TB的数据以流的方式到来(即每小时100 TB,甚至在特定时间一次)。我正在尝试设计一个摄取应用程序,我首先认为在cron作业中
编写
一个简单的Python脚本来顺序读取文件(甚至在两个三线程中),然后将它们作为消息
发布
到pub/sub是一个好主意。此外,我需要有一个数据流作业运行,始终
从
发布
/
订阅
读取数据,并将它们保存到
BigQuery
。但是我真的想知道在这里我是否需要
发布</e
浏览 4
提问于2019-02-15
得票数 1
1
回答
数据流模板Cloud /Sub主题与
BigQuery
订阅
google-cloud-platform
、
google-cloud-dataflow
、
google-cloud-pubsub
我有一个PubSub主题greetingconst escapeHtml = require('escape-html');}; 这是一个伟大的工作,我认为它注册为
订阅
的主题现在我想发送使用数据流将数据发送到
BigQuer
浏览 0
提问于2019-05-16
得票数 7
1
回答
VCP Google Cloud Platform的数据流
发布
/
订阅
主题到
BigQuery
,而不是
从
订阅
中提取数据
google-cloud-platform
、
google-bigquery
、
google-cloud-dataflow
、
google-cloud-pubsub
、
private-cloud
我正在使用GCP处理和存储
从
模拟IoT设备发送的数据。数据(应该)在以下路径中流动: 带有mqtt客户端的模拟IoT设备-> IoT核心设备-> IoT核心注册表->
发布
/
订阅
主题->
发布
/
订阅
订阅
->云数据流
发布
/
订阅
订阅
BigQuery
模板->
BigQuery
它不会
从
订阅
中提取数据,也不会输出
浏览 21
提问于2021-10-01
得票数 0
回答已采纳
2
回答
Dataflow应该使用Pub/Sub主题或
订阅
中的事件吗?
google-cloud-platform
、
google-bigquery
、
google-cloud-pubsub
、
dataflow
我希望使用Dataflow将事件
从
PubSub流流到
BigQuery
。我看到在GCP中有两个模板可以实现这一点:一个是Dataflow
从
主题中读取消息,另一个是
订阅
。在这里使用
订阅
的好处是什么,而不仅仅是使用主题中的事件?
浏览 0
提问于2019-05-24
得票数 2
回答已采纳
2
回答
云SQL到
BigQuery
的增量
google-cloud-platform
、
google-bigquery
、
google-cloud-dataflow
、
google-cloud-sql
、
dataflow
我需要一些建议,其中一个
用
例我正在工作。我们在Cloud中有大约5-10个表,一些表被视为查找表,而另一些表则是事务性表。我们需要以一种使3-4表(扁平的、嵌套的或非规范化的)从这些表中得到
BigQuery
,这些表将用于Data、Looker等中的报告。数据应该进行增量处理,Cloud中的更改可以每5分钟发生一次,这意味着数据应该在几乎实时的情况下提供给
BigQuery
报告。如果可能的话,我们也应该保持数据变化的历史。解决方案: 我们在
BigQuery
中保留了3层,因此Cloud中的数据进入第一
浏览 4
提问于2020-01-28
得票数 4
1
回答
云数据流、PubSub和
Bigquery
问题
java
、
google-bigquery
、
google-cloud-dataflow
、
publish-subscribe
、
google-cloud-pubsub
我想使用Cloud Dataflow、PubSub和
Bigquery
将tableRow写入
发布
订阅
消息,然后将它们写入
Bigquery
。我希望表名、项目id和数据集id是动态的。
浏览 0
提问于2018-07-15
得票数 0
1
回答
BigQuery
计划Pub/Sub通知错误
google-bigquery
、
notifications
、
google-cloud-pubsub
我正在尝试着安排一个
查询
,通过
发布
/
订阅
通知,
从
BQ控制台进行
查询
。
BigQuery
UserMonitoring Metric Writer错误是"User not
浏览 2
提问于2021-10-26
得票数 1
回答已采纳
1
回答
如何跟踪
从
Google
BigQuery
发布
到Pub/Sub的行?
google-cloud-platform
、
google-bigquery
、
database-migration
、
google-cloud-pubsub
我正在使用cron作业
编写
从
google (googles SQL datawarehouse)到mysql的数据。我们使用google /sub作为中介(
从
bigquery
读取,
发布
到pub/Sub,然后
从
pub/Sub
订阅
,然后写到mysql(在cloudsql上))。我们在
bigquery
表的每一行上放置一个published_flag布尔值,以表示某一行何时已成功
发布
。这方面的问题是,
bi
浏览 1
提问于2018-04-10
得票数 0
回答已采纳
1
回答
使用Javascript将传感器生成的数据推送到Google Cloud Function
javascript
、
html
、
node.js
、
google-cloud-platform
、
iot
我正在做一个项目,其中一个名为Eyedro的设备可以感知电压和电流等信息,并将其上传到已经设置好的云功能。这个设备有自己的接口来读取生成的数据,我有它用来做这件事的代码。我需要帮助使用代码获取生成的数据,并将其发送到云上。我是一个初学者,我不知道如何去解决这个问题,所以任何类型的方向都将非常感谢。下面是用于获取数据并将其打印到HTML表上的代码。 var data=[[1,2,3,4,5],[1,2,3,4,5]]; var WattageSum=0;
浏览 1
提问于2021-02-22
得票数 0
1
回答
有没有办法
从
BigQuery
SDK / API获取实时数据?
google-bigquery
我在做一个项目,在这个项目中我遇到了一个问题,我想从
BigQuery
数据集中获取实时数据,所以我努力研究了解web套接字,如pusher和laravel-websocket,我还对它们进行了测试 但是有一件事我不明白,如果我把Laravel SDK和我的
BigQuery
项目连接起来,我没有发现
BigQuery
提供给我们的任何事件或方法,因为在我的场景中,大多数数据来自IoT设备,而设备使用bigQueryAPI来提供数据然后,我发现有一种方法可以将
BigQuery
dataset与firebase连接起来,然后每当数据集中
浏览 20
提问于2021-07-07
得票数 0
3
回答
MongoDB到
BigQuery
mongodb
、
google-bigquery
将数据
从
托管在mlab中的MongoDB导出到google
bigquery
的最佳方式是什么?最初,我尝试
从
MongoDB到
bigquery
的一次性加载,后来我考虑使用
发布
/
订阅
实时数据流到
BigQuery
。 我需要帮助第一次
从
mongodb加载到
bigquery
。
浏览 0
提问于2017-02-11
得票数 14
回答已采纳
1
回答
BigQuery
联合
查询
--对云SQL性能的影响
google-bigquery
、
google-cloud-sql
当涉及到联邦
查询
对Cloud SQL (MySQL)数据库的影响时,我很难找到关于
BigQuery
中联邦
查询
的内部工作原理的文档。 我见过here说联邦
查询
是只读的,这没有问题。我的问题是:联邦
查询
是否与使用MySQL工作台等管理工具时对数据库的常规
查询
一样,或者联邦
查询
是否有其他机制可用于读取底层表,而不会影响数据库的正常性能?例如,如果通过LOCK TABLE语句/事务锁定了一个表/行,然后触发了一个联邦
查询
,那么联邦
查
浏览 14
提问于2021-01-26
得票数 3
1
回答
Bigquery
中的电子邮件触发器
google-bigquery
我需要在
bigquery
中的任何表更改时触发电子邮件通知。我想在谷歌工作表中复制该表,并将其与该表的email.There计划
查询
,这是运行在每天下午5点。仅当表发生更改时才会触发。
浏览 1
提问于2020-05-05
得票数 0
2
回答
发布
/
订阅
csv数据到数据流到
BigQuery
google-cloud-platform
、
google-bigquery
、
google-cloud-dataflow
、
apache-beam
、
google-cloud-pubsub
我的渠道是IoTCore ->
发布
/
订阅
->数据流->
BigQuery
。最初,我得到的数据是Json格式的,管道工作正常。有没有一种简单的方法通过数据流将csv数据
从
发布
/
订阅
传输到
bigquery
。模板可能可以更改,但它是
用
Java实现的,我从未用过Java,所以实现起来需要很长时间。我也考虑过
用
python实现一个完整的自定义模板,但那会花费太长的时间。
浏览 27
提问于2021-01-03
得票数 0
回答已采纳
1
回答
使用GCP数据流PubSub to
BigQuery
模板时的表列名称问题
google-cloud-platform
、
google-bigquery
、
google-cloud-messaging
、
google-cloud-dataflow
背景:
发布
/
订阅
消息中的一些字段名包含破折号(-),我无法控制这些破折号,并且数据流模板似乎期望在目标
BigQuery
表中使用完全相同的字段名。reason" : "invalid"
浏览 0
提问于2019-08-01
得票数 0
3
回答
通过Google /Sub+ Dataflow直接流到
BigQuery
的利弊
google-bigquery
、
google-cloud-dataflow
、
google-cloud-pubsub
我可以看到三种不同的方法: 将每个事件
发布
到API中的Pub/Sub主题,但是不要使用Dataflow,而是使用一个定制的工作进程,它一方面
订阅
Pub/Sub主题
浏览 7
提问于2018-01-11
得票数 21
2
回答
从
Google Cloud中的网站自动导入数据
python
、
google-cloud-platform
、
google-bigquery
我正在尝试找到一种方法,使用这个链接自动更新一个大型
查询
表: 这个链接每周都会更新新的数据,我希望能够用这个新数据替换大
查询
表。
浏览 0
提问于2019-12-25
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
BigQuery提供脚本存储程序,可在单一请求执行多个陈述式
什么数据库最适合数据分析师?
分析GitHub:最流行的许可证是什么?
Google Cloud 发布 COVID-19 数据集,可构建 AI 模型来对抗疫情
谷歌BigQuery ML正式上岗,只会用SQL也能玩转机器学习!
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券