腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9256)
视频
沙龙
1
回答
使用
Python
将
发布
/
订阅
消息
加
载到
BigQuery
python
、
google-bigquery
、
google-cloud-pubsub
、
pypubsub
、
pybigquery
我正在尝试
使用
python
拉取
发布
/
订阅
消息
并将
消息
加
载到
BigQuery
。我可以拉出
消息
,但我无法将其加
载到
BigQuery
。下面是一个编写代码示例。您知道如何
使用
python
将此
消息
加
载到
BigQuery
中吗?317508-98e5b51ebde7.json" # TODO(devel
浏览 28
提问于2021-08-02
得票数 0
1
回答
如何
将
流xml加
载到
BigQuery
中的指南
xml
、
google-bigquery
如果有人能在这里提供帮助,我将不胜感激,我们刚刚开始研究GCP,需要一个健壮且简单的模式来
将
发布
在云
发布
/
订阅
上的xml格式的事务数据加
载到
一个日期分区的
BigQuery
表中,以便在AirFlow编排的复杂下游批处理中
使用
为了在摄取端允许模式漂移,一种选择是
将
xml转换为json,并将json存储为字符串,并在顶部
使用
json函数提取字段以进行下游处理,这种方法的优缺点是什么?在我们的例子中,一个优点是在xml中有很多(30
浏览 22
提问于2020-06-29
得票数 0
2
回答
从Google Cloud中的网站自动导入数据
python
、
google-cloud-platform
、
google-bigquery
我正在尝试找到一种方法,
使用
这个链接自动更新一个大型查询表:我该如何提交一个脚本来导入数据并将这些数据提供给Big Query呢?
浏览 0
提问于2019-12-25
得票数 0
1
回答
从电子邮件中的超链接获取CSV到Google可能存储
google-cloud-platform
每天我都会收到一封电子邮件,里面有一个链接,然后触发一个CSV文件的下载,我需要下
载到
Google Cloud存储中,以便最终包含在
BigQuery
表中。
浏览 1
提问于2019-03-01
得票数 2
2
回答
Dataflow应该
使用
Pub/Sub主题或
订阅
中的事件吗?
google-cloud-platform
、
google-bigquery
、
google-cloud-pubsub
、
dataflow
我希望
使用
Dataflow
将
事件从PubSub流流到
BigQuery
。我看到在GCP中有两个模板可以实现这一点:一个是Dataflow从主题中读取
消息
,另一个是
订阅
。在这里
使用
订阅
的好处是什么,而不仅仅是
使用
主题中的事件?
浏览 0
提问于2019-05-24
得票数 2
回答已采纳
3
回答
MongoDB到
BigQuery
mongodb
、
google-bigquery
将
数据从托管在mlab中的MongoDB导出到google
bigquery
的最佳方式是什么?最初,我尝试从MongoDB到
bigquery
的一次性加载,后来我考虑
使用
发布
/
订阅
实时数据流到
BigQuery
。 我需要帮助第一次从mongodb加
载到
bigquery
。
浏览 0
提问于2017-02-11
得票数 14
回答已采纳
1
回答
Google
BigQuery
:行的最后修改日期时间
google-bigquery
、
google-cloud-dataflow
我正在尝试测量数据流管道的持续时间,数据流管道从
发布
/
订阅
中提取
消息
并将其加
载到
BigQuery
表中。我找不到如何在
BigQuery
表中获取行的最后修改时间,尽管有表的最后修改日期时间。谁知道如何将上次修改的日期时间设置为
BigQuery
表的行?
浏览 2
提问于2018-11-07
得票数 0
1
回答
将
raspberryPi数据发送到google云存储中
raspberry-pi
、
google-cloud-storage
我的目标是定期
将
这些CSV文件发送到GCS (实时或每15分钟)。然后,我将
使用
google函数
将
数据从GCS发送到
BigQuery
。raspberry pi在网络中注册(我不确定它如何帮助) 我的问题:如何
将
连接到raspberry Pi的CSV文件发送到Google云存储桶中?
浏览 6
提问于2022-10-18
得票数 0
1
回答
数据流模板Cloud /Sub主题与
BigQuery
订阅
google-cloud-platform
、
google-cloud-dataflow
、
google-cloud-pubsub
我有一个PubSub主题greetingconst escapeHtml = require('escape-html');}; 这是一个伟大的工作,我认为它注册为
订阅
的主题现在我想发送
使用
数据
浏览 0
提问于2019-05-16
得票数 7
1
回答
数据流-
将
avro对象存储到未知的GCS文件夹
google-bigquery
、
google-cloud-storage
、
google-cloud-dataflow
、
avro
、
google-cloud-pubsub
我有一个DataFlow管道,它
使用
来自云
发布
/
订阅
的JSON
消息
,将它们转换为Avro,并将它们存储到Google Cloud Storage。有没有办法让DataFlow根据某个JSON字段
将
每个Avro对象存储到GCS中的不同文件夹中,如果它的值实际上可以是任何值的话?此文件夹结构的目标是通过云函数
使用
PubSub通知,
将
每个结果文件加
载到
不同的
BigQuery
表中。
浏览 17
提问于2020-02-20
得票数 0
1
回答
处理流经
发布
订阅
到
Bigquery
的记录的unique_id和时间戳特性
python-3.6
、
google-cloud-pubsub
我正在尝试构建一个流/批处理管道,它从
发布
/
订阅
中读取事件,并
使用
python
3.6将它们写入
BigQuery
根据文档,云
发布
/
订阅
会为每条
消息
分配唯一的message_id和timestamp,用于检测
订阅
者收到的重复
消息
(https://cloud.google.com/pubsub/docs/faq) 要求如下: 1)
消息
浏览 13
提问于2019-10-16
得票数 0
3
回答
如何
使用
Node.js在云PubSub中控制确认
node.js
、
google-cloud-functions
、
google-cloud-pubsub
基本上我已经创建了一个云函数(写了一个Node.js代码),它将在云
发布
主题的
消息
上触发,并将数据加
载到
Bigquery
表中。我想控制发送给
发布
者的确认。怎么才能实现,没有找到相关的文档。
浏览 2
提问于2017-10-18
得票数 12
2
回答
从URL到
BigQuery
的GCP云函数与ETL数据流
google-bigquery
、
google-cloud-functions
、
etl
、
google-cloud-dataflow
、
google-cloud-pubsub
我正在
使用
下面的ETL管道
将
数据输入
BigQuery
。数据源是.csv & .xls文件,来自每日下午3点
发布
的网址云调度程序在下午3:05向云
发布
/子主题
发布
消息
Pub/Sub推送/触发
订阅
者-云函数在触发时,这些云函数(
python
)从URL下载文件,执行转换(清理、格式化、聚合和过滤)并将其上传到
BigQuery
。在GCP中是否有一种更干净的方法可以根据计划从URL下载文
浏览 4
提问于2022-07-27
得票数 1
2
回答
使用
云函数高效地
将
发布
/
订阅
消息
汇聚到
BigQuery
google-bigquery
、
google-cloud-functions
使用
云函数的推荐方法之一是
使用
发布
/
订阅
推送
订阅
来调用它们,以
将
发布
/
订阅
消息
写入
BigQuery
。我有非常小的
消息
,但我有很多
消息
。 const message = JSON.parse(Buffer.from(event.data, 'base6
浏览 0
提问于2021-10-17
得票数 0
1
回答
使用
GCP数据流PubSub to
BigQuery
模板时的表列名称问题
google-cloud-platform
、
google-bigquery
、
google-cloud-messaging
、
google-cloud-dataflow
背景:
发布
/
订阅
消息
中的一些字段名包含破折号(-),我无法控制这些破折号,并且数据流模板似乎期望在目标
BigQuery
表中
使用
完
浏览 0
提问于2019-08-01
得票数 0
1
回答
我应该
使用
pub/sub吗
google-cloud-platform
我正在尝试编写一个
使用
GCP服务的摄取应用程序。每天可能有大约1TB的数据以流的方式到来(即每小时100 TB,甚至在特定时间一次)。我正在尝试设计一个摄取应用程序,我首先认为在cron作业中编写一个简单的
Python
脚本来顺序读取文件(甚至在两个三线程中),然后将它们作为
消息
发布
到pub/sub是一个好主意。此外,我需要有一个数据流作业运行,始终从
发布
/
订阅
读取数据,并将它们保存到
BigQuery
。但是我真的想知道在这里我是否需要
发布</e
浏览 4
提问于2019-02-15
得票数 1
1
回答
我想通过pubsub批量处理文件到google云存储中
google-cloud-pubsub
我需要
使用
python
脚本通过pubsub
将
文件批处理/流式传输到google云存储中。我已经
使用
了下面的
python
文件,能够看到从topic
发布
到
订阅
的
消息
,现在我想将这些单独的
消息
上传到一个文件中,需要加
载到
云存储中。你能建议我们在哪里可以修改以下脚本中的代码,
将
消息
数据作为文件加
载到
云存储中(批量处理单个
消息
) 在path下面我
浏览 1
提问于2018-04-20
得票数 0
1
回答
bq命令
将
拼图文件从GCS加
载到
BigQuery
,列名以数字开头
google-bigquery
我
使用
bq命令
将
拼图文件加
载到
BigQuery
中,我的parquet文件包含以数字开头的列名(例如,00_abc、01_xyz)。由于
BigQuery
不支持列名开始编号,所以我已经在
BigQuery
中创建了列,如_00_abc、_01_xyz。但是,我无法
使用
bq命令
将
拼图文件加
载到
BigQuery
。是否有任何方式指定源列00_abc (从parquet文件)
将
加
载到
目标列_00_
浏览 15
提问于2022-05-13
得票数 2
1
回答
尝试拉取大于50KB的
消息
时,PubSubPullSensor失败
google-cloud-platform
、
airflow
、
google-cloud-pubsub
我一直在尝试在Airflow中
使用
PubSubPullSensor来拉取JSON
消息
并将其摄取到
bigquery
中,当
消息
大小超过阈值时,传感器无法通过XCOM拉取
消息
并推送。
浏览 3
提问于2020-05-12
得票数 0
1
回答
如何在很短的持续时间内处理突发的流数据
streaming
、
spark-streaming
、
google-cloud-dataflow
、
apache-beam
、
data-processing
我们想开发一个系统,可以处理突发的流数据,1M事件/秒,持续1分钟,然后负载
将
显着降低到100/秒。 这些1分钟的数据突发每天可能发生5-10次,我们需要聚合(简单分组)数据并将其转储到另一个服务。
浏览 1
提问于2020-10-14
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
谷歌推出Bigtable联邦查询,实现零ETL数据分析
分析GitHub:最流行的许可证是什么?
使用Java部署训练好的Keras深度学习模型
CDP中的Kafka概览
python玩玩kafka
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券