腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
到
谷歌
云
bigQuery
表
的
Salesforce
数据流
google-cloud-platform
、
salesforce
、
streaming
我正在尝试做一个APEX触发器标注使用POST
到
谷歌
云
。我
的
问题是:每当触发发生时,我看到身份验证发生得很好,但只有来自Stackdriver日志
的
消息是“未定义
的
”,因此
云
函数将失败,因为消息应该是JSON格式
的
。不确定为什么会发生这种情况。我是
Salesforce
的
新手。请提供一些关于这方面的提示。如果我直接测试
云
函数(使用
云
函数内部
的
测试选项),我会像预期<
浏览 19
提问于2019-05-16
得票数 1
回答已采纳
1
回答
服务帐户执行批处理
数据流
作业
google-cloud-platform
、
google-cloud-dataflow
、
dataflow
、
dataflowtask
我需要使用服务帐户执行
数据流
作业,我遵循
的
是在同一平台中提供
的
一个非常简单和基本
的
示例字数。根据这一点,GCP需要拥有
数据流
工作者权限
的
服务帐户才能执行我
的
作业。即使我已经设置了所需
的
权限,当错误仍然出现时,weir部分就会出现: 有人能解释这种奇怪
的
行为吗?非常感谢
浏览 2
提问于2020-02-02
得票数 0
7
回答
将数据从导出到亚马逊S3
amazon-s3
、
google-bigquery
、
google-cloud-storage
我希望将数据从
BigQuery
中
的
表
传输到Redshift中
的
另一个
表
中。我计划
的
数据流
如下:我知道
谷歌
云
存储传输服务,但我不确定它是否能帮助我。来自Google文档: 此页面描述
云
存储传输服务,您可以使用该服务快速将联机数据导入。 我知道这个服
浏览 13
提问于2016-09-05
得票数 41
回答已采纳
1
回答
从Google cloud
数据流
收集应用程序指标
google-cloud-platform
、
google-cloud-dataflow
在
谷歌
云
数据流
/光束中,我们可以使用这个Metrics API收集应用程序指标,并且可以使用另一个API在应用程序中查询它。但我需要将这些指标持久化
到
Bigquery
/Prometheus中,以实现实时监控和警报机制。请建议如何在
谷歌
云
数据流
中实现这一点。
浏览 33
提问于2020-01-14
得票数 0
回答已采纳
1
回答
从google
云
存储
到
biquery
的
ETL加载
python
、
google-cloud-platform
、
google-bigquery
、
google-cloud-storage
、
dataflow
我想从
谷歌
云
存储上数百个CSV文件中加载数据,并每天使用
云
数据流
(最好使用python SDK)将它们附加到
Bigquery
上
的
单个
表
中。你能告诉我怎样才能做到这一点吗? 谢谢
浏览 1
提问于2018-05-21
得票数 0
1
回答
谷歌
云
将PubSub数据转换为
BigQuery
google-bigquery
、
google-cloud-functions
我想通过
谷歌
云
函数PubSub跳跳器将MQTT传感器
数据流
式传输到Google
BigQuery
。不知何故,我无法导入
BigQuery
...const
BigQuery
= require('@google-cloud/
bigquery
'); 谢谢
浏览 2
提问于2018-10-22
得票数 0
1
回答
使用Google Cloud Functions进行流式插入/更新
google-cloud-platform
、
google-cloud-functions
这是关于使用google
云
函数
的
流数据插入/更新。我使用
Salesforce
作为源数据库,并希望对
谷歌
BigQuery
表
进行流式插入/更新。我
的
插入部分工作得很好,但我如何能够进行更新,因为流数据首先被插入
到
流缓冲区中,这将不允许在30分钟左右
的
时间内执行DML操作。这方面的任何帮助都将不胜感激。
浏览 21
提问于2019-06-04
得票数 1
回答已采纳
1
回答
使用Python将twitter数据直接发送到Google Cloud数据存储
python
、
google-cloud-platform
、
google-cloud-datastore
、
data-storage
我想跳过首先下载到我
的
本地机器,然后上传到
云
上
的
步骤。它只运行一次。不是寻找完整
的
代码,而是任何有人可能从中学到
的
指针或教程。使用python与google进行交互-云和存储。
浏览 0
提问于2018-11-08
得票数 1
3
回答
从Google Cloud SQL迁移到Google
Bigquery
google-bigquery
、
google-cloud-sql
我需要将我
的
两个
表
从Google Cloud SQL迁移到Google
Bigquery
。 该数据
的
大小约为1TB,并包含约5个月
的
股市节拍数据。我从文档中了解
到
,我可以将数据导出为CSV并将其加载到
Bigquery
中。我希望按照最佳实践中
的
建议,在Google
Bigquery
中进行日期分区。此外,我希望在每个日期
的
数据迁移后做一个健壮
的
验证,以确保数据在传输过程中不会被破坏。我
的</em
浏览 1
提问于2018-01-30
得票数 4
1
回答
未经许可使用气流到
bigquery
的
ETL / cloud
mysql
、
python
、
google-cloud-storage
、
google-cloud-sql
、
apache-airflow
我已经用python完成了从MySql
到
bigQuery
的
ETL,但是由于我没有连接/ cloud
的
权限,我必须在最后一个日期之前转储数据和分区,这样做很容易,但并不值得,因为花很多时间,我想使用从MySql/mongo
到
bigQuery
的
气流,而不使用google存储/ cloud,这是可能
的
吗?
浏览 0
提问于2019-10-31
得票数 0
2
回答
用一行特定关键字提取大括号中值
的
javascript代码
javascript
、
regex
、
loops
、
google-bigquery
、
google-cloud-storage
我在Google
云
存储中有一组文本文件(每5分钟就会有新
的
文件进入存储批处理)。我想做
的
是把它放在
谷歌
BigQuery
通过
数据流
。在
数据流
中,我们可以直接将
云
存储中
的
文本文件导入
到
Google
BigQuery
(在我
的
例子中,我需要批处理)。它需要一个javascript代码来将GCS中
的
文本文件转换为
bigquery
中
的
<em
浏览 4
提问于2020-08-07
得票数 0
回答已采纳
1
回答
更新
bigquery
表
的
不同方式
google-bigquery
、
google-cloud-functions
、
google-cloud-dataflow
在gcp中,每当文件( json、xml等多种格式)上传到存储桶中时,我都需要更新
bigquery
表
。我有两个选择,但不确定每一个
的
优缺点。有人能建议一下哪个是更好
的
解决方案吗?为什么?方法1:方法2: 上传到存储桶
的
文件-->触发
云
函数(触发
数据流
作业) --> data
浏览 9
提问于2018-09-01
得票数 2
回答已采纳
1
回答
从
BigQuery
向Firestore写入数据
的
快速方法
google-cloud-firestore
、
google-cloud-dataflow
我需要每天从
BigQuery
加载大约1000万个数据
到
firestore。执行此操作
的
最快方法是什么?具有并行单独写入
的
云
函数是一种选择(根据下面的链接),但在这种情况下,并行化
bigquery
表
将是一个挑战。
数据流
在这种情况下工作吗?通过
数据流
读取和写入数据?
浏览 45
提问于2021-04-07
得票数 0
1
回答
如何在Google
数据流
模板中使用正则表达式?
google-cloud-platform
、
google-cloud-storage
、
google-cloud-dataflow
、
dataflow
使用
数据流
模板,即
云
存储文本
到
BigQuery
(流)模板,过去可以将"inputFilePattern“(即:您想要处理
的
文本
的
云
存储位置)描述为正则表达式。例如,您可以输入gs://my-bucket/my- files /file-to-upload*作为参数,然后所有以"file-to-upload“开头
的
文件都将被流式传输。不幸
的
是,它现在抛出这个错误消息:&quo
浏览 11
提问于2020-09-08
得票数 0
2
回答
云
存储新增文件时触发
数据流
作业
google-cloud-storage
、
google-cloud-dataflow
、
google-cloud-functions
我希望在向存储存储桶添加新文件时触发
数据流
作业,以便处理新数据并将新数据添加到
BigQuery
表
中。我看到
云
通过存储桶中
的
更改来运行,但我还没有找到使用启动
数据流
作业
的
方法。有没有一种方法可以使用
云
函数来实现这一点,或者是否有其他方法来实现预期
的
结果(在将文件添加到存储存储桶时将新数据插入
到
BigQuery
中)?
浏览 6
提问于2016-04-02
得票数 2
回答已采纳
1
回答
VCP Google Cloud Platform
的
数据流
发布/订阅主题
到
BigQuery
,而不是从订阅中提取数据
google-cloud-platform
、
google-bigquery
、
google-cloud-dataflow
、
google-cloud-pubsub
、
private-cloud
我正在使用GCP处理和存储从模拟IoT设备发送
的
数据。数据(应该)在以下路径中流动: 带有mqtt客户端
的
模拟IoT设备-> IoT核心设备-> IoT核心注册
表
->发布/订阅主题->发布/订阅订阅->
云
数据流
发布/订阅订阅
BigQuery
模板->
BigQuery
表
我所在
的
公司有一些GCP配置(它在VPC上),这需要我指定一个subnet for DataFlow
浏览 21
提问于2021-10-01
得票数 0
回答已采纳
2
回答
更改
谷歌
云
数据流
BigQuery
优先级
google-bigquery
、
google-cloud-dataflow
、
apache-beam
我有一个运行在从
BigQuery
读取数据
的
谷歌
云
DataFlow上
的
Beam作业。当我运行作业时,作业需要几分钟时间才能开始从(微型)
表
中读取数据。结果是
数据流
作业发送
的
是以批处理模式运行而不是以交互模式运行
的
BigQuery
作业。如何将其切换为在Apache光束中立即运行?我在API中找不到更改优先级
的
方法。
浏览 2
提问于2017-05-26
得票数 1
2
回答
使用
云
函数(从google
云
存储
到
bigquery
)实现批处理自动化--缺少一些东西
google-cloud-platform
、
google-bigquery
、
google-cloud-functions
、
google-cloud-storage
、
google-cloud-dataflow
我想要实现
的
:每次我上传一个文件
到
云
存储,它将自动被写入
BigQuery
。但是他们不一起工作。如何让
云
函数触发来激活
数据流
部分?这是一个脚本,还是只是一些设置,我错过了? 缺少一些东西把它们连接起来。我对此比较陌生,我一直在寻找这方面的教程,但我不知道我是否一直在搜索错误
的
关键字,我找
浏览 7
提问于2021-03-03
得票数 0
回答已采纳
1
回答
使用
云
函数将.db文件数据从
云
存储写入
BigQuery
sqlite
、
google-bigquery
、
google-cloud-storage
我有.db文件存储在
谷歌
云
存储桶中。这些文件每天上传。我希望在.db文件中将特定
的
表
数据流
/写到
BigQuery
表
中。我已经尝试写一个
云
功能,连接到sqlite,并获取记录在熊猫数据,并加载到烧烤
表
。我
的
python程序无法工作,因为它无法在运行时连接到sqlite并从中获取数据。我
的
代码:import pandas as pd from google.cl
浏览 6
提问于2020-12-15
得票数 1
回答已采纳
1
回答
使用
云
数据流
管道将PostgreSQL数据加载到
BigQuery
中
google-cloud-dataflow
尝试实现
云
数据流
任务,将数据从PostgreSQL数据库
表
加载到帮助下
的
URL文档。在执行
数据流
作业时遇到问题。参考屏幕截图1。 URL:方法2:使用
云
数据流
将ETL转换为
BigQuery
浏览 0
提问于2018-10-08
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
使用Kafka,如何成功迁移SQL数据库中超过20亿条记录?
从Lambda到无Lambda,领英吸取到的教训
谷歌推出Bigtable联邦查询,实现零ETL数据分析
弃用 Lambda,Twitter 启用 Kafka 和数据流新架构
谷歌将以太坊区块链数据集添加到其大数据分析平台
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券