腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
使用
更
复杂
的
reges
创建
BigQuery
传输
服务
、
、
现在,我想
创建
一个
BigQuery
表,它插入事务日期为2019-07-01和更新
的
所有文件。 我目前
的
策略是将过去分成足够小
的
块,以便只运行批处理加载,例如按月。然后,我想
创建
一个
传输
服务
,用于侦听所有传入
的
新文件。我不能只将它指向gs://my-bucket/*,因为这将尝试加载2019-07-01之前
的
日期。所以基本上我是在考虑将“面向未来
的
文件名结构”编码成一个合
浏览 7
提问于2020-07-29
得票数 0
1
回答
无法将Google广告连接到
BigQuery
、
、
我刚刚开始
使用
GCP,无法从Ads
创建
数据
传输
。我所有的步骤都是由完成
的
,但我总是没有任何解释就得到了一个问题。Please try again.有时这两个字母会改变,就我记忆中
的
“jk”而言
浏览 2
提问于2021-04-07
得票数 3
回答已采纳
1
回答
在Google
Bigquery
-PERMISSION_DENIED中执行
传输
:未找到具有Google Drive作用域
的
OAuth令牌
我正在尝试谷歌
BigQuery
中新
的
“转账”功能。我正在
使用
选项:'Scheduled Query‘无法启动表'xxx‘
的
作业,
浏览 1
提问于2018-05-23
得票数 1
1
回答
Google大查询回填需要很长时间
我
使用
Google big query将来自多个来源
的
数据连接到一起。我已经连接到谷歌广告(
使用
数据
传输
从大查询),这工作得很好。但是,当我回填较旧
的
数据时,在大型查询中从180天获得数据需要3天以上
的
时间。谷歌建议最多180天。但这需要很长时间。我想做这件事在过去两年和多个客户(我们是一个机构)。
浏览 5
提问于2020-07-27
得票数 1
1
回答
BigQuery
数据
传输
服务
- python库
、
、
目前,我们在为
BigQuery
活动管理器调度DoubleClick数据
传输
方面有很多请求。因此,我们按照这里
的
指示
使用
数据
传输
V2.0。它需要手动设置和
使用
用户帐户
的
权限。但是,我注意到数据
传输
服务
支持REST-API。 REST-APIv1.0和数据
传输
V2.0有什么区别?我可以在数据
传输
V2.0中
浏览 0
提问于2017-11-02
得票数 1
1
回答
使用
Kafka Connect GCP
BigQuery
接收器进行表分区
、
、
、
各位朋友: 我在
BigQuery
中
使用
confluent连接器进行数据
传输
。对于我已经
创建
的
每个事件,我
创建
了一个avro模式,它将在
BigQuery
中解释。是否可以将任何事件字段定义为表分区?它当前
使用
的
是_PARTITIONTIME隐藏字段,但我需要它作为实际事件
的
字段,以便
更
容易处理重复项。
浏览 0
提问于2019-11-08
得票数 0
1
回答
将userId映射到其关联
的
电子邮件
当我在控制台中运行以下命令时,它将返回一个标题为"userId“
的
列(这是一个字段)。如何将此userId映射到其电子邮件地址或用户名?project-id)$ bq show \ projects/<XXX>/locations/europe/transferConfigs/<XXX> userID
的
返回值是一个19个字符
的
整数。这个问题
的
原因是,我们有大量
的
预定查询和
传
浏览 0
提问于2019-12-05
得票数 0
1
回答
用
BigQuery
bigquery
_datatransfer
创建
adwords
bigquery
_datatransfer: error 400请求包含无效参数
、
、
、
、
我
的
一步: https://www.gstatic.com/bigquerydatatransfer/oauthz/auth?与项目所有者一起
创建
服务
帐户 from google.cloud import
bigquery
_datatransfer_v1, authorization_code) print(respo
浏览 2
提问于2020-02-15
得票数 0
1
回答
如何为
BigQuery
数据
传输
服务
定义TransferConfig
.setParams(Struct.newBuilder().build())相应
的
cli
浏览 0
提问于2020-04-15
得票数 0
1
回答
如何修复在
BigQuery
UI中调度查询时出现
的
“请求包含无效参数”错误
、
我将作为项目所有者在新
的
BigQuery
UI中设置一个预定查询,并启用了数据
传输
API。查询本身是一个非常简单
的
用标准SELECT * FROM table编写
的
查询。我
使用
的
数据集位于同一区域。无论我如何设置时间表选项(从现在开始,计划开始时间,每天,每周等)或者目标数据集/表,我总是得到相同
的
错误: 我该如何
浏览 0
提问于2019-04-26
得票数 0
1
回答
使用
我
的
最终用户凭据
创建
BigQuery
广告字
传输
要在
BigQuery
中
创建
转账,您
的
GCP帐户应具有
BigQuery
管理员角色,并且还应具有对AdWords帐户
的
读取权限。起初,我们手动
创建
传输
,但现在我们必须
使用
pythons google-cloud-
bigquery
-datatransfer包来实现它。问题是,这段代码将运行生产
服务
器,生产
服务
器中已经存在一个作为GOOGLE_APPLICATION_CREDENTIALS
的</em
浏览 57
提问于2020-09-08
得票数 0
1
回答
BigQuery
复制数据集功能是否
使用
插槽?
、
每个文档都提到了
使用
BigQuery
数据
传输
服务
的
数据集副本(请参阅更多信息:)。但是,我现在不清楚
的
是,
BigQuery
数据
传输
服务
是否在
使用
插槽?我试图在文档中找到任何有关信息,但都失败了。它们被用于摄取工作,所以我很好奇这是否也是数据
传输
服务
的
情况。
浏览 3
提问于2022-06-22
得票数 0
回答已采纳
1
回答
Bigquery
LoadJobConfig删除
传输
后
的
源文件
、
、
当通过UI手动
创建
Bigquery
数据
传输
服务
作业时,我可以选择一个选项在
传输
后删除源文件。当我尝试
使用
CLI或Python客户端
创建
按需数据
传输
服务
作业时,我看不到在
传输
后删除源文件
的
选项。现在,我
的
源URI是gs://<bucket_path>/*,所以自己删除文件并不容易。
浏览 11
提问于2022-08-18
得票数 0
2
回答
在
Bigquery
上
创建
计划查询时出错"Error creating scheduled query: er“
我刚刚在Google Cloud上启动了一个新项目,设置了一些
bigquery
数据集和表。现在我想设置一些预定
的
查询。我已经开启了
BigQuery
数据
传输
接口。我
的
查询是有效
的
(它只是SELECT * FROM table)。我在网上找不到关于这个错误
的
任何东西。 See screenshot 更新:我已经做了一些实验,这似乎是一个组织范围内
的
问题。我
的
组织内
的
所有项目,无论是新项目还是旧项目,在尝试安排查询时都会遇
浏览 40
提问于2020-12-03
得票数 0
1
回答
BigQuery
计划Pub/Sub通知错误
、
、
Operator, Technology, Freq_Band, Sector FROM `myproject.my_ds.mytable` WHERE Freq_Band = '800' ;
BigQuery
UserMonitoring Metric Writer错误是"User not
浏览 2
提问于2021-10-26
得票数 1
回答已采纳
1
回答
Google Cloud数据流+批处理
、
、
对于热数据,我将我
的
数据写入Cloud Spanner,而对于冷数据,我希望将我
的
数据写入
更
持久
的
东西,如
BigQuery
。我正在
使用
来自流媒体
服务
的
数据,但我想利用
BigQuery
的
缓存机制-如果我经常将冷数据流式
传输
到
BigQuery
中,这将是不可能
的
。我
的
问题是,我是否可以将流管道分支到批处理管道中,并将流管道连接到扳手,将批处理管道连接到
浏览 0
提问于2020-08-07
得票数 0
1
回答
BigQuery
+ PlayStore +应用程序历史记录数据
我们正在努力将我们
的
应用程序数据集成到
BigQuery
中。作为其中
的
一部分,我们
使用
BigQuery
传输
服务
来引入应用商店数据。我认为计划
传输
的
工作方式是,从我们设置它
的
那一天起,它就会开始从那里引入任何新
的
增量数据,这些数据适用于未来
的
数据集。 我们还拥有要与latest+future数据一起
使用
的
现有数据。当我在这里
使用
“计
浏览 16
提问于2019-12-17
得票数 0
2
回答
2 TB+表
的
Bigquery
红移迁移
我正在尝试将Redshift迁移到
BigQuery
。表
的
大小是2TB+,我正在
使用
bigquery
红移数据
传输
服务
。但是迁移已经运行了5个多小时。还可以看到在Redshift端执行
的
查询将数据卸载到50MB
的
区块中。由于无法在红移
传输
作业中配置块大小参数。将2TB
的
数据从redshfit
传输
到
BigQuery
需要这么多时间,或者可以做一些事情来改进这项工作。 有一些像雪花一样<em
浏览 39
提问于2019-07-22
得票数 0
1
回答
使用
BigQuery
传输
将游戏控制台数据
传输
到
BigQuery
、
我正在尝试
使用
BigQuery
传输
服务
将我
的
play store控制台数据
传输
到
BigQuery
。我
的
游戏控制台数据存储在一个GCP存储桶中,该存储桶有3个文件夹(评论、统计、获取)。在运行我
的
BQ
传输
作业时,只有最后一个文件夹数据被移动到
BigQuery
。 有没有什么解决方案可以把这三个文件夹
的
数据都迁移到
BigQuery
?
浏览 6
提问于2019-11-19
得票数 1
1
回答
我可以在
BigQuery
数据
传输
服务
中
使用
临时AWS凭据吗?
、
、
、
、
目前,我们
使用
AWS用户永久凭据将客户数据从我们公司内部
的
AWS S3桶
传输
到用户
的
BigQuery
表中,以遵循
BigQuery
数据
传输
服务
。
使用
永久凭据具有与存储在AWS S3中
的
数据相关
的
安全风险。 我们希望
使用
AWS角色临时凭据,它需要BiqQuery端
的
会话令牌
的
支持才能在AWS端获得授权。
BigQuery
数据
传
浏览 2
提问于2022-11-14
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
谷歌BigQuery ML正式上岗,只会用SQL也能玩转机器学习!
使用Kafka,如何成功迁移SQL数据库中超过20亿条记录?
从Lambda到无Lambda,领英吸取到的教训
BigQuery提供脚本存储程序,可在单一请求执行多个陈述式
DB-Engines 公布 2023 年度数据库:PostgreSQL
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券