腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(3972)
视频
沙龙
1
回答
如
何为
更改
列
结构
的
BigQuery
外部
表
建模
?
mysql
、
database
、
google-cloud-platform
、
google-bigquery
、
etl
我有5
列
,c1,c2,c3,c4,c5 in source table (MySQL)。我导出
表
并添加到GCS中,
如
gs://data/table_name/YYYYMMDD/table_nameYYYYMMDDHHMMSS.csv 我导出了这3个月
的
数据。在以后
的
阶段,添加了两个新
的
专栏,分别是c6和c7。现在,gs://data/table_name中
的
导出文件将有7
列
浏览 13
提问于2019-06-14
得票数 0
1
回答
altering只支持
更改
表
的
架构,而"TableName“是
外部
表
。
google-bigquery
我是
BigQuery
的
新手,而且还在努力奋斗。在SQL中,ALTER可以添加、删除
列
。但在
BigQuery
中,它表明我无法修改
外部
表
(从驱动器导入)。有人能帮忙吗?如何
更改
外部
表
? 试图使用。
浏览 3
提问于2022-11-09
得票数 1
1
回答
BigQuery
-使用
更改
的
模式加载数据
schema
、
google-bigquery
当
外部
系统以JSON文件
的
形式向
BigQuery
实例提供数据时,我遇到了这种情况。 这个问题发生在一种情况下,当源
外部
系统
更改
他们
的
数据库模式--它是NoSQL数据库时,他们可以添加一些
列</em
浏览 0
提问于2019-09-16
得票数 0
1
回答
使用CREATE在
BigQuery
中进行聚类
sql
、
google-bigquery
不确定我
的
聚类是否正确。简单地说,我正在看GCP计费信息,比如50个客户。每个客户机在该billing_ID上都有一个Billing_ID和I集群。 请参阅下面的SQL查询,查看我现在所做
的
工作。
浏览 1
提问于2019-05-10
得票数 1
1
回答
在谷歌云平台
的
BigQuery
服务中使用数据流加载配置单元分区
表
?
google-cloud-platform
、
hive
、
google-bigquery
配置单元分区
表
具有以分区日期作为文件夹
的
文件夹
结构
。我已经探索了将
外部
分区
表
直接加载到
bigquery
的
可能性。我想知道
的
是,在将数据加载到dataflow之前,我将使用dataflow运行一些功能转换,因此是否可以使用
bigquery
实现此功能。我发现,如果我将分区日期添加为
列
,则使用partitioning is possible,但我正在寻找一种直接方法,该方法不会在转换期间添加
列
,而是在将数
浏览 12
提问于2019-12-05
得票数 0
2
回答
将JSON数组加载到
BigQuery
中
google-cloud-platform
、
google-bigquery
我正在尝试将json数组加载到
bigquery
表
中。数据
结构
如下:每个json记录对应于
BigQuery
中
的
一行。
BigQuery
中<
浏览 1
提问于2022-02-24
得票数 0
回答已采纳
1
回答
将pubsub有效负载摄取到大型查询中
的
最佳实践
google-bigquery
、
google-cloud-pubsub
我正在寻找关于如何摄取来自单个订阅(一个主题)
的
各种有效负载到大型查询
的
最佳实践。数据可以以原始格式摄取,但需要以更表格
的
形式构造,并映射到发布层以供业务使用。我在谷歌上搜索了一些选项,但需要指导如何实时设计发布解决方案
的
发布消息摄取。应该简单地将与原始消息保持类似
结构
的
所有数据转储为string或Json,还是应该将属性构造为
列
/
结构
/数组--
的
优点和缺点--将订阅拆分为多个过滤
的
活动并将它们映
浏览 3
提问于2022-08-31
得票数 0
2
回答
Bigquery
定价比较:将数据加载到
Bigquery
使用Create
外部
表
google-cloud-platform
、
google-bigquery
我
的
团队正在使用Google平台开发数据平台。我们将公司
的
数据上传到上,并尝试在
Bigquery
上创建数据集市。但是,为了节省GCP
的
使用成本,我们考虑将所有数据从gcs加载到
bigquery
,或者在
bigquery
上创建
外部
表
。 哪种方式更符合成本效益?
浏览 6
提问于2022-02-25
得票数 1
回答已采纳
1
回答
根据值动态创建
列
hive
、
data-modeling
、
pyspark-sql
在我们
的
项目中,我们使用一个ETL框架(内置在PySpark中),它接受Spark-sql语句来转换来自源
的
数据并加载Hive
外部
表
。现在,我需要读取一个
表
,然后选择一
列
的
唯一值,然后动态创建一个包含这么多
列
的
Hive
表
。 例如,请考虑下表。Qstn_mster
表
的
qstn
列
中
的
唯一值
的
值
更改
为5(可以增加或减
浏览 14
提问于2020-01-15
得票数 0
2
回答
将一对一关系映射到错误
的
(棕色)数据库模式
nhibernate
、
nhibernate-mapping
、
brownfield
我必须在NHibernate中对这种关系进行
建模
(为了紧跟主题,对代码进行了一些简化)--一个员工可以是一个客户经理(所以,这是可选
的
):我在Employee
表
中有一个Number
列
,它指向
表
EmployeeIsAccountManager中
的
Number
列
,而不是在
表
浏览 2
提问于2010-12-07
得票数 5
回答已采纳
1
回答
Joomla模板创建,版本兼容性
templates
、
joomla
我在网上找到了一些关于这个主题
的
课程和教程,比如Lynda.com
的
Joomla 1.6创建和编辑模板。我
的
问题是,如果我学习了一些教程,这些教程展示了如
何为
Joomla
的
旧版本(
如
1.6)创
建模
板,它们是否与2.5兼容,换句话说,
结构
是否从1.6
更改
为2.5?
浏览 0
提问于2013-01-06
得票数 0
回答已采纳
1
回答
如何从OracleExadataX4-2数据库迁移到
BigQuery
?
google-bigquery
、
exadata
为
BigQuery
预先准备一个新
的
数据模型更好吗?或先将数据按原样移动到
bigquery
,然后
更改
数据模型。 其他主要建议请注明。
浏览 5
提问于2022-11-03
得票数 -1
1
回答
您可以通过GDM将
更改
传播到多个项目吗?
google-cloud-platform
、
google-deployment-manager
如果我通过GDM (Google Deployment Manager)描述和管理我
的
GCP项目中
的
资源,是否可以通过GDM (Google Deployment Manager)将
更改
传播到多个Google具体地说,我正在考虑通过GDM定义一个
BigQuery
模式(数据集和
表
的
集合),然后在多个项目(每个项目都有自己
的
BigQuery
数据库)中同步这个模式。因此,理想情况下,如果我进行模式更新(
如
向
表
中添加
浏览 3
提问于2018-06-09
得票数 1
1
回答
使用通配符与
BigQuery
一起查询_TABLE_SUFFIX中
的
表
视图
sql
、
loops
、
google-bigquery
我试图使用查询Google
BigQuery
中
的
大量(~140)不同
的
表
视图。但是,这会导致以下错误信息: table_date 190305190319...我
的
简单问题是:可能是查询来自不同视图
的
数据
的
另一种方法吗?还有其他方法可以使用通配符来循环视图吗?不幸
的</e
浏览 15
提问于2022-04-05
得票数 -1
回答已采纳
1
回答
获取Google
BigQuery
表
模式
的
锁或拒绝不向后兼容
的
模式
multithreading
、
google-bigquery
是否有方法获取
表
模式
的
锁和/或拒绝不向后兼容
的
表
模式updates|patches? 获
浏览 2
提问于2016-06-03
得票数 0
2
回答
如何对Amazon Redshift
外部
表
进行
建模
以
更改
列
结构
?
mysql
、
database
、
amazon-s3
、
amazon-redshift
我在源
表
(MySQL)中有5
列
,c1, c2, c3, c4, c5。我导出
表
并添加到S3中,如下所示: s3://data/table_name/YYYYMMDD/table_nameYYYYMMDDHHMMSS.csv 我导出了这3个月
的
数据。在以后
的
阶段,添加了两个新
的
专栏,分别是c6和c7。现在,s3://data/table_name/YYYYMMDD/table_nameYYY
浏览 13
提问于2019-06-13
得票数 2
2
回答
无法使用spark查询分区数据上
的
BigQuery
外部
表
google-cloud-platform
、
google-bigquery
、
partitioning
我试图在GCS中
的
分区数据上创建一个
外部
表
,该数据是从星星之火作业中编写
的
,其日期以拼花格式划分。 "hivePartitioningOptions": { "sourceUriPrefix": "gs://transacti
浏览 4
提问于2020-05-03
得票数 1
回答已采纳
2
回答
Bigquery
SYSTEM_TIME作为数据恢复
的
特性保证
google-bigquery
在Google
BigQuery
中,可以检索过去
表
(快照)
的
行(至少在过去7天):#legacySQL SELECT * FROM [PROJECT_ID:DATASET.TABLE但我想知道过去是否有检索
表
数据
的
保证。一位同事告诉我,他在某个地方读过(但他再也找不到),这是一个“尽最大努力”
的
特性,因此可能会有一些缺失
的
数据。此功能是否可用于生产环境中
的
数据恢复(例如,如果有人无意中截断了一个重要
的</em
浏览 3
提问于2019-11-26
得票数 3
回答已采纳
3
回答
Google
BigQuery
需要一个模式吗?
google-bigquery
我想使用
bigquery
来存储日志。它是需要像Mysql和其他RDBMS那样
的
固定模式,还是像没有模式
的
nosql?
浏览 0
提问于2011-06-21
得票数 5
2
回答
BigQuery
和Google之间
的
双向沟通?
google-sheets
、
google-bigquery
BigQuery
和Google之间
的
双向沟通是可能
的
吗?换句话说,如果在Google中添加一行或修改条目,它将反映在
BigQuery
中相应
的
表
中,反之亦然(没有模式
更改
)。
浏览 5
提问于2020-10-29
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
谷歌BigQuery ML正式上岗,只会用SQL也能玩转机器学习!
谷歌开源NSL:用于图形数据TensorFlow机器学习框架
hive结合Hbase实现实时数据处理和批量分析
如何用纯SQL查询语句可以实现神经网络?
如何用纯SQL查询语句实现神经网络
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券