对BigQuery中嵌套字段的查询是否仅将子字段的大小计为按需定价中的“已处理数据量”？
对BigQuery中嵌套字段的查询不仅将子字段的大小计为按需定价中的“已处理数据量”。在BigQuery中，嵌套字段是指在表格中包含其他表格或记录的字段。当查询嵌套字段时，BigQuery会根据查询中涉及的字段和表格的大小来计算数据处理量。
具体来说，BigQuery会根据查询涉及的字段和表格的大小来计算查询的成本。如果查询涉及到嵌套字段，BigQuery会根据查询中涉及的字段和表格的大小来计算数据处理量。这意味着，除了子字段的大小外，还会考虑到其他字段和表格的大小。
BigQuery是一种全托管的数据分析服务，适用于大规模数据集的快速查询。它具有高度可扩展性和灵活性，可以处理PB级别的数据。BigQuery支持标准SQL查询，并提供了强大的分析功能和可视化工具。
在BigQuery中，嵌套字段的查询可以用于许多应用场景，例如分析复杂的数据结构、处理嵌套的JSON数据、进行数据聚合和转换等。通过使用BigQuery的嵌套字段查询功能，用户可以更轻松地处理和分析复杂的数据。
对于BigQuery中嵌套字段的查询，腾讯云提供了类似的产品和服务，例如腾讯云数据仓库（TencentDB for TDSQL），它是一种高性能、可扩展的云原生数据仓库，支持嵌套字段查询和复杂数据分析。您可以通过访问腾讯云数据仓库的官方网站（https://cloud.tencent.com/product/tdsql）了解更多信息和产品介绍。
相关·内容
当使用流插入将数据加载到BigQuery时，数据大小是由JSON大小计算还是由BigQuery存储中的数据大小计算？
我这样问是因为JSON可能比里面的实际数据大3倍。
我已经阅读了所有的谷歌文档，我没有找到一个明确的答案。
浏览 1提问于2017-12-11得票数 1
回答已采纳
我正在使用streak BigQuery developer工具，并注意到了“查询成本”中的一些常见行为。在深入研究细节时，我在totalBytesBilled和totalBytesProcessed属性中发现了一种奇怪的行为。但我很难理解.
来自BigQuery资源：
statistics.query.totalBytesBilled :为作业计费的总字节。
statistics.query.totalBytesProcessed :为作业处理的总字节。
这两个属性的描述相当模糊.
根据我过去的经验，我希望在我消耗了我的配额的免费部分之后，这2条是一样的。
示例数据集上的示例
浏览 7提问于2015-09-17得票数 10
回答已采纳
有办法用BigQuery和GUI在BigQuery上设置CPU资源限制吗？
我得到了一个错误：
Query exceeded resource limits. 2147706.163729571 CPU seconds were used, and this query must use less than 46300.0 CPU seconds.
查看BigQuery的Python参考页面：
看上去像是：
1. maximum_billing_tier
2. maximum_bytes_billed
这是可以设置的，但没有CPU的第二个选项。
浏览 0提问于2018-04-21得票数 1
回答已采纳
1回答
如何优化
、
我最近发现了Google，它是开放的数据集。在对311_service requests数据集中的new_york表执行以下查询后，云控制台将bytes billed报告为130 MB。
SQL查询：
SELECT unique_key FROM `bigquery-public-data.new_york.311_service_requests` LIMIT 10
查询返回：
+------+-------------+
| Rows | unique_key |
+------+-------------+
| 1 | 37911459 |
| 2 | 3816260
浏览 0提问于2018-11-21得票数 0
回答已采纳
我在Google BigQuery中的两个表中使用了交叉连接。然后出现以下错误
Resources exceeded during query execution: Your project or organization exceeded the maximum disk and memory limit available for shuffle operations. Consider provisioning more slots, reducing query concurrency, or using more efficient logic in this job.
这类查询是否
浏览 12提问于2021-01-07得票数 0
回答已采纳
在Google BigQuery 1中，它支持嵌套字段类型，所以我可以说它是组织的首选方法，而不是分割成表和使用联接进行查询吗？
Bigquery支持修补程序--当我们需要添加新列时，在非常大的表(例如1TB )中添加新列的性能如何？关闭时间，因为我们可能需要每月更新几次列。
浏览 6提问于2014-05-16得票数 3
我们有多个GCP项目(dev，acc，pro)运行BigQuery作业，主要由气流触发。我们注意到BigQuery时隙使用的云费用增加了。是否有一个BigQuery元数据表/视图，在其中我们可以看到所有查询、处理过的数据以及它们的时隙使用情况(如果不在组织中的项目之间，那么至少每个项目)。我们想找出哪些工作是昂贵的，哪些可以减少插槽的使用。
浏览 3提问于2022-09-06得票数 0
回答已采纳
我想澄清一个关于收费或定价的疑问。BigQuery是否在以下场景之一收费：-
1)如果我的表包含100 GB的数据，并且如果我查询这个表来搜索一条记录，并且BigQuery遍历100 GB来找到那条记录。在这种情况下，遍历费用。
或
2)如果我的查询从100 GB返回90 GB的结果集。在这种情况下，检索的数据量。
谢谢。
浏览 1提问于2012-11-01得票数 0
回答已采纳
因此，这在某种程度上是一个“实时”问题。我运行了一个查询，它当前的速度接近12000秒，但它告诉我，除了处理的数据之外，This query will process 239.3 GB when run.是否按时间收费？我是不是该停下来了？
浏览 4提问于2020-03-29得票数 0
我有一个数据流作业，它从bigquery表(在大表之上创建)读取。数据流作业是使用java中的自定义模板创建的。我需要处理bigquery的大约5亿条记录。我面临的问题甚至是读取100万条记录，大查询读取需要26分钟，数据流工作需要36分钟。在大查询中读取太慢。
任何关于如何提高阅读性能的建议。
浏览 10提问于2022-12-02得票数 1
我们已经运行了大约4个月的BigQuery，我们有一些关于价格的有趣观察和问题：
定价模型是很难解释的，它需要对连接、联盟等进行解释。
如果我在小型表上运行join，那么对于bigquery引擎中的每个小表副本，处理的数据都会增加吗？
如果我在查询中重用相同的子查询，这是新的数据处理，而不管它是同一个子查询呢？这能以任何方式优化吗？bigquery不缓存它的数据吗？
是否有用于数据处理的最小大小？我们的观察认为它是4MB，这是正确的吗？
在Google控制台中，geo位置有一个问题，它说大多数查询都是从CA完成的，这是不正确的，因为我的公司在欧洲，所有的开发都是在那里进行的
浏览 10提问于2013-04-22得票数 5
回答已采纳
2回答
内连接和内连接
、、、
我有以下两个SQL查询：
1.
"""
SELECT a.id, a.body, a.owner_user_id
FROM `bigquery-public-data.stackoverflow.posts_questions` AS q
INNER JOIN `bigquery-public-data.stackoverflow.posts_answers` AS a
ON q.id = a.parent_id
WHERE q.tags LIKE '%bigquery%'
"""
"""
浏览 3提问于2020-06-20得票数 0
回答已采纳
我有一个相当复杂的Bigquery查询，它的成本似乎比我预期的要高。它有97个中间阶段...那些是收费的吗？
浏览 17提问于2019-07-18得票数 0
当我在GCP BigQuery中为大型分区表选择查询时，
select * from <myBQtable> limit 10;
我还没有点击"Run“按钮，它告诉我”这个脚本在运行时将处理2TB。“
我不知道为什么“限制10”查询仍有这么大的成本。
浏览 8提问于2022-04-05得票数 0
回答已采纳
我在Bigquery中有一个表T，其中包含简单字段和一个嵌套字段。
我想有效地"select * from T where ...“并将结果存储在新的表U中。
我希望U具有与T相同的模式(包括嵌套字段)。
有没有办法在Bigquery中做到这一点，或者是导出/转换/导入的解决方案？
浏览 3提问于2013-09-19得票数 10
Bigquery是否为在INFORMATION_SCHEMA中查询表以及其他一些元数据表(如__TABLES__ )收取费用。我试图在这里的文档中查找这些信息，，但似乎没有太多的信息。
如果这是可收费的，那么从java客户端调用getTable方法是否也是可收费的。
浏览 3提问于2021-12-02得票数 1
回答已采纳
这与BigQuery中的DML操作有关(更新和删除)。经过几次查询后，我们将面临配额超出错误的情况。因为我们计划在脚本中使用“更新和删除操作”。
你能帮我们知道一些事情吗-
我们可否增加每日配额，以及会否增加成本？
检查了DML操作的处理成本的支持文档，但没有得到价格。(https://cloud.google.com/bigquery/pricing)更新和删除操作的数据处理成本是多少？它是否与查询/提取成本(5美元/TB)相同？
您会建议在大查询中经常使用“更新和删除”操作吗?还是有其他有效和成本效益高的方法？提前谢谢。
浏览 0提问于2018-09-19得票数 0
1回答
大查询是否适合处理数十万个连接，或者这是一个糟糕的设计？
情况，目前正在构建一个仪表板，该仪表板将显示直接从大查询中提取的聚合值。在我们的仪表板中，我们还有一组日期筛选器，可以显示上一年的数据(每个筛选器将是对大型查询的唯一查询)。数十万用户同时访问仪表板的可能性很高。
从文档中可以看到，queries对可以同时运行的查询数量有一个设置的配额。
如果这真的是一个问题，我计划的解决方案是预先计算每个唯一的日期结果，并将其持久化到快表中，但我们在这里讨论的是很多组合。这是正确的架构，还是大型查询有另一个技巧来解决这个问题？
浏览 0提问于2020-10-19得票数 0
假设我有一个BigQuery视图MyView:从mytable选择col1、col2、col3、col4、col5、col6、col7；
现在，如果我查询我的视图:从col1中选择MyView；
因此，在这种情况下，定价将计算所有列还是仅针对col1？
浏览 0提问于2019-06-19得票数 0
回答已采纳
从google存储中摄取数据(批量)到bigquery，使用数据流(beam，python)对这些数据执行一些转换，然后将它们加载到bigquery上是免费的还是被视为API并应用api成本？
浏览 1提问于2021-06-04得票数 1
我们的网站设置了每天从谷歌分析到BigQuery的数据传输。但是，BQ中的每日数据集通常在上午7:30到10:30 (GMT+1)左右可用。有没有办法更快(一大早)进行更新？
我们的网站位于荷兰，但BigQuery中的谷歌分析数据集存储在美国。
浏览 4提问于2018-11-13得票数 0
如标题所述。我很好奇有一个python (QueryJobConfig)可以设置目标表来保存查询结果，所以为了节省这种开销，在GCP中需要花费多少？
我可以通过两种方式向BigQuery加载或插入外部数据。(流式和批量上传)然而，使用流插入可能是昂贵的。
为了明确起见，保存查询结果可能会被视为插入，因此，如果我经常使用此方法更新表，那么执行流插入将花费很大的成本。
浏览 3提问于2020-04-20得票数 0
回答已采纳
我对AWS非常陌生，我正试图找到一种方法，将数据从Kinesis流可靠地传输到AWS RDS postgres数据库表。在进入的过程中，记录需要进行小的转换，比如过滤器(不是所有的记录都会被插入，取决于一个键)，并被解析为插入到postgres。目前，来自动态流的数据正被消防水管作为地板用消防软管倾倒到S3桶中。
我有点迷失在很多可能的方法中，比如：
->消防软管-> Lambda -> RDS
-> -> S3 ->数据管道ETL作业-> RDS
S3 -> RDS的数据库迁移？
AWS胶水？
其他.？
在一个没有服
浏览 1提问于2018-10-17得票数 5
回答已采纳
1回答
我们可以创建一个由Partitioning Field分区的表。。
我创建了一个包含两个字段的表visitors：
访客:字符串
部分:时间戳<--这是分区字段
当我查询表时：
SELECT * FROM mydataset.visitors WHERE part >= "2018-03-14 09:00:00" AND part < "2018-03-15 18:00:00"
问题：
BigQuery引擎是否足够聪明，只扫描2分区2018-03-14和2018-03-15，然后找到所有符合小时范围的行？
浏览 0提问于2018-03-15得票数 0
回答已采纳
这是的后续问题，在这个问题中，我想知道是否可以使用单个查询在Google BigQuery中构造嵌套的枢轴表。是的，所以在这个后续问题中，我想探讨一下一般情况。
下面是我正在使用的数据的一个示例(也包含在这个共享中)：
现在，我想构建一个具有以下属性的枢轴表：
在行级和类级嵌套级别(上一个问题仅包含嵌套-cols)。
行和科尔之间的小计(前一次只有一个总计)
多个度量标准(前一个指标只有一个度量)
多重排序--通过深度度量和字母顺序(以前没有任何类型的条件)
限制(以前根本没有任何限制)
这是在Google工作表中构建的支点--
这里的概念SQL
浏览 5提问于2017-02-17得票数 0
回答已采纳
1回答
我希望可能将查询作为aysnc作业发送到bigquery，但是我不知道这是否是一个可行的过程。
小跌落：
索取请求
生成查询
发送异步查询
继续完成代码
我喜欢这样做，因为到目前为止，脚本中最长的部分是等待bigquery发回答复。我没有使用这个回复来做任何事情，因为它都是流插入，而且我也无法发现bigquery作业有哪些限制。
浏览 1提问于2015-03-17得票数 1
回答已采纳
我最近被要求研究我们的BigQuery表和视图的BI引擎。我想知道如何比较使用BI引擎预留和不使用BI引擎预留的速度。我能看看这个吗？谢谢
浏览 19提问于2019-12-06得票数 0
1回答
我是新来的，实际上正在寻找这个：
它是关于如何将传感器连接到Google Bigquery的，但我实际上不知道它是否免费。我每月的使用量约为1 1GB。请告诉我在那里我可以免费得到什么，我绝对是初学者，不想得到一大笔账单。
谢谢，Petr
浏览 0提问于2015-10-28得票数 0
我正在研究使用BigQuery来深入了解应用程序日志文件的优点。这些日志是由Java和C#应用程序生成的，其中大多数都是在基于云的VM上生成的。我很想知道其他人是否也这样做了，以及BigQuery与ElasticSearch/Logstash/Kibana的相对优点。
BigQuery的优势似乎是它可以处理大量数据，而ELK解决方案似乎更适合日志文件的非结构化性质，特别是当它们来自不同的系统时。
我还想在仪表板上显示信息。Kibana似乎对此很有帮助。使用Google解决方案(使用google sheets等)创建仪表板有多容易？
想法，用例？
浏览 0提问于2016-07-17得票数 10
回答已采纳
2回答
因此，基本上在运行子查询以从params表中获取日期参数之后，我将在包含数据的表上运行查询，并根据提供的过滤条件尝试降低查询成本。
不幸的是，BQ引擎无法降低查询成本(即使应用了过滤条件，它也会读取整个表)。有什么想法和变通方法吗？
下面是一个例子：
WITH date_range as (
SELECT
min(DATE_KEY) as min_date_key,
max(DATE_KEY) as max_date_key
FROM <TABLE_WITH_DATA_PARAMS>
)
SELECT * FROM <TAB
浏览 0提问于2021-02-22得票数 0
这个问题是的扩展。
我有一个表(2014_05_31_transformed.Video)，其模式如下所示。我已经将BigQuery API返回的JSON放在中描述它的模式。
我试图使用如下所示的API调用针对该表创建一个视图：
{
'view': {
'query': u 'SELECT deleted_mod_time FROM [2014_05_31_transformed.Video]'
},
'tableReference': {
'dataset
浏览 2提问于2014-06-04得票数 4
我已经将一些大型表上传到BigQuery，并可以在它们上运行查询。通过只扫描特定的所需列而不是SELECT *，我已经成功地降低了水平成本。
是否有任何方法来限制数据扫描垂直以及。我可以看到使用LIMIT
将限制子句应用于SELECT *查询不会影响读取的数据量。您是因为读取整个表中的所有字节而被计费的。
是否有其他方法可以减少给定查询的BigQuery扫描记录的数量？可能是通过上传(并正确命名)许多较小的表而不是一个大表，还是通过特定的BigQuery SQL？
如果它是相关的，我的文件是以拼花格式。
浏览 1提问于2019-11-11得票数 0
回答已采纳
我们在BigQuery中有一个大表，其中的数据正在流进来。每天晚上，我们都要运行Cloud管道，它处理最后24小时的数据。
在BigQuery中，可以使用“”来实现这一点，并指定我们需要的范围，即24小时。
同样的功能是否可以在Dataflow中实现？
我们已经看过了Dataflow的“”文档，但我们无法确定这是否是我们所需要的。到目前为止，我们已经想出了这一点(我们希望使用FixedWindows获得最后24小时的数据)，但它仍然试图读取整个表：
pipeline.apply(BigQueryIO.Read
.named("events-read-fr
浏览 2提问于2015-03-23得票数 1
回答已采纳
1回答
有没有一种有效的方法来更新dynamoDB表中的许多项？我正在进行一次更新，但我消耗了所有的写入能力。如何限制已使用的写入容量？
浏览 0提问于2016-11-08得票数 0
非常基本的问题。如果我在BigQuery上购买与特定项目id相关的flex插槽，而不需要(1)手动创建预约，(2)分配这些插槽，那么与这个项目有关的查询是否会自动使用flex插槽计费？
我想是这样的--不清楚的文档表明，当您购买插槽时，会创建“默认”预约。因此，我猜想BigQuery承认用户的意图，除非另有规定，是使用购买的容量。
不过，如果我在空档空闲的时候被按需定价，那将是一场双重打击。而且，我感觉到，如果我预留了100个插槽，我的查询就会慢一些。但我想不出有什么办法来确认这些工作是用过的。
浏览 7提问于2020-11-22得票数 0
5回答
我有一个用例，其中我们在BigQuery中有几个表。现在，我想在BigQuery表中的一个列上实现一个索引。但我找不到足够的文件来做这件事。我发现一些博客和帖子提到BigQuery不支持索引。请帮我找到一个博客或帖子，可以帮助我在BigQuery上实现索引。提前谢谢。
浏览 3提问于2015-02-19得票数 18
回答已采纳
在连接到谷歌BigQuery的应用程序脚本连接器中测试查询更改时，我最初使用自定义查询在原生bigquery连接器中进行了尝试。我正在获取的一个新字段是一个数组，它在DataStudio中可以很好地工作(其目的是构建一个单词云，但也将其链接到完整的字符串)。但是，将相同的查询传递给Google Apps Script连接器时，当尝试基于此数组字段构建图表时，会返回一个错误。 具有bigquery直接连接的图表 ? 相同的图表，使用相同的查询，但使用应用程序脚本连接器： ? 相同的内部查询被发送回bigquery。使用直接的bigquery连接器，当在图表中引用数组时，它可以正确地解开
浏览 22提问于2020-10-08得票数 1
回答已采纳
我很难理解BigQuery中的插槽。这些文档是大量的营销活动，至少对我来说没有多大帮助。
具体来说，我是在看Flex插槽。这就是我到目前为止所理解的：
如果我买了500个跳槽，我暂时不需要支付任何费用。我得先做个预约才能使用这些插槽。
我的问题是：
在BQ中，如果我想使用flex插槽或按需定价，如何定义查询时间？
之后如何取消预订，以便只对查询运行的时间收费？
一般情况下，我如何控制成本？
浏览 10提问于2020-04-24得票数 3
回答已采纳
在错误地将自己添加到一个错误的角色后，我再也无法访问"IAM & admin“。
在尝试将大查询表解压缩到Google存储时，我收到了以下错误：
压缩GZIP Dataset.TableName gs://tableName_*.csv.gz
等待bqjob_r4250d44ecf982a22_00000169c666b451_1 . (23s)当前状态:已完成
提取操作中的BigQuery错误:错误处理作业BigQuery访问被拒绝:BigQuery BigQuery:在写入数据时拒绝权限。
我想我可能有一个许可问题，因此我改变了我在谷歌云的角色。我不记得我换了什么角色
浏览 1提问于2019-03-29得票数 2
几个小时前，我在谷歌BigQuery上运行了一个查询，该查询仍在运行。我点击了“放弃”，但似乎没有办法停止查询。我能做什么?我可以以某种方式联系Google，让他们停止查询吗？
我一直在为一家使用BigQuery分析谷歌分析数据的公司做一个项目，所以我不想给他们开一大笔账单。(也许StackOverflow不是问这个问题的合适地方，但我试着找了另一个地方，但是我找不到。在BigQuery支持页面上，有人说问题应该在这里问，带有google-bigquery标签，所以我就这么做了)。
我已经编写了一个查询(我不想在这里粘贴或描述它，因为有人可能会滥用它来阻止BigQuery或其他东西，我不知道)
浏览 1提问于2015-02-04得票数 1
1回答
我有一个矩阵，列是月份，行是以下字段: rep team customer类别
category字段具有以下内容: Fct、Act、Var、Cum、Prev
我想按每个类别(Fct、法案、Var、Cum、Prev)为category行字段添加小计。
如果有人筛选数据，小计将更改(类似于Excel数据透视表)。
我可以使用矩阵表对一行中的数据执行此操作吗？
浏览 0提问于2013-08-06得票数 1
我在当前的仓库(Netezza)中有一个维度表，其中有1000万条记录，并且每天都在更新。
当我们计划迁移到BigQuery时，我们是否应该在BigQuery中保留这个维度表。
我们如何在BigQuery中重新设计这么大的维度？
浏览 1提问于2019-11-21得票数 0
导出到GCS存储桶的选项已经从BigQuery UI中消失了，取而代之的是“导出到Google Drive”。这是一个我经常使用的大结果的功能，使用导出到Drive根本没有用。这需要很长的时间，而且我不能像在GCS中那样在Drive中以同样的方式工作。还有什么方法可以从BigQuery UI导出到GCS吗？
浏览 10提问于2019-02-23得票数 2
回答已采纳
3回答
当使用从BigQuery读取数据时，我发现它首先将所有数据复制到Google Cloud Storage。然后将这些数据并行读取到Spark中，但当读取大表时，复制数据阶段需要很长时间。那么有没有更有效的方法将数据从BigQuery读取到Spark中呢？
另一个问题:从BigQuery阅读由2个阶段组成(复制到GCS，从GCS并行阅读)。复制阶段是否受Spark簇大小的影响，还是需要固定的时间？
浏览 6提问于2017-01-04得票数 7
回答已采纳
我们需要使用dataflow.Do将数据从Bigquery推送到pubsub作为事件，我们有任何可用于相同的模板(据我所知，使用DF模板的pubsub到BQ是可用的)。如果我们使用数据流机制设置为true -我们需要任何调度器来调用dataflow来获取数据并将数据推送到pubsub吗？请在这方面给我指点一下。
浏览 2提问于2021-10-11得票数 0
如果我使用cp在几个小时内复制一个非常大的文件并决定停止操作，那么rsync是否可以在以后完成操作而不需要重写数据呢？
浏览 0提问于2018-09-01得票数 3
我将将JSON文件中的数据导入到Google BigQuery中，并想知道嵌套字段和添加模式为“重复”的字段是否是最佳实践，以避免重复或保留重复信息以减少嵌套。保留重复信息的另一个原因是，据我所知，BigQuery对非规范化数据的工作效果最好。但是，我不确定这种去正规化是否应该在数据导入之后或之前进行。
例如，假设我的数据是：
嵌套版本
{
"store": "Pete's Market",
"city": "NYC",
"product": [
{
浏览 2提问于2020-05-07得票数 1
我们需要上传数据从我们的日志到谷歌BigQuery，我们有两个子集的日志数据，将不会重叠时，查询。
子集一有一个字段"vendor_id“，它将在WHERE子句中大量使用。
第二个子集是没有"vendor_id“的日志条目。
我们只能使用可空的"vendor_id“字段创建一个表，也可以为每个子集创建两个不同的表。这些套路的性能有什么不同吗？
问候
狮子座
浏览 3提问于2013-04-12得票数 0
回答已采纳
3回答
我使用data选项卡下的Subtotal工具将一大块数据排序到小计字段中。但是，您只能选择一个要应用的公式。
如何根据小计(1，范围)将单独的公式应用于其中一列？到目前为止，我已经用Subtotal (9，RANGE)填充了它，但是有没有更快的方法来选择所有这些并将"9“改为"1"？
浏览 0提问于2012-03-27得票数 10
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
