在作业中读取bigtable上的大型查询表花费的时间太长
在作业中读取bigtable上的大型查询表花费的时间太长
提问于 2022-12-02 16:46:58
我有一个数据流作业，它从bigquery表(在大表之上创建)读取。数据流作业是使用java中的自定义模板创建的。我需要处理bigquery的大约5亿条记录。我面临的问题甚至是读取100万条记录，大查询读取需要26分钟，数据流工作需要36分钟。在大查询中读取太慢。
任何关于如何提高阅读性能的建议。
回答 1
Stack Overflow用户
发布于 2022-12-03 10:20:45
您可以尝试提高BigQuery作业的读取性能：
- 使用查询优化技术，例如使用
WHERE子句过滤掉不相关的数据，使用GROUP BY或ORDER BY来减少需要处理的数据量。
- 使用分区表将数据分布在多个节点上，这可以通过允许查询并行地在多个节点上运行来提高读取性能。
- 使用诸如Parquet或ORC之类的列数据存储格式，这可以通过只读取查询所需的列来提高读取性能。
- 使用聚类方法根据查询中经常使用的列组织数据，这可以通过减少需要扫描的数据量来提高读取性能。
总之，优化查询和数据存储以提高BigQuery作业的读取性能是很重要的。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/74658971
复制相关文章
相似问题
腾讯云开发者
