一个简单的问题:
通过Google处理的数据是否存储在上,并且只是为了GBQ目的而被分割?或者Google拥有自己的存储机制。
我正在努力学习这个体系结构,我看到箭头互相指向对方,但它并没有说明GBQ的体系结构位于哪里?
谢谢。
发布于 2017-08-10 20:42:46
巨型分布式存储 BigQuery依赖于谷歌最新一代的分布式文件系统--巨像。每个谷歌数据中心都有自己的巨像集群,每个巨像集群都有足够的磁盘一次为每个BigQuery用户提供数千张专用磁盘。Colossus还处理复制、恢复(当磁盘崩溃时)和分布式管理(因此没有单一的故障点)。Colossus的速度足够快,可以让BigQuery为许多内存中的数据库提供类似的性能,但是可以利用成本更低但高度并行、可伸缩、持久和性能优良的基础结构。 BigQuery利用ColumnIO的柱状存储格式和压缩算法,以最优的方式以巨像存储方式存储数据,以读取大量结构化data.Colossus,从而使BigQuery用户能够无缝地扩展到存储中的数十个佩特字节,而无需支付附加昂贵得多的计算资源的代价--这在大多数传统数据库中是典型的。
关于ColumnIO的部分已经过时了--BigQuery现在使用的是电容格式 --但其他部分仍然是相关的。
https://stackoverflow.com/questions/45623038
复制相似问题