浅谈大数据Bigtable与MapReduce、GFS有何联系

在处理海量数据的过程中,关系型数据库的局限性会较为突出,因为其二维表的存储结构有时并不适用于行与列的搜索和计算。在Hadoop体系下,人们可以用HBase,而MapReduce作为其底层的计算工具,这是常见的大数据处理模式。后来,Google对其进行了改进,放弃MapReduce,随之用Bigtable加以取代。相比于MapReduce而言,Bigtable对其计算性能和安全性能进行了改进,在吸收关系型数据库的基础上,Bigtable采用采用分布式存储技术、并发数据处理,动态伸缩性也大为加强,加强了用户对数据分布和格式的动态控制。

如果说Bigtable在海量数据计算方面较为突出,那么用于存储这些海量数据的就是GFS。GFS也是Google开发的大型分布式数据存储架构,其优点一个是数据量大,一个是可以在成本低廉的硬件上加以实施。其存储架构分为一个主服务器和多个分服务器。主服务器可用于记录存储位置、对文件系统进行运行和维护、回收其他服务器上的垃圾等。下面再详细说明一下GFS与MapReduce的关系。

通常GFS用于存储海量数据,文件系统将数据在各个节点冗余复制。在某种程度上MapReduce可以对GFS进行补充,以便充分利用GFS中廉价的服务器所提供的CPU。和GFS一起构成了处理海量数据的核心力量,构建类似于Google的搜索索引也是一样的。但是这两个系统都缺乏实时随机存取数据的能力,在web应用处理方面还有所欠缺。

GFS的不足之处除了上述以外,在这一系统中并不适合存储非常大的文件,而不适合存储成千数万的小文件,例如社交平台上的图片,因为文件的众多数据信息最终要存储在主节点的内存中,文件数量庞大会导致服务器运行缓慢。

针对上述存在的问题则需要一个能够驱动交互应用的解决方案,而且能同时利用以上两种基础架构和依靠GFS 存储的数据冗余和数据可用性较强的特点。可以将存储的数据进行拆分从而转换成较小的条目,然后由系统将这些小记录聚合到非常大的文件中,同时提供索引排序,使用户可以查找最少的磁盘就能够获得所需要的数据。尚学堂陈老师指出,做好这些工作的目的是要让它能够及时存储爬虫的结果,与MapReduce协作生成搜索索引。由于摒弃了一些关系型数据库的特性,所以可采用简单的API来进行增删改查操作,同时加一个扫描函数,以在较大的键范围或全表上迭代扫描,最终形成一个管理结构化数据的分布式存储系统BigTable。

以上介绍了Bigtable的形成过程,从而引出其与MapReduce和GFS之间的关系,这也是在了解Bigtable的过程中所必须掌握的常识。

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180320A0S4XI00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券