这些应用对Bigtable的侧重点不同，但是他们都是海量数据和实时性的应用。尽管需求变化多端，Bigtable很好的提供了一个灵活多变，高性能额解决方案。 Bigtable不支持完全的关系数据模型；相反，它给客户端提供了一种简单的数据模型，这种数据模型支持对数据分布和格式的动态控制，并且允许客户端推出底层存储中数据的分布特性。 最后一点，调整Bigtable的模式参数能让客户端动态控制是从内存还是硬盘提供数据。 2. DATA MODEL 一个Bigtable 集群是一系列运行Bigtable软件的进程。 Bigtable目前还不迟滞跨行事务，尽管其给客户机提供了一个接口可以跨行批量写入。第二，Bigtable允许单元格充当整数计数器。 ；存储Bigtable模式（见5.5）。
有关系行数据库经验的人（比如我），在最初接触HBase这样的数据库时，对数据结构的理解容易遇到障碍。会不自觉的将HBase的行、列等概念映射成关系型数据库的行、列。 很不幸的是，这两个伟大的系统在其概念中包含了table和base两个词，这往往会导致一些人（比如我） 把它们跟关系型数据库的东西搞混淆。 本文旨在从概念的角度描述这些分布式数据存储系统。 一切都在术语中 幸运的是，Google的BigTable论文清楚地解释了BigTable究竟是什么。这是“数据模型”部分的第一句话： ? “列（column）”这个词是另一个加载的词，如“table”和“base”，它传承了多年关系型数据库经验的情感包袱。 如果您已经按照本文的基于映射（map-based）的术语来思考Hbase / BigTable，而不是用关系型数据库中的相似概念去思考，那么本文的目的就达到了。
热卖云产品年终特惠，2核2G轻量应用服务器7.33元/月起，更多上云必备产品助力您轻松上云
Google's BigTable 原理 （翻译） 题记：google 的成功除了一个个出色的创意外，还因为有 Jeff Dean 这样的软件架构天才。 首先，BigTable 从 2004 年初就开始研发了，到现在为止已经用了将近8个月。 根据Google的一贯做法，内部开发的BigTable是为跑在廉价的PC机上设计的。BigTable 让Google在提供新服务时的运行成本降低，最大限度地利用了计算能力。 BigTable 作为服务运行。 好像：每个服务比如： maps 和 search history 历史搜索记录都有他们自己的集群运行 BigTable。 他们还考虑运行一个全局的 BigTable 系统，但这需要比较公平的分割资源和计算时间。
Bigtable被称为谷歌的三驾马车之一，主要面向谷歌的结构化数据存储,其思想被许多nosql数据库继承。 Bigtable建立于GFS和Chubby之上，而为MapReduce服务,可以说是承上启下。 SSTable，因此用标记清扫法，删除时标记即可 LSM Tree 后来业界专门给谷歌这种数据结构取了名字叫做Log Structured-Merge Tree, 谷歌的实现只有L0，又新增了层次化处理新旧关系 云时代下的Bigtable 估计指的是后来2012OSDI的Spanner。 维护过于复杂的关系模型 Observation: 获取数据通过Chubby不经过Master + LSM Tree + 无意义数据 Solution: Chubby利用页表机制寻址, 数据通过WAL持久化然后逐渐转移到
在学习HBase（Google BigTable 的开源实现）的时候，我们面临的最为困难的地方就是需要你重构你的思路来理解 BigTable 的概念。 非常不幸的是，在 BigTable 和 HBase 中都出现了 table 和 base 这两个概念，这很容易让我们与RDBMS（关系型数据库管理系统）产生联想。 术语 幸运的是，Google 的 BigTable Paper 清楚地说明了 BigTable 的真正含义。 这是’数据模型’部分的第一句话： Bigtable 是一个稀疏的，分布式的，持久化的多维有序 Map。 Map HBase/BigTable 的核心是 Map。
那么不得不提及谷歌的第三驾马车“BigTable”。 背景？ 上图是摘自 BigTable 的论文，老图配新曲，在此处主要用来阐述 BigTable 产生的其中一个背景，从中我们能够得出如下公式。 Bigtable 是一个分布式的结构化数据存储系统，它被设计用来处理海量数据：通常是分布在数千台普通服务器上的 PB 级的数据。 说清楚 BigTable 存储啥样子？ 看透彻 BigTable 存储啥样子？一张图（一瓢饮） ? 一段话（一箪食）+ 一张图（一瓢饮） = BigTable（足矣）。
值得注意的是，看Bigtable的内容千万不要带着关系型数据库的思维，建议看之前看看《数据密集型应用系统设计》的第三章，里面提到了LSM-Tree以及大数据系统设计思想，或者看看个人之前写的文章 [《数据密集型型系统设计 GFS和BigTable的关系。 Chubby。 LSM-Tree 数据结构。 SSTable（LSM-Tree）。 但是Bigtable并不支持完整的关系型数据模型；而是为客户端提供了一种简单的数据模型，客户端可以动态地控制数据的布局和格式，并且利用底层数据存储的局部性特征。 首先看看BigTable和GFS 是什么关系呢？ 而图中的metatable原数据表可以看作是和SSTable绑定的类似索引的关系，元数据表的数据是不能被外界访问的，外界访问的是元数据对应的SSTable分片。
值得注意的是，看Bigtable的内容千万不要带着关系型数据库的思维，建议看之前看看《数据密集型应用系统设计》的第三章，里面提到了LSM-Tree以及大数据系统设计思想，或者看看个人之前写的文章 [[《 GFS和BigTable的关系。 Chubby。 LSM-Tree 数据结构。 SSTable（LSM-Tree）。 但是Bigtable并不支持完整的关系型数据模型；而是为客户端提供了一种简单的数据模型，客户端可以动态地控制数据的布局和格式，并且利用底层数据存储的局部性特征。 首先看看BigTable和GFS 是什么关系呢？ 而图中的metatable原数据表可以看作是和SSTable绑定的类似索引的关系，元数据表的数据是不能被外界访问的，外界访问的是元数据对应的SSTable分片。
两种数据库 关系数据库（RDBMS）缺点： 糟糕的 海量数据处理能力、僵硬的设计约束 从 Google 的 BigTable 开始，一系列可以进行海量数据存储与访问的数据库被设计出来，NoSQL 这一概念被提了出来 NoSQL，主要指非关系的、分布式的、支持海量数据存储的数据库设计模式。 关系数据库是在数据存储中包含了一部分业务逻辑 而 NoSQL 数据库则简单暴力地认为，数据库存储数据，业务逻辑由应用程序处理 2. HBase 可伸缩架构 3. 列族最早在 Google 的 BigTable 中使用，这是一种面向列族的稀疏矩阵存储格式，如下图所示。
因为BigTable借用了很多的关系数据库的术语来表示并非是关系数据库的东西，所以我们的理解就似是而非了。这篇文章我们先聊一聊BigTable的数据模型。 BigTable的论文是这样解释BigTable的： A BigTable is a sparse, distributed, persistent multidimensional sorted map 我这里用key1，key2，key3是希望大家不要再去联想那个有行有列的对我们非常熟悉的关系数据库里面的表。说白了，就是key和value的一个很简单的数据模型。 Sparse：说白了这个Map非常的sparse，不像我们理解的关系数据库里面的表那样，每个行列组成的格子里面都有值。 从上述查询来看，其实key3叫timestamp还算合理，但是key1和key2分别叫row和column则有些坑爹，加上整个Map又被叫成了Table，所以我读的时候总是会联想到那个关系数据库里面行列组成的
依赖关系，可以理解成“USE-A”关系即使用关系。 依赖关系是一种使用关系，如果A类中的某个方法使用了B类对象，那么就可以说A类依赖B类。 也就是说A类对象如果要使用方法f，就必须要一个B类对象作为参数方可实现，这种情况被称为A依赖B 注意：依赖的使用关系不只是局限在参数的使用，包括在内容中使用B对象也是一种依赖关系 发布者：全栈程序员栈长
BigTable是一个非常复杂的系统，发表的论文写得并不是很清楚。所幸Google开源了LevelDB这个Key-Value Store。 这个项目的作者是Jeff Dean和Sanjay Ghemawat，被认为很大程度上重复使用了BigTable在单个节点上的实现，故而使得我们可以通过对LevelDB的代码的阅读获得进一步的了解。 在BigTable的实现上，一个BigTable的cluster有一个client library，一个Master server和很多个的Tablet Server组成的。 那么，client是怎么样实现对BigTable的访问的呢。这需要用到Chubby。 Chubby是一个highly distributed lock service。 当然，就像任何一个类似的系统一样，BigTable的recovery基于log，所有的写操作进内存之前写进log。
Bigtable不支持完整的关系数据模型；与之相反，Bigtable为客户提供了简单的数据模型，利用这个模型，客户可以动态控制数据的分布和格式（alex注：也就是对BigTable而言，数据是没有格式的 每个DB2的服务器都负责处理存储在一个关系型数据库中的表中的行的一个子集。这些产品都提供了一个带有事务功能的完整的关系模型。 两个系统在API接口函数上有很大的不同：C-Store操作更像关系型数据库，而Bigtable提供了低层次的读写操作接口，并且设计的目标是能够支持每台服务器每秒数千次操作。 C-Store同时也是个“读性能优化的关系型数据库”，而Bigtable对读和写密集型应用都提供了很好的性能。 新的使用者有时不太确定使用Bigtable接口的最佳方法，特别是在他们已经习惯于使用支持通用事务的关系型数据库的接口的情况下。
许多任务使用关系数据库中的数据来训练增强回归树模型。本文给出了一种用于增强回归树训练的贪婪算法的关系自适应算法。对于计算数据集残差平方和的子问题，我们利用张量素描技术提供了一个(1 + ǫ)近似。 在关系增强回归树算法中使用这种近似可以学习相似的模型参数，但具有渐近更好的运行时间。 关系增强回归树状关系.pdf
这个项目的作者是Jeff Dean和Sanjay Ghemawat，被认为很大程度上重复使用了BigTable在单个节点上的实现。LevelDB为我们对BigTable的实现提供了重要的学习资料。 在BigTable的实现上，一个BigTable的cluster由一个client library，一个Master server和很多个的Tablet Server组成。 那么，client是怎么样实现对BigTable的访问的呢? 这是BigTable比较精密的difference。这需要用到Chubby。 我想这个实现和BigTable应该很不一样。 在BigTable里， SSTable(Sorted Strings Table)是一个基本的单元。每个Tablet有若干个SSTable。 当然，就像任何一个类似的系统一样，BigTable的recovery基于log，所有的写操作进内存之前写进log。
（1）实体类型的转换 将每个实体类型转换成一个关系模式，实体的 属性 即为关系的 属性，实体标识符即为关系的键。 （2）联系类型的转换 实体间的关系是1对1 在实体类型转换成两个关系模式中的任意一个关系模式的属性中加入另一个关系模式的键和联系类型的属性。 实体间的联系是1对N 则在N端实体类型转换成的关系模式中加入1端 实体类主键。 如实体间的联系是M对N 单独将 联系类型 也转换成关系模式。将M和N端的主键都加进去。 示例：该ER图转换为关系模型 商店 和 职工是一对多关系，一个商店有多个职工，而一个职工只能属于一家商店；即职工是多端，在职工的关系模型中加入商店的主键，作为职工关系模型的外键 商店（商店编号，商店名 ，地址） 职工（职工编号，姓名，性别，商店编号） 商店和商品是多对多，可以将二者的联系类型 销售 也转换成关系模型 商品（商品号，商品名，规格，单价） 销售（商店编号，商品号，月销售量） 一般主键加下划线
用例关系（包含、扩展、泛化） UML类关系（依赖、关联、聚合、组合、泛化） 用例关系 用例图使用户 与开发人员交流的一种重要的方式，是对用户需求的一种描述。开发人员从用户的角度整体上理解系统的功能。 用例 “注册学生信息”和“充值”与用例“用户登录”之间的关系就是包含关系。b和a本质不一样，就是做b之前一定要做a，那a和b就是包含。 如图 ? 扩展用例 只有在基本用例满足某种条件的时候才会执行。 用例“会员注册”和“电话注册”、“邮件注册”之间是泛化关系。本质都是一样的，都是注册，而且一样大。 UML类关系 类 在UML中，我们用分成三栏的长方形表示。 虽然组合和聚合我们都说“有”什么，但是这个“有”是不同的，他体现的是一种contains-a的关系，这种关系比聚合更强，也称为强聚合；他同样体现整体与部分间的关系，但此时整体与部分是不可分的，整体的生命周期结束也就意味着部分的生命周期结束 实现 接口与类的关系。
关系代数的五个基本操作： 并（Union）：设关系R和S具有相同的关系模式，R和S的并是由属于R或属于S的元组构成的集合，记为R∪S。 差（Difference）：设关系R和S具有相同的关系模式，R和S的差是由属于R但不属于S的元组构成的集合，记为R-S。 关系代数的四个组合操作： 交（Intersection）：由即属于R又属于S的元组构成的集合，记为R∩S。这里要求R和S定义在相同的关系模式上。 赋值：赋值运算符“←”，通过把临时变量赋值，可以把关系代数分开写，以把复杂的表达式化整为零，成为简单的表达式。注意：赋值操作不执行关系操作，仅仅是保存关系形式，该表达式可以重复使用。 如果关系模式不同，构成的新关系的属性由两者的所有属性组成（公共属性只取一次），新关系的元组由属于R或S的元组组成，同时在元组新增加的属性上填上空值，这种操作称为“外部并”。
模型关系 关系数据库的威力体现在表之间的相互关联，Django提供了三种最常见的数据库关系：多对一 （many-to-one），多对多（many-to-many），一对一（one-to-one） 多对一关系 多对多关系 一对一关系 多对一 django是使用django.db.models.ForeignKey 定义多对一关系 ForeignKey需要一个位置参数来指定本Model关联的Model ，ForeignKey关联的Model 是"一", ForeignKey所在的Model是"多" 比如汽车和制造商的例子，一辆汽车只能属于一个制造商，但是一个制造商有多辆汽车，这个关系，用Django 如果不仅仅需要知道两个Model之间是多对多的关系，还需要知道这个关系的更多信息，比如Person和Group是多对多的关系，每个person可以在多个group里，那么group里可以有多个person django.db.models.OneToOneField来实现的，被关联的Model会被加上 Unique的限制，OneToOneField要一个位置参数，与模型关- 联的类 当某个对象想扩展自另一个对象时，最常用的方式就是在这个对象的主键上添加一对一关系
TDSQL-C是腾讯云自研的新一代高性能高可用的企业级数据库。云原生数据库的数据库架构将传统数据库与云计算的优势相结合，完全兼容MySQL和PostgreSQL，具有更高的性价比，更灵活的弹性扩展，可实现超百万级QPS的高吞吐，128TB海量分布式智能存储。
扫码关注腾讯云开发者
领取腾讯云代金券
云服务器
云数据库 SQL Server
网站备案
文件存储
SSL 证书
