《中国数据库前世今生》观影——2010年代/大数据席卷市场

第4集：2010年代/大数据席卷市场

当时InnoDB还没出现，只有MyIsam

1.MyISAM 只有表级锁，而InnoDB 支持行级锁和表级锁，默认为行级锁；

2.MyISAM 不提供事务支持。而InnoDB提供事务支持；

3.MyISAM不支持外键，而InnoDB支持；

4.MyISAM不支持聚集索引，InnoDB支持聚集索引；

5MyISAM不支持MVCC，InnoDB支持。应对高并发事务，MVCC比单纯的加锁更高效；

大数据席卷

大数据出来后，大家都很关注，这个词经久不衰。大数据是一个框，很多东西和概念都能包含在其中。

在大数据时代，数据更多了，现在算法就是从大数据中学习的，启发人们用数据去推理，用数据来获取机理。

现在的推荐系统就是基于用户数据进行推理，一旦看了一种类型，就会一直推送出来。

noSQL的特点：

1.快，响应很快；

2.缓存出来，用户操作的响应就很快，可能一个响应多2ms看起来不多，但是如果是200个操作呢，这样时间累计起来就很多了；

MongoDB：

json进jison出，面向对象的形式，就可以直接处理；适用于快速迭代的应用场景；

Hadoop：

Hadoop 是一个开放源代码框架，允许使用简单的编程模型在跨计算机集群的分布式环境中存储和处理大数据。它旨在从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储。

Spark：

Apache Spark 是专为快速计算而设计的闪电般的集群计算。它建立在Hadoop MapReduce之上，并且扩展了MapReduce模型以有效地使用更多类型的计算，包括交互式查询和流处理。

Oracle Exadata 是一个企业级数据库平台，它能够以高性能、高可用性和高安全性运行任意规模和重要性的 Oracle Database 工作负载。Exadata 的横向扩展设计进行了独创优化，可使事务处理、分析、机器学习和混合工作负载更快、更高效地运行。通过将企业数据中心、Oracle Cloud Infrastructure (OCI) 和多云技术环境中的 Oracle Database 工作负载整合到 Exadata 平台上，企业可以提高运营效率、减轻 IT 管理负担并降低成本

计算往数据上推，和现在的数据和计算分离的思路恰恰相反；

谓词下推，下推到智能分析中；

Exadata 这样的平台自己是搭不出来的；

谓词下推：

在SQL中，谓词就是返回boolean值即true和false的函数，或是隐式转换为bool的函数。SQL中的谓词主要有 LKIE、BETWEEN、IS NULL、IS NOT NULL、IN、EXISTS

接下来了解什么是谓词下推

谓词下推的基本思想即：

将过滤表达式尽可能移动至靠近数据源的位置，以使真正执行时能直接跳过无关的数据

云数据库的崛起

云数据包含两个阶段：

1.企业自己的数据上云：把数据托管到云上，大多是以开源数据为主

2.云原生数据库：存算分离，解决性能分析

存算分离：大规模池化

云数据时代是一个新的时代，Orcale的包袱太大了，所以他的转弯就比较难。

3.K8s编排：能够把多个数据库进行编排，通过统一的编排就能管理所以的产品；

去IOE运动的始末

从一个公司开始，逐渐演变为全国性的运动：

它是阿里巴巴造出的概念。其本意是，在阿里巴巴的IT架构中，去掉IBM的小型机、Oracle数据库、EMC存储设备，代之以自己在开源软件基础上开发的系统。

即，把Oracle的痕迹去掉，EMC的存储去掉，把IBM的服务器去掉

最后最难的时Oracle去掉，阿里没那么难，中石油最难，即便如此，阿里也花费了相当多的人力和物力。

阿里去IOE时从成本的角度来考虑的，也是从业务上考虑的：

“去IOE”工程的战略价值何在？有三点：

1. 架构灵活支撑业务飞速发展
2. 基础工程技术和人才的积累
3. 大幅降低成本