【视频】In Memory的内部结构和实现机制

小编寄语

罗马不是一日建成的。新特性5分钟系列视频,带你循序渐进学习Oracle12.2的最新特性,相约成长的路上,不见不散!

{ 本期话题 }

In Memory的内部结构和实现机制

知识点补充

01

In-Memory简介:

In Memory特性的引入,主要是提高分析性业务的性能。如果数据库开启了In Memory 存储,则SGA中的数据管理会分为独立的两部分:存储在Buffer Cache中的行数据,和存储在In Memory Store中的列数据。

In Memory存储是通过初始化参数INMEMORY_SIZE来控制的,在默认情况下,INMEMORY_SIZE的值为0,表示未启动列式存储。

02

In Memory的开启和设置

如果需要开启列式存储,需要将INMEMORY_SIZE设置为至少100MB,设置的情况可以通过v$SGA 查询。在12.1版本中,IN-MEMORY的大小设置后,直接修改不生效,需要重启才可以。而从12.2开始,可以动态地修改INMEMORY_SIZE参数,使用以下SQL:

SQL> alter system set inmemory_size=10g;

修改inmemory_size需要满足两个条件:

在SGA中有足够的内存空间;

修改的inmemory_size的值至少比原来的值大128MB。

03

In Memory Store的内部结构

In Memory Store由两个主要的池组成,数据池(Data pool)和元数据池(Metadata pool)

其中数据池包含两类的数据单元,IMCU(In memory compression unit)和IMEU(In memory expression unit)。前者存放列数据,后者存放数据对应的表达式和用户定义的虚拟列。

一个IMCU中包含一个或多个CU(compression unit),每一个CU存储一个列。(注意,一个IMCU中的CU属于同一个对象)当一个CU被添加到IMCU中时,系统会自动创建一个索引并将其存储在IMCU header当中,用于检索。

SMU中主要存储元数据,同时包含Transaction Journal。

04

Transaction Journal的作用及行列数据一致的实现

由于IMCU中的数据是只读的,为了保证行数据和列数据的一致性,当发生DML操作时,数据库在修改Buffer Cache中的数据的同时,会将对应数据的rowid写入到SMU中,并将对应对象标记为stale属性。

而In Memory中的操作则会先访问SMU,如果发现要访问的对象被标记为stale,则会到Buffer Cache中寻找最新的数据,如果没有,则会继续访问IMCU获取数据。

基本示意图如下:

相关进程

1、In Memory coordinator process(IMCO);

2、其对应的slave进程 Wnnn(space management worker processes).

这两个进程的主要作用是完成In Memory Store的条目构建和重构。构建指的是将Buffer Cache中的行数据转换为列数据,进行压缩后存储到IMCU当中;而重构则是对部分IMCU中的数据再次进行更新的过程。

列数据重构的两种实现方式:

1)基于阈值的重构

由于事务的发生,SMU中的部分对象会被标记为stale属性,当属性为stale的对象占SMU的百分比达到一定的阈值,就会发生重构。

2)微重构

不考虑属性为stale的对象的比例,IMCO进程每两分钟会被唤醒一次,进行重构。

视频内容

原文发布于微信公众号 - 数据和云(OraNews)

原文发表时间:2017-09-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏FreeBuf

一则邮件攻击样本分析分享

通过邮件投递病毒文件是网络攻击常用的一种方式,因此防御邮件攻击是每个安全团队都需要重点考虑的内容。中兴通讯每天都会收到数万封外部邮件,为了及时检测每封邮件是否含...

882
来自专栏企鹅号快讯

如何选择TensorFlow安装环境

许多软件都会使用一些库和独立维护的软件包。对于开发者而言,这是一件好事,因为这种做法有利于代码复用,而且他们 可专注于创建新的功能,而无需重复造轮。然而,这种做...

3855
来自专栏Ksher

Kubernetes服务网格(第10部分):服务网格API

翻译人:Ksher,该成员来自云+社区翻译社

20310
来自专栏ATYUN订阅号

RNN示例项目从开发到部署(三):在AWS上部署深度学习模型

虽然我很喜欢为自己建立数据科学和编程项目,但我同样乐于与世界上的任何人在线分享它。幸好,我们以使用AWS(Amazon Web Services),这样我们可以...

1213
来自专栏数据和云

深入内核:从Oracle ASM自动备份头块到ASMFD

张乐奕 云和恩墨副总经理 Oracle ACE 总监 ITPUB Oracle数据库管理版版主、Oracle高可用版版主、ACOUG联合创始人 在 Oracle...

2928
来自专栏瓜大三哥

块RAM的Verilog HDL调用

(1)单端口RAM 模式 单端口RAM的模型如图所示,只有一个时钟源CLK,WE为写使能信号,EN为单口RAM使能信号,SSR为清零信号,ADDR为地址信号,D...

3618
来自专栏Java后端技术

你误解了Windows的文件后缀名吗?

  有很多的小伙伴对windows下的文件后缀名不能很好地理解作用和区别,更不用说高深的使用了,在这里给大家说一下这些文件后缀名到底有什么区别,有什么作用呢?

831
来自专栏Linyb极客之路

灰度发布方案

灰度发布(又名金丝雀发布)是指在黑与白之间,能够平滑过渡的一种发布方式。在其上可以进行A/B testing,即让一部分用户继续用产品特性A,一部分用户开始用产...

9052
来自专栏文渊之博

数据库压缩备份提高备份效率

背景     在数据库的备份过程中有很多参数,前几日发现公司的备份数据库job运行的很慢,就去研究了一下,发现在备份程序中都没有启用压缩,加上压缩以后有发现效率...

2169
来自专栏IT技术精选文摘

缓存更新的套路

看到好些人在写更新缓存数据代码时,先删除缓存,然后再更新数据库,而后续的操作会把数据再装载的缓存中。然而,这个是逻辑是错误的。试想,两个并发操作,一个是更新操作...

3537

扫码关注云+社区