【视频】In Memory的内部结构和实现机制

小编寄语

罗马不是一日建成的。新特性5分钟系列视频,带你循序渐进学习Oracle12.2的最新特性,相约成长的路上,不见不散!

{ 本期话题 }

In Memory的内部结构和实现机制

知识点补充

01

In-Memory简介:

In Memory特性的引入,主要是提高分析性业务的性能。如果数据库开启了In Memory 存储,则SGA中的数据管理会分为独立的两部分:存储在Buffer Cache中的行数据,和存储在In Memory Store中的列数据。

In Memory存储是通过初始化参数INMEMORY_SIZE来控制的,在默认情况下,INMEMORY_SIZE的值为0,表示未启动列式存储。

02

In Memory的开启和设置

如果需要开启列式存储,需要将INMEMORY_SIZE设置为至少100MB,设置的情况可以通过v$SGA 查询。在12.1版本中,IN-MEMORY的大小设置后,直接修改不生效,需要重启才可以。而从12.2开始,可以动态地修改INMEMORY_SIZE参数,使用以下SQL:

SQL> alter system set inmemory_size=10g;

修改inmemory_size需要满足两个条件:

在SGA中有足够的内存空间;

修改的inmemory_size的值至少比原来的值大128MB。

03

In Memory Store的内部结构

In Memory Store由两个主要的池组成,数据池(Data pool)和元数据池(Metadata pool)

其中数据池包含两类的数据单元,IMCU(In memory compression unit)和IMEU(In memory expression unit)。前者存放列数据,后者存放数据对应的表达式和用户定义的虚拟列。

一个IMCU中包含一个或多个CU(compression unit),每一个CU存储一个列。(注意,一个IMCU中的CU属于同一个对象)当一个CU被添加到IMCU中时,系统会自动创建一个索引并将其存储在IMCU header当中,用于检索。

SMU中主要存储元数据,同时包含Transaction Journal。

04

Transaction Journal的作用及行列数据一致的实现

由于IMCU中的数据是只读的,为了保证行数据和列数据的一致性,当发生DML操作时,数据库在修改Buffer Cache中的数据的同时,会将对应数据的rowid写入到SMU中,并将对应对象标记为stale属性。

而In Memory中的操作则会先访问SMU,如果发现要访问的对象被标记为stale,则会到Buffer Cache中寻找最新的数据,如果没有,则会继续访问IMCU获取数据。

基本示意图如下:

相关进程

1、In Memory coordinator process(IMCO);

2、其对应的slave进程 Wnnn(space management worker processes).

这两个进程的主要作用是完成In Memory Store的条目构建和重构。构建指的是将Buffer Cache中的行数据转换为列数据,进行压缩后存储到IMCU当中;而重构则是对部分IMCU中的数据再次进行更新的过程。

列数据重构的两种实现方式:

1)基于阈值的重构

由于事务的发生,SMU中的部分对象会被标记为stale属性,当属性为stale的对象占SMU的百分比达到一定的阈值,就会发生重构。

2)微重构

不考虑属性为stale的对象的比例,IMCO进程每两分钟会被唤醒一次,进行重构。

视频内容

原文发布于微信公众号 - 数据和云(OraNews)

原文发表时间:2017-09-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Brian

Python 性能分析

Python性能分析与优化 一个优秀的程序员,在保证业务正常的条件下都会追求自己的程序更快、更省。更快:运行时间短;更省:相对节省计算机资源(比如:CPU、M...

33011
来自专栏土豆专栏

Java面试之基本概念(二)

当两个线程竞争同一资源的时候,如果对资源的访问顺序敏感,就称存在竞态条件。导致竞态条件发生的代码区称作临界区。

2005
来自专栏性能与架构

Redis 新数据结构 - Streams

1. 为什么添加 Streams 数据流? Stream 数据流的使用越来越多,Redis 的作者 antirez 也在积极思考,如何让 redis 能够很好的...

3126
来自专栏Linux驱动

28.Linux-IIC驱动(详解)

上一节 我们学习了:   IIC接口下的24C02 驱动分析 接下来本节, 学习Linux下如何利用linux下I2C驱动体系结构来操作24C02 1. I2C...

3447
来自专栏nummy

Python time模块学习

time模块提供了一些用于管理时间和日期的C库函数,由于它绑定到底层C实现,因此一些细节会基于具体的平台。

432
来自专栏决胜机器学习

有趣的算法(四)——一致性Hash算法模拟redis集群

有趣的算法(四)——一致性Hash算法模拟redis集群 (原创内容,转载请注明来源,谢谢) 一、概述 redis的集群,对key存储在哪个服务器的问题上,采...

2787
来自专栏程序员宝库

短网址(short URL)系统的原理及其实现

作者: 小猿大圣 https://segmentfault.com/a/1190000012088345 背景 提供一个短址服务。 你有没有发现,我们的任务中出...

3494
来自专栏Java Edge

操作系统之内存管理内存管理3.1 内存管理的概念3.2 内存覆盖与内存交换3.3 内存连续分配管理方式3.4 内存非连续分配管理方式

3796
来自专栏FreeBuf

Android污点分析工具flowdroid源码简析

flowdroid是一款对Android app进行风险分析的应用,下面深入其源码对其工作的流程进行相关的探究。 1、准备 a)下载相关源码(包括soot、he...

5025
来自专栏数说工作室

5分钟看懂模块 || 数说 · 语言

本文是【SAS Says】系列的扩展篇第四文,5分钟带您看懂IML中的模块功能,它类似于创建一个函数。 用20分钟玩手机,不如花5分钟跟Ansta学习SAS。 ...

3448

扫描关注云+社区