【视频】In Memory的内部结构和实现机制

小编寄语

罗马不是一日建成的。新特性5分钟系列视频,带你循序渐进学习Oracle12.2的最新特性,相约成长的路上,不见不散!

{ 本期话题 }

In Memory的内部结构和实现机制

知识点补充

01

In-Memory简介:

In Memory特性的引入,主要是提高分析性业务的性能。如果数据库开启了In Memory 存储,则SGA中的数据管理会分为独立的两部分:存储在Buffer Cache中的行数据,和存储在In Memory Store中的列数据。

In Memory存储是通过初始化参数INMEMORY_SIZE来控制的,在默认情况下,INMEMORY_SIZE的值为0,表示未启动列式存储。

02

In Memory的开启和设置

如果需要开启列式存储,需要将INMEMORY_SIZE设置为至少100MB,设置的情况可以通过v$SGA 查询。在12.1版本中,IN-MEMORY的大小设置后,直接修改不生效,需要重启才可以。而从12.2开始,可以动态地修改INMEMORY_SIZE参数,使用以下SQL:

SQL> alter system set inmemory_size=10g;

修改inmemory_size需要满足两个条件:

在SGA中有足够的内存空间;

修改的inmemory_size的值至少比原来的值大128MB。

03

In Memory Store的内部结构

In Memory Store由两个主要的池组成,数据池(Data pool)和元数据池(Metadata pool)

其中数据池包含两类的数据单元,IMCU(In memory compression unit)和IMEU(In memory expression unit)。前者存放列数据,后者存放数据对应的表达式和用户定义的虚拟列。

一个IMCU中包含一个或多个CU(compression unit),每一个CU存储一个列。(注意,一个IMCU中的CU属于同一个对象)当一个CU被添加到IMCU中时,系统会自动创建一个索引并将其存储在IMCU header当中,用于检索。

SMU中主要存储元数据,同时包含Transaction Journal。

04

Transaction Journal的作用及行列数据一致的实现

由于IMCU中的数据是只读的,为了保证行数据和列数据的一致性,当发生DML操作时,数据库在修改Buffer Cache中的数据的同时,会将对应数据的rowid写入到SMU中,并将对应对象标记为stale属性。

而In Memory中的操作则会先访问SMU,如果发现要访问的对象被标记为stale,则会到Buffer Cache中寻找最新的数据,如果没有,则会继续访问IMCU获取数据。

基本示意图如下:

相关进程

1、In Memory coordinator process(IMCO);

2、其对应的slave进程 Wnnn(space management worker processes).

这两个进程的主要作用是完成In Memory Store的条目构建和重构。构建指的是将Buffer Cache中的行数据转换为列数据,进行压缩后存储到IMCU当中;而重构则是对部分IMCU中的数据再次进行更新的过程。

列数据重构的两种实现方式:

1)基于阈值的重构

由于事务的发生,SMU中的部分对象会被标记为stale属性,当属性为stale的对象占SMU的百分比达到一定的阈值,就会发生重构。

2)微重构

不考虑属性为stale的对象的比例,IMCO进程每两分钟会被唤醒一次,进行重构。

视频内容

原文发布于微信公众号 - 数据和云(OraNews)

原文发表时间:2017-09-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏.NET技术

.net core实践系列之短信服务-Sikiro.SMS.Job服务的实现

本篇会继续讲解Sikiro.SMS.Job服务的实现,在我写第一篇的时候,我就发现我当时设计的架构里Sikiro.SMS.Job这个可以选择不需要,而使用MQ代...

652
来自专栏搜云库

Spring Boot 中使用 MongoDB 增删改查

本文快速入门,MongoDB 结合SpringBoot starter-data-mongodb 进行增删改查

3837
来自专栏菜鸟计划

angularjs 缓存详解

一、什么是缓存 一个缓存就是一个组件,它可以透明地存储数据,以便未来可以更快地服务于请求。 缓存能够服务的请求越多,整体系统性能就提升得越多。 二、Angula...

3434
来自专栏Hadoop实操

Impala并发查询缓慢问题解决方案

1902
来自专栏杨建荣的学习笔记

关于闪回区溢出导致的数据hang(r11笔记第12天)

对于Oracle数据库的闪回区的设置,之前和一个同事和讨论过,总体来说有一些不同的意见。 首先这个闪回区是一个逻辑的概念,闪回区的大小不会严格依赖于磁盘空间的情...

34413
来自专栏杨建荣的学习笔记

巧用parallel极速提升数据加载速度(r2第21天)

并行在平时工作中可能不是很注意,因为有时候即使设定了parallel 相关的hint,感觉性能也好不到哪去。这是我以前的感觉。 今天通过一个案例来分享一下通过p...

3266
来自专栏微服务生态

OpenTracing语义标准规范及实现

OpenTracing(http://opentracing.io/)是分布式跟踪系统,当我们把系统拆成服务化,分布式系统的时候,查询一个问题,很可能需要多个登...

1604
来自专栏IT技术精选文摘

从Java视角理解系统结构(三)伪共享

从我的前一篇博文中, 我们知道了CPU缓存及缓存行的概念, 同时用一个例子说明了编写单线程Java代码时应该注意的问题. 下面我们讨论更为复杂, 而且更符合现实...

1867
来自专栏更流畅、简洁的软件开发方式

【自然框架】之通用权限(四):角色表组

      继续,这是第四章了。这里涉及到了资源方面的,不过有点绕,所以这里先介绍一下表结构,在后面的章节里面,再举例子详细介绍。 通用权限想要写的文章目录:(...

2038
来自专栏数据小魔方

批量将本地gis数据导入postgis数据库

以前在处理gis数据的时候,都是直接导入本地shp素材、本地geojson素材,本地topojson素材,自从接触postgis数据之后,深感使用规范的存储系统...

631

扫码关注云+社区