前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >【视频】In Memory的内部结构和实现机制

【视频】In Memory的内部结构和实现机制

作者头像
数据和云
发布2018-03-08 10:45:36
8600
发布2018-03-08 10:45:36
举报
文章被收录于专栏:数据和云数据和云

小编寄语

罗马不是一日建成的。新特性5分钟系列视频,带你循序渐进学习Oracle12.2的最新特性,相约成长的路上,不见不散!

{ 本期话题 }

In Memory的内部结构和实现机制

知识点补充

01

In-Memory简介:

In Memory特性的引入,主要是提高分析性业务的性能。如果数据库开启了In Memory 存储,则SGA中的数据管理会分为独立的两部分:存储在Buffer Cache中的行数据,和存储在In Memory Store中的列数据。

In Memory存储是通过初始化参数INMEMORY_SIZE来控制的,在默认情况下,INMEMORY_SIZE的值为0,表示未启动列式存储。

02

In Memory的开启和设置

如果需要开启列式存储,需要将INMEMORY_SIZE设置为至少100MB,设置的情况可以通过v$SGA 查询。在12.1版本中,IN-MEMORY的大小设置后,直接修改不生效,需要重启才可以。而从12.2开始,可以动态地修改INMEMORY_SIZE参数,使用以下SQL:

SQL> alter system set inmemory_size=10g;

修改inmemory_size需要满足两个条件:

在SGA中有足够的内存空间;

修改的inmemory_size的值至少比原来的值大128MB。

03

In Memory Store的内部结构

In Memory Store由两个主要的池组成,数据池(Data pool)和元数据池(Metadata pool)

其中数据池包含两类的数据单元,IMCU(In memory compression unit)和IMEU(In memory expression unit)。前者存放列数据,后者存放数据对应的表达式和用户定义的虚拟列。

一个IMCU中包含一个或多个CU(compression unit),每一个CU存储一个列。(注意,一个IMCU中的CU属于同一个对象)当一个CU被添加到IMCU中时,系统会自动创建一个索引并将其存储在IMCU header当中,用于检索。

SMU中主要存储元数据,同时包含Transaction Journal。

04

Transaction Journal的作用及行列数据一致的实现

由于IMCU中的数据是只读的,为了保证行数据和列数据的一致性,当发生DML操作时,数据库在修改Buffer Cache中的数据的同时,会将对应数据的rowid写入到SMU中,并将对应对象标记为stale属性。

而In Memory中的操作则会先访问SMU,如果发现要访问的对象被标记为stale,则会到Buffer Cache中寻找最新的数据,如果没有,则会继续访问IMCU获取数据。

基本示意图如下:

相关进程

1、In Memory coordinator process(IMCO);

2、其对应的slave进程 Wnnn(space management worker processes).

这两个进程的主要作用是完成In Memory Store的条目构建和重构。构建指的是将Buffer Cache中的行数据转换为列数据,进行压缩后存储到IMCU当中;而重构则是对部分IMCU中的数据再次进行更新的过程。

列数据重构的两种实现方式:

1)基于阈值的重构

由于事务的发生,SMU中的部分对象会被标记为stale属性,当属性为stale的对象占SMU的百分比达到一定的阈值,就会发生重构。

2)微重构

不考虑属性为stale的对象的比例,IMCO进程每两分钟会被唤醒一次,进行重构。

视频内容
本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2017-09-28,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 数据和云 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
对象存储
对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档