物化视图全量刷新与insert的redo生成量测试(69天)

之前的一篇博客中提到,物化视图的全量刷新也是一种高可用性的体现,但是性能如何呢,下面来简单的测试一下。

首先需要创建一个函数,这个函数会计算当前session下的一些指标信息。比如redo的生成量。

  CREATE OR REPLACE FUNCTION "GET_STAT_VAL" (p_name in varchar2) 
   return number 
as 
l_val number; 
begin 
select b.value into l_val from v$statname a,v$mystat b 
where a.statistic#=b.statistic# 
and a.name=p_name; 
return l_val; 
end;
/

然后创建一个shell脚本test.sh,这样就可以直接来运行sql语句,马上得到结果了。脚本内容如下:

sqlplus -s xxx/xxxx <<EOF 
set echo on 
set feedback off 
variable redo number 
exec :redo :=get_stat_val('redo size'); 
prompt start to gather redo size ... 
set serveroutput on 
set timing on 
alter system flush buffer_cache; 
$1 
--prompt finished gather redo size ... 
set timing off 
exec dbms_output.put_line((get_stat_val('redo size')-:redo)||' bytes of redo generated...'); 
EOF 
exit

首先来创建基表

SQL> create table tab_test tablespace pool_data as select *from dba_objects;
Table created.
SQL> select bytes from dba_segments where segment_name='TAB_TEST';
     BYTES 
---------- 
   2097152

然后使用Insert into tab_test select *from tab_test;然数据自增。达到24M左右的样子。

SQL> select bytes from user_segments where segment_name='TAB_TEST';
     BYTES 
---------- 
 24117248
SQL> commit;
Commit complete.

创建物化视图,默认使用全量刷新,可以看到生成的redo和物理段的大小基本一致。

$ ksh test.sh "create materialized view mv_test as select *from tab_test;" 
start to gather redo size ... 
Elapsed: 00:00:00.11 
Elapsed: 00:00:02.87 
23327504 bytes of redo generated...

然后创始全量刷新,发现redo量有了极大的增长,一下子达到了100多M. 响应时间从2秒一下子涨到了13秒。

$  ksh test.sh "exec dbms_mview.refresh('MV_TEST','C'); " 
start to gather redo size ... 
Elapsed: 00:00:00.83 
Elapsed: 00:00:13.36 
102212976 bytes of redo generated...

是不是所有的场景下全量刷新都会这么慢呢,看下面的例子。先truncate掉,然后再次全量刷新。发现响应时间一下子又恢复了2秒的样子。

$ ksh test.sh "truncate table mv_test;" 
start to gather redo size ... 
Elapsed: 00:00:25.13 
Elapsed: 00:00:00.17 
65220 bytes of redo generated...
$ ksh test.sh "exec dbms_mview.refresh('MV_TEST','C');" 
start to gather redo size ... 
Elapsed: 00:00:15.02 
Elapsed: 00:00:01.65 
23112468 bytes of redo generated...

如果已经刷新过,再次刷新,redo量又开始达到100M左右,我感觉物化视图刷新的过程中,对已有数据的刷新,又要删除原有数据,又要保证数据的读一致性,可能在实现上性能不够理想。

$ ksh test.sh "exec dbms_mview.refresh('MV_TEST','C');" 
start to gather redo size ... 
Elapsed: 00:00:14.86 
Elapsed: 00:00:11.13 
102370296 bytes of redo generated... 
$

下面来看看普通表的Insert性能相比物化视图刷新的情况,创建表insert_test。

首先来测试一下表在nologging的时候redo的情况,可以看到redo生成量只有118k左右。

create with nologging 
$ ksh test.sh "create table insert_Test tablespace pool_data nologging as select *from tab_test;" 
start to gather redo size ... 
Elapsed: 00:00:23.48 
Elapsed: 00:00:02.88 
117892 bytes of redo generated...

毕竟nologging使用的场景有限,在没有确认备份和业务需要的时候,不建议这么做。来看看默认使用Logging的时候。redo生成量和物理段基本一致。

create with logging 
$ ksh test.sh "create table insert_test tablespace pool_data as select *from tab_test;"          
start to gather redo size ... 
Elapsed: 00:00:00.08 
Elapsed: 00:00:01.96 
23291008 bytes of redo generated...

然后尝试truncate以后,使用insert插入数据。

$ ksh test.sh "truncate table insert_test;" 
start to gather redo size ... 
Elapsed: 00:00:00.06 
Elapsed: 00:00:00.16 
62956 bytes of redo generated...

如果使用insert append的方式插入,测试的这个库在archive的模式下,可以看到性能没有什么变化。

$ ksh test.sh "insert into /*+append */ insert_test select *from  tab_test;" 
start to gather redo size ... 
Elapsed: 00:00:03.15 
Elapsed: 00:00:01.60 
23085680 bytes of redo generated...

使用常规的insert的时候,redo生成量也没有明显的变化。

ksh a.sh "insert into insert_test select *from tab_test;" 
start to gather redo size ... 
Elapsed: 00:00:00.09 
Elapsed: 00:00:01.34 
23078764 bytes of redo generated...

这么看materialized view和insert的性能没有明显的差别。

可以考虑使用parallel让性能提升一个层次。

首先设置object级别的parallel

$ ksh a.sh " alter table insert_test parallel 2;" 
start to gather redo size ... 
Elapsed: 00:00:00.06 
Elapsed: 00:00:00.08 
2224 bytes of redo generated...

然后开启session级别的parallel,就是在test.sh里面加入一句

alter session enable parallel dml;

然后执行,可以看到redo的生成量才18K的样子,性能确实有了很大的提升。

ksh a.sh "insert into insert_test select *from tab_test;" 
start to gather redo size ... 
Elapsed: 00:00:00.10 
Elapsed: 00:00:00.01 
Elapsed: 00:00:04.19 
17908 bytes of redo generated...

看到并行的效果这么明显,难道物化视图刷新就没有并行吗,可以的,不过性能也确实没有什么提升,不知道自己设置的参数不够合理还是本来物化视图的实现细节复杂。

ksh a.sh "exec dbms_mview.refresh('MV_TEST','C',PARALLELISM=>2);" 
start to gather redo size ... 
Elapsed: 00:00:24.23 
Elapsed: 00:00:11.30 
102474472 bytes of redo generated...

由上可以看到,物化视图的刷新在性能和灵活性上没有普通表那么灵活。生成的Redo量要比普通表多,但是考虑到高可用性的使用,还是不错的选择,毕竟物化视图的优点不在于此,增量刷新和查询重写才是它的亮点所在。

原文发布于微信公众号 - 杨建荣的学习笔记(jianrong-notes)

原文发表时间:2014-05-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏小狼的世界

kubeadm安装kubernetes V1.11.1 集群

如果想要用二进制方法安装最新版本的Docker,可以参考我之前的文章在Redhat 7.3中采用离线方式安装Docker

6701
来自专栏大魏分享(微信公众号:david-share)

厉害了!全CI/CD工具链的实现 | 基于OCP离线: Openshift3.9学习系列第五篇

干货巨献:Openshift3.9的网络管理大全.加长篇---Openshift3.9学习系列第二篇

2534
来自专栏耕耘实录

Docker初体验,关于Dockerfile那点事

版权声明:本文为耕耘实录原创文章,各大自媒体平台同步更新。欢迎转载,转载请注明出处,谢谢

972
来自专栏乐沙弥的世界

调整联机重做日志大小(change redo log size)

      Oracle 联机日志加上Oracle归档日志记录了整个数据库完整的变更信息。是Oracle体系结构中的重要组成部分。因此联机日志的规划也相当重要。...

863
来自专栏从零学习云计算

Docker学习记录(2)——JAVA应用容器化(JAVA博客应用Solo)

以GitHub上一个开源JAVA博客应用为例,地址为:https://github.com/b3log/solo。它的项目结构是基于Maven的要求布置的,通过...

2360
来自专栏iOSDevLog

Docker Cheat Sheet

“使用Docker,开发人员可以使用任何工具链以任何语言构建任何应用程序。”Dockerized“应用程序完全可移植,可以在任何地方运行 - 同事的OS X和W...

1202
来自专栏技术翻译

在K8s群集中构建容器映像

了解如何从Kubernetes集群内的Dockerfile构建容器映像源,并将映像推送到IBM Cloud Container Registry; 所有这一切都...

1651
来自专栏问天丶天问

Kubernetes-Host网络模式应用

3465
来自专栏耕耘实录

Kubernetes的Rolling Update实战

版权声明:本文为耕耘实录原创文章,各大自媒体平台同步更新。欢迎转载,转载请注明出处,谢谢

1051
来自专栏实战docker

Docker下,pinpoint环境搭建

在上一章《Docker下,极速体验pinpoint1.6.3》中,我们快速体验了pinpoint的监控和调用链跟踪的服务,本章我们一起来了解pinpoint环境...

4169

扫码关注云+社区