典型案例:Oracle数据库中超700TB的LOB存储

Oracle是否适合存储大量的非结构化数据?典型的成功案例是怎样的?

前一段就有朋友向我咨询这样的问题,就 Oracle存储大对象(LOB)的能力、性能和成功案例,我咨询了 Oracle ,提供了一个成功案例在此分享给大家。

英国桑格研究院(Wellcome Trust Sanger Institute)是世界上最重要的生物技术研发中心之一,同时也是将基因研究转化为商业用途的重要基地,目前人类基因研究项目正在该研究院进行。

桑格研究院使用 Oracle 数据库 LOB 形式存储生物基因信息,最新数据是存储容量超过了 700 TB。MPSA是桑格研究院其中的一个系统,数据库使用的是Oracle 11g,采用的SecureFiles存储方式,以下是几年前的公开数据说明,当时的数据容量是 512TB,每周增长4~5TB。

桑格研究院的数据库系统系统架构,采用的是Oracle标准的体系,RAC集群,ASM存储,生产中心是2套4节点的RAC集群,灾备中心是一套4节点RAC集群。

灾备和读写分离架构通过DataGuard实现,参考下图的体系,本地站点和灾备站点各部署了一套物理备库,目前的一个核心项目是:癌症基因组计划。

SecureFiles 是 Oracle Database 11g 的一个新特性,旨在为文件或非结构化数据提供与文件系统媲美的高性能,同时保留 Oracle 数据库 的优势。

可以说SecureFiles 集外部文件与数据库 LOB 方法的优点于一身,可以存储非结构化数据,允许加密、压缩、重复消除等。

下图是Oracle官方文档上给出的性能对比数据:

而且,在12c版本中,SecureFiles的压缩等功能获得大幅度的增强,大对象的存储,去重、压缩将更加节省用户的存储资源。

最后一点是科普,关于 Sanger ,值得我们所有人尊敬的科学家,我摘录了大段来自维基百科的文字,不节略。

弗雷德里克·桑格

弗雷德里克·桑格(Frederick Sanger,1918年8月13日-2013年11月19日),是一位英国生物化学家,曾经在1958年及1980年两度获得诺贝尔化学奖,是第四位两度获得诺贝尔奖,以及唯一获得两次化学奖的人。

早年

桑格于1918年8月13日出生于英国格洛斯特郡,父亲是一位医生。从布莱恩斯滕高中(Bryanston School)毕业后,桑格进入了剑桥大学圣约翰学院,并于1939年完成自然科学文学士学位。他原本打算研究医学,但后来转而对生物化学感兴趣,而剑桥在当时也正好有许多早期的生物化学先驱。桑格在1943年获得哲学博士学位。他在1940年时与玛格丽特·琼·豪(Margaret Joan Howe)结婚,他们育有两个儿子和一个女儿。

蛋白质与DNA序列研究

桑格在1955年将胰岛素的胺基酸序列完整地定序出来,同时证明蛋白质具有明确构造。他利用自己新发现的桑格试剂,也就是2,4-二硝基氟苯(2,4-dinitrofluorobenzene)将胰岛素降解成小片段,并与专门水解蛋白质的胰蛋白酶混合在一起。再将一部分混合物的样本置放于滤纸的一面,并利用一种色层分析方法来做进一步的实验,首先他将一种溶剂从单一方向通过滤纸,同时又让电流以相反向通过。

由于不同的蛋白质片段有不同的溶解度与电荷,因此在电泳后,这些片段最后会各自停留在不同的位置,产生特定的图案。桑格将此图案称为「指纹」;不同的蛋白质拥有不同的图案,成为可供辨识且可重现的特征。之后桑格又将小片段从新组合成胺基酸长链,进而推导出完整的胰岛素结构。因此得出结论,认为胰岛素具有特定的胺基酸序列。这项研究使他单独获得了1958年的诺贝尔化学奖。

1975年时,桑格发展出一种称为链终止法(chain termination method)的技术来测定DNA序列,这种方法也称做「双去氧终止法」(Dideoxy termination method)或是「桑格法」。两年之后,他利用此技术成功定序出Φ-X174噬菌体(Phage Φ-X174)的基因组序列。这也是首次完整的基因组定序工作。他所发明的技术比起当时其他方法使用了较不具毒性的材料。主要是先进行PCR,利用DNA引子和DNA聚合酶使DNA链得以展开复制,再利用双去氧核苷酸(dideoxynucleotides)来终止DNA链的合成。实验会使不同序列的DNA带有不同长度,使其得以经由电泳来做分析。

这项研究后来成为人类基因组计画等研究得以展开的关键之一,并使桑格于1980年再度获得诺贝尔化学奖,与桑格合作研究的沃特·吉尔伯特,以及另一团队的保罗·伯格(Paul Berg)也一同获奖。第二座诺贝尔奖使他成为继玛莉·居礼、莱纳斯·鲍林,以及约翰·巴丁之后的第四位两度获奖者。到了1979年,桑格又与吉尔伯特和伯格一同获得哥伦比亚大学的路易莎·格罗斯·霍维茨奖(Louisa Gross Horwitz Prize)。

近年影响

桑格于1982年退休,英国的维康信托基金会(Wellcome Trust)和医学研究理事会(Medical Research Council),于1993年成立了桑格中心(Sanger Centre),这座研究机构现在称为桑格研究院(Sanger Institute),地点位于英国剑桥,是世界上进行基因组研究的主要机构之一。 2007年,维康信托提供英国生物化学学会(British Biochemical Society)一项补助,使其为桑格从1989年以后的实验研究纪录进行建档及保存。

根据英国医学研究理事会2013年11月20日证实的消息,桑格于19日在剑桥一家医院熟睡中去世。

其他名誉及头衔

1954年成为皇家学会会员(FRS)。

1963年获得英帝国司令勋章(CBE)。

1981年获得名誉勋位(CH)。

1986年获得功绩勋章(OM)。

近期文章

新年贺礼:云和恩墨大讲堂期刊发行

2015 Oracle 十大热门文章精选

Oracle 12c ASM 防火防盗新特性揭秘

DBA入门之路:学习与进阶之经验谈

DBA入门之路:关于日常工作的建议

三十八载,Oracle伴我同行—记我的成长之路

从Approx_Count_Distinct到M7的CPU集成

诊断工具与方法:从OS到数据库

Cloud时代DBA的DevOps最佳实践 - SQL 审核

Oracle Database 12.2新特性详解

原文发布于微信公众号 - 数据和云(OraNews)

原文发表时间:2016-01-08

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

艾伦脑科学研究所发布全球第一个活人脑细胞数据库,有助揭开人脑认知机制

【新智元导读】据 Science 报道,艾伦脑科学研究所公布了首个活人脑细胞开放获取数据库。该数据库包含了 36 名捐献者的 300 个大脑皮层神经元电属性数据...

32212
来自专栏机器人网

遥控农业采摘机器人设计

目前采摘机器人研究重点大多集中在视觉系统对果实目标的识别和定位上,利用摄像头获取果实图片信息,通过复杂的图像信号处理算法,编制程序进行逻辑处理,实现果实判断,发...

35911
来自专栏机器人网

电气自动化工程师的注意事项

1、精通工艺过程 自动化工程师往往关注控制方案和方法,而不重视工艺原理,这种想法是不可取的。例如,在锅炉控制系统中,汽包液位是一个重要的控制参数,它反映了锅炉...

2546
来自专栏一个会写诗的程序员的博客

Java之父们 : James Gosling , Alan Kay,Bill Joy,Joshua Bloch,Rickard Oberg,Doug Lea,Rod Johnson,Kent Be

Java之父们 : James Gosling , Alan Kay,Bill Joy,Joshua Bloch,Rickard Oberg,Doug Lea...

683
来自专栏互联网杂技

让你笑喷的IT趣图 只有互联网人才能看懂

1 不可能,我写的代码怎么会有问题 不可能!!! 我的代码怎么会有问题呢!!! 这一定是机器问题!!! ? 2 史上最牛叉的程序员! ? 本人学识渊博、经验丰富...

3227
来自专栏思影科技

急性睡眠剥夺和慢性睡眠限制后个体调制睡眠稳态的压力增长

瑞士苏黎世大学的MaricAngelina、Huber Reto等人在Sleep杂志上发表了一项研究,用来解释急性睡眠剥夺、慢性睡眠限制对大脑的神经活动的影响及...

3587
来自专栏机器人网

涨知识!原子是如何被发现,并进行核能利用的?

原子是一种非常神奇的粒子,它拥有复杂的结构,自然而然会发生神奇的变化。整个世界都是由大量微小的原子组成,原子又是由中子、质子和电子组成。两百多年来,科学家为了证...

2494
来自专栏机器人网

懂点儿数学,排队更省时

---- 要是刘姥姥来到21世纪,把每一座大都市都逛上几圈,她一定会觉得都市人最喜欢的娱乐就是排队。早在1946年,匈牙利裔的作家乔治·米克斯(George ...

2576
来自专栏腾讯数据中心

浅谈数据中心应急冷源

一.引言 数据中心作为信息通讯的中枢,持续运转的服务器将产生大量的热量,若不及时将热量排出,聚集的热量将会引起服务器高温,从而影响设备稳定运行。 精密空调系统作...

3203
来自专栏量子位

详解谷歌第二代TPU:功耗性能究竟如何?巨头想用它干什么?

安妮 陈桦 编译自 The Next Platform 量子位 报道 | 公众号 QbitAI 在上周召开的Google I/O 大会上,谷歌正式公布了第二代T...

3064

扫描关注云+社区