YH10:分布式存储解决方案zData

云和大数据时代的到来导致各行各业数据量的爆发,面对业务数据的日益剧增,企业的IT系统在性能、稳定性和扩展性等方面都面临前所未有的巨大挑战。如何有效应对云和大数据的浪潮去拥抱变化,成为企业迫切面临的问题。

数据驱动的时代,一切竞争的核心都会归结于IT系统的竞争,然而传统数据库系统架构面临以下困境:

1、中心化的存储系统成为I/O存取的瓶颈,扩展成本高昂

2、小型机+高端存储,成本高昂,相对比较封闭,扩展能力差。

3、复杂的系统带来部署及操作、运维和管理的复杂性

分布式存储解决方案zData

为更好地保障企业数据安全,数据一致性和业务连续性,同时能够低成本、灵活地进行系统扩展和变更,帮助企业实现云化的系统转型,云和恩墨专家团队基于多年的数据服务经验,研发出一套分布式存储解决方案 zData.

zData方案以x86服务器为基础,使用闪存卡、InfiniBand 交换机,为Oracle 数据库提供超高处理能力和IO吞吐量。

zData 超高性能指标

zData Light Storage存储软件可支持10000个设备,最大容量20P,最大支持1024个存储节点,单个节点支持设备数31,计算节点支持32个,资源池最大为64个,支持不同存储介质构成的存储资源池。高达超百万IOPS,吞吐量超过10GB/s

由于采用开放的x86架构,以及高带宽和低延迟的InfiniBand网络,可以随时在线增加存储容量、存储节点和数据库节点,实现随时扩容,以及扩容后系统性能和处理能力的近线性增长。

zData方案以下面两种形态为企业提供优质服务:

分布式存储管理软件zData Light Storage

zData Light Storage 充分利用基于x86服务器的内部直连式存储来创建虚拟的、可扩展的 SAN,性能优于外部传统光纤通道 SAN,而成本和复杂性成倍降低。支持 InfiniBand 网络下的 RDMA 协议,大幅减少 CPU 占用的同时能够显著降低 IO 访问延迟,具有无可比拟的性能优势。

在基准测试下,三个存储节点的zData架构,可以实现近 100万 IOPS,以及超过10GB/s的吞吐量。

zData 数据库一体机

zData 数据库一体机是云和恩墨自主研发的超融合解决方案,通过高带宽、低时延的 InfiniBand 互联,将高性能X86服务器节点和以闪存为核心的分布式存储,实现了资源池化,动态资源与性能的线性扩展,配合具备多租户功能的数据库软件实现多租户集中管理、高可用性、可扩展性的云数据库服务,为用户企业解决当前性能瓶颈和未来的资源敏捷扩展问题,大幅改善用户企业管理和性能体验。

在满足企业高性能需求的同时,zData 数据库一体机实现了一站式交付,一键式部署,自动化运维,不但降低对IT人员的技能要求,而且大幅节省客户采购和管理成本,从而很好的解决了传统IT架构对企业所带来的一系列负面影响。另外,zData 可以轻松实现计算资源和存储资源随业务变化的多维动态发展、性能线性增长以及动态添加磁盘和存储节点需求。

资源池化实现快速部署和动态扩展

传统的IT系统扩展和变更从硬件的选购配置到数据库的安装,会带来高昂的时间和人力成本。现在基于zData的PaaS平台,能够低成本、低要求的实现数据库的部署、运维和扩展,通过zData分布式存储管理软件将资源池化,实现资源的按需分配和灵活回收。

zData架构特点:

1、多维动态扩展:计算节点和存储节点可以按需动态扩展,容量和性能线性增长 2、资源池化&云化 :计算资源和存储资源池化,统一管理,按需分配扩展 3、高性能:x86服务器为基础、使用闪存卡、InfiniBand交换机实现高处理能力和IO吞吐量 4、安全&冗余:所有组件均有冗余,存储自动镜像及故障自动重构,无需人工干预和不影响在线业务。

zData的高可用实现

  • zData数据的冗余和镜像
  • zData存储故障数据迁移
  • zData弹性多维度扩展

对于计算节点和存储节点的资源不足,都能够方便地进行动态扩展。计算资源可以随业务变化多维动态扩展,性能线性增长;存储资源可以随业务变化多维动态扩展,既可以动态添加磁盘也可以动态添加存储节点。

zCache缓存机制

基于zData的缓存机制zCache能实现以下功能:

支持writeback和直通模式 支持在线启动和关闭cache 支持自动/手动刷新脏数据 支持脏块的刷新频率和速度动态的控制

zMonitor监控软件

同时为了更好地监控分布式存储架构下的数据库运行状况和性能,专门针对zData light 一体机系统研发了zMonitor监控软件,能够专门对一体机资源性能可视化监控;对一体机所有组件一体化可视监控,自动拓扑图,多维度监控整个zData一体机性能

zMonitor具有完备的告警功能,告警内容包含详细的系统事件告警功能,包含主机,数据库,硬盘寿命等;同时会自动发现和管理计算及存储资源;具有详细的日志及趋势分析功能。

zData架构的扩展:

  • zData容灾:通过远程部署容灾中心,实现数据的多重防护
  • zData备份:通过RMAN或者NFS,实现数据的远程备份中心

依托客户需求,打造场景化解决方案

zData方案在多个企业和单位有过最佳实践,以其高计算能力、高 I/O 能力、高可用能力、高可伸缩能力且极具稳健性的分布式存储架构,是具有高并发高IO需求的系统的最佳选择。在过去的实践中也得到证实和认可。

贵州交警

贵州交警某业务系统随着系统应用的深入和广泛,原有基础架构、数据架构规划和设计上的问题逐渐凸现出来,主要表现为业务数据爆炸增长、业务应用增多、系统响应缓慢、物理扩容达到瓶颈、设备达到服务年限。在经过zData一体机整合之后,整体用户体验得到了大幅改善,业务受理和办理效率均得到了用户赞誉。

性能提升效果:

1、整体性能提升18倍:重构前核心指标DBTIME每日最高单小时为3563.15,重构后每日最高单个小时指标为199.68,性能效果提升17.8倍。

2、I/O响应提升1000倍:重构前平均单次I/O请求时间为10.07毫秒,重构后平均I/O的请求时间缩短为0.01毫秒,I/O效率提升1007倍。

3、SQL性能提升117倍:考察违法审批报表SQL执行效率,重构前SQL执行需10206.1秒,重构后SQL执行完成只需87.07秒,执行效率提升117倍。

原文发布于微信公众号 - 数据和云(OraNews)

原文发表时间:2017-04-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

干货 : 聚焦于用户行为分析的数据产品。

因为工作需要,我的收藏夹里收集了很多数据相关的产品,其实加入收藏,也一直没有时间好好去研究。这几天恰好有时间翻出来逐个体验了番,顺手贴出来,大家一起研究。 受篇...

5318
来自专栏华章科技

以朋友圈为例,腾讯资深架构师揭秘鹅厂大数据平台是怎样运营的

导读:本文将从构成运营成本的主要运营资源(设备资源、带宽资源、专线资源)出发,以实际案例分别阐述精细化技术运营实施的要点。

4735
来自专栏云计算D1net

云计算托管将在2018年成为主流

导语 采用共享托管,组织就可以得到其想要的东西。如果每月的支付金额是每月3美元,那么组织将获得一台拥有数百个网站的服务器,并且具有在其网站上同时使用三个用户的处...

3969
来自专栏安智客

8张图带你玩耍Mbed OS!

对于MbedOS的认知一直停留文档上,安智客上周末闲逛淘宝手贱买了一个支持MbedOS的开发板,到货了忍不住玩一玩,也就是helloworld!各位见笑了!整理...

1602
来自专栏程序人生

后端傻瓜化?

两周前 rethinkdb 终于正式发布了 horizon,一套基于 rethinkdb 的后台应用:它让你只需要做一些基本的安全配置和 validation,...

4406
来自专栏ThoughtWorks

如约而至|2018年5月期技术雷达正式发布!

ThoughtWorks每年都会出品两期技术雷达,这是一份关于技术趋势的报告,由 ThoughtWorks 技术战略委员会(TAB)经由多番正式讨论给出,它以独...

1101
来自专栏安全领域

给道德黑客的十大建议

你是否每天都突破各种防火墙?睡觉都在想着利用漏洞?可以轻而易举入侵加密网站?为了人们的利益而做这些事?如果你对这四个问题的回答都是肯定的,你就是道德黑客——或者...

1482
来自专栏云计算D1net

私有云:硬件规划四大要素

要构建私有云需要考虑诸多因素,尤其是当你的预算并不宽裕的时候。通过仔细的规划硬件,容量,存储和网络配置,你就能将有限的预算做出高效的运用。 要找出云成本效益最高...

4576
来自专栏腾讯社交用户体验设计

腾讯文档品牌设定

2673
来自专栏IT大咖说

超实用案例:美团终端主动监控平台的建设

内容来源:2018 年 01 月 05 日,美团高级技术专家李燕青在“2018 移动技术创新大会”进行《终端主动监控平台的建设》演讲分享。IT 大咖说(微信id...

1653

扫码关注云+社区

领取腾讯云代金券