专栏首页CU技术社区10万人的邮箱存储系统,应该这么搭

10万人的邮箱存储系统,应该这么搭

邮件系统平台作为每个企业不可或缺的业务系统,已经不仅仅是单纯的信息传送工具,更是关系到企业决策流程、数字资产管理的核心关键业务系统

当你需要搭建一个支撑超大型企业(十万+)邮箱用户的超级邮件系统平台时,该选择怎样的存储架构,如何设计存储的性能和容量需求,特别是数据如何迁移,以及数据的安全性又如何保证呢?

本文通过一个邮件项目

设计部署的案例

来给读者提供一些实操的经验分享

☟☟☟

步骤一

业务环境分析

邮件系统的特点是数据量巨大且增长迅速,数据访问性能要求高,同时对于系统数据的安全性、业务处理的高可用性都有很高的要求。

因此在为邮件系统设计存储方案时,需综合考虑所采用的架构、设备选型的各项指标是否能满足业务要求

那么如何了解到客户业务环境中实际的数据存储压力?不得不提到戴尔易安信大名鼎鼎的Live Optics数据应用环境分析工具

Live Optics是一个比业界同类其他工具更为直观的需求分析工具。运用这个免费工具,客户与架构设计师可以清晰了解当前应用环境的真实IT负载,对于数据访问的压力情况、数据增长情况、各个业务模块IO访问的详尽情况等。

有了这些数据,就可以为存储设备的选型、架构的设计提供了详实的一手材料,确保存储选型更加准确,并贴合客户的真实业务需求。

步骤二

应用软件需求分析

Microsoft Exchange是企业级用户广泛采用的邮件系统软件平台。本文的讨论基于Exchange Server 2016版本。该版本针对存储系统的规划提出了一系列基本要求和最佳实践,其中最重要的一些需考虑因素包括:

  • Exchange 2016建议采用SAN存储架构(FC或者iSCSI链路均可),但要求勿与其他应用程序共享物理磁盘备份Exchange数据;
  • 用于存储Exchange数据的所有存储必须是块级存储,因此Exchange 2016不支持使用NAS卷
  • Exchange在考虑磁盘介质的选择时,最低要求是负载下保持延迟不大于20毫秒左右的平均读写速度;
  • Exchange 2016邮箱服务器每个数据库的大小虽然最大支持到16TB,但是最佳实践为2TB或更小

▐ 建议大家在为Exchange规划存储系统时,仔细查看Exchange Server存储部署相关章节。

步骤三

计算应用所需存储资源

在满足Exchange这些基本要求的前提下,又该如何对存储产品进行选型呢?

一个完善的邮件系统存储平台需要在容量、性能、安全、效率这几个方面来进行规划。在计算Exchange邮件系统的容量和性能需求时,有个重要的工具建议大家一定要用,就是下面这个ExchangeCalc9.1

在这个工具里输入自己企业的对于邮件平台的基本要求,比如邮箱数量、邮箱大小、每天多少邮件、每个邮件的平均大小以及每个数据库的副本个数,该工具即可自动计算出所需要的存储容量、所需IOPS性能要求、建议的存储卷的划分,甚至可以计算出远程数据复制所需要的链路带宽。

下图就是一个典型的10万人邮箱系统的基本需求图示▼

- 系统设计邮箱规模为10万个邮箱用户,每个用户2GB邮箱空间。

- 设置北京和上海两个站点来实现邮件数据的远程复制,两个站点设计完全对等,通过ExchangeDAG方式实现应用级别的冗余。

- 邮件数据的冗余设计为1份主数据3份副本数据。

- 邮件系统的存储容量超过1PB,存储系统要求达到30000以上的IOPS性能指标。

- 未来当单个邮箱的空间达到10GB时,邮件系统整体的存储容量将超过5PB的空间需求。

步骤四

选择满足业务需求的产品

最终,通过Live Optics的分析,以及ExchangeCalc9.1的规划思路,该客户最终选择了戴尔易安信SC存储来实现公司邮箱平台的在线存储方案。

戴尔易安信SC系列是深受客户信赖的企业级存储产品,迄今为止客户装机量已经超过5万套,其高性能、全面的存储功能、以及高效的存储效率都为客户关键业务数据的存储管理创造了巨大价值。

在选型上,采用4台高端型号SC9000来搭建整体的存储平台。北京和上海各配置2台SC9000磁盘阵列,在容量上满足每个PB级可用容量要求。

并且,SC9000单台设备提供高达1000块硬盘以上的扩展能力,为将来邮件系统容量的增长保留了足够的空间。

步骤五

方案特点总结

那么这套方案又有哪些亮点呢?

首先,在此次上新邮件平台的时候,遇到的第一个难题就是客户原有邮件平台上的数据,如何迁移到新存储设备。

该客户原有的几百TB邮件数据保存在戴尔易安信SC5020上。而如果通过数据迁移的方式,势必会花费大量时间,影响到业务的正常上线。此时,SC系列存储的联邦存储功能(Federation)帮了大忙。

强大的联邦存储功能让客户迁移无忧,运维无忧

SC的联邦存储功能可以在多台SC存储阵列,甚至是不同代不同型号之间构建一个强大的存储虚拟集群,形成一个对主机和业务系统完全透明的存储资源池

这个存储池的资源总量可以达到多个控制器,多个存储链路的并发工作,形成一个“超级存储”,存储卷可以在这个资源池中的各台存储阵列之间灵活的漂移。

利用这个功能,将新上线的SC9000存储和原有SC5020存储组成一个联邦集群,不仅确保了业务快速上线,同时利用data migration功能将原有存储上的数据在线迁移到新的存储设备,大大缩短了项目的实施周期,满足了客户要求

其次,在管理和维护这样多台存储设备的大型存储环境时,常常会有固件升级或者硬件更换等常规维护操作,但是对企业邮件系统来说,需要确保7*24不能停机。

如何在存储设备进行维护时也能保证业务实时在线?SC的联邦存储功能可以帮助管理员在需要对某台磁盘阵列做升级维护操作时,只需将这台存储上对应的存储卷漂移到其他磁盘阵列上,就可以对这台存储进行维护操作而不影响正常业务

该功能还具有极强的冗余容错能力,当该资源池中的某一台存储出现故障或者性能告警时,可以自动或手动的将故障阵列上的卷迁移到其他正常工作或者性能较好的阵列上去,保证整个资源池内性能的平衡。

第三,邮件系统数据具有典型的热点现象。一般来说,14天之内的数据是会被频繁访问的数据,该部分数据需要配置最高性能的存储介质来满足,而14天之后,数据访问频率下降但又需要长期保存,此时就需要相对性能较低但是容量更大的存储介质来满足。

该方案充分利用戴尔易安信SC存储业界领先的自动数据分层功能,在存储阵列上配置整体容量的20%为高性能的SSD介质,并配置自动分层软件

该功能将活跃数据块自动写入SSD层介质,提供极高的访问性能和良好的客户体验。同时把非活跃数据块自动挪入低速盘,在同时满足容量和性能要求的同时提供更好的性价比。

除了以上说到的SC存储功能亮点,方案中还配置了多种必要的存储功能软件来提高系统的数据安全和管理能力。例如:

存储设备整体的虚拟化管理

可通过使用几个简单的点击步骤完成许多复杂功能来缩短时间和减少工作量,从而加快完成常见存储任务和复杂存储任务。

持续数据保护功能

可创建任意数量节省空间的数据副本,几乎可即时从数据灾难中恢复,无传统数据回放的任何限制,为邮件系统的核心数据安全提供最强的保障。

空间精简配置

与预先分配容量相反,仅在应用程序写入数据时占用物理磁盘空间,从而最大限度地提高存储利用率。

存储资源管理软件

通过Unisphere以及CloudIQ管理平台,实现单一控制台进行多站点和多系统管理,并提供一套高级存储资源管理和报告功能。

结 语

通过以上对邮件系统存储规划方法的梳理以及一个真实案例的介绍,相信大家对于设计邮件系统的存储方案已经有了不少思路。

随着当下企业对邮件系统的数据管理的要求越来越高,海量邮件数据需要长期保存,满足不同行业用户对电子邮件数据安全、法规遵从、电子举证以及其他个性化的使用需求。因此除了邮件系统的在线存储部分,邮件的备份、归档等存储设计同等重要

戴尔易安信一直致力于不断开发和提供各种新技术和易于使用的存储解决方案,包括存储整合、备份和恢复产品,数据归档、数据灾难恢复产品和合规性产品等,能够为客户构建起覆盖整个数据生命周期的存储管理解决方案,实现数字化转型保驾护航。

本文分享自微信公众号 - CU技术社区(ChinaUnix2013),作者:周苗

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-12-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 讲标5分钟,灵机一动“售车小哥”灵魂附体!

    只见刘总时而双眼迷离,时而用指尖敲打桌面,时而把双手放到膝盖上,甚至,低下头去翻看一本杂志...

    用户6543014
  • 数据就像开着的水管,要怎么同步存储?!

    本文将从共享状态和一致性的角度出发,详细描述StateSynchronizer的整体架构、工作机制和实现细节。利用stream的天然特性,StateSynchr...

    用户6543014
  • Git中的命令和操作

    在开始使用命令和操作之前,让我们首先了解Git的主要动机。Git的目的是管理随着时间变化的项目或文件集。Git将此信息存储在称为Git存储库的数据结构中。该存储...

    用户6543014
  • 海量数据存储硬件平台解决思路

    "鹅厂网事"由深圳市腾讯计算机系统有限公司技术工程事业群网络平台部运营,我们希望与业界各位志同道合的伙伴交流切磋最新的网络、服务器行业动态信息,同时分享腾讯在网...

    鹅厂网事
  • MySQL三种存储引擎总结

    数据和索引存储在innodb_data_home_dir和innodb_data_file_path定义的表空间中

    ydymz
  • 朱建平:如何架构海量存储系统

    5月25日,云+社区技术沙龙-互联网架构成功举办。本期沙龙特邀请腾讯的技术专家分享关于技术架构、落地实践案例、无服务器云函数架构、海量存储系统架构等话题,从技术...

    云加社区技术沙龙
  • 混合云实现分层存储架构

    通过提供更低的成本,更高的性能并减少数据的丢失,混合云可以帮助一些企业优化其分层存储系统。 分层存储架构并不是什么新鲜事。这已经是多年来常见的一种做法,创建一个...

    静一
  • 私有存储云如何构建?

    构建内部的云存储必须考虑到弹性、选择正确的平台、支持工作流,以及批量部署和跟公有云的集成。 随着时间的推移,存储即服务的交付进展惊人。如今,公有云,如Amazo...

    静一
  • 腾讯云COS全球加速,解决弱网传输慢的难题!

    对象存储(Cloud Object Storage,COS)是腾讯云提供的一种存储海量文件的分布式存储服务,使用COS可以实现海量数据存储及管理,结合腾讯云遍布...

    云存储
  • 云存储比你的电脑或外部驱动器更好?

    什么是云存储? 云存储,就是可以向你的数据存储在远端的服务器上。 这意味着你可以通过远程存储如文档,照片,音乐和视频等数据,而不必占用物理空间或家里和公司的计算...

    静一

扫码关注云+社区

领取腾讯云代金券

玩转腾讯云 有奖征文活动