大数据运营之容量设计：海纳百川，有容乃大

本文摘自：李福东《大数据运营-服务型企业架构新思维》3.5

（与事务处理应用相比，大数据服务属于分析处理应用，由于两者的数据处理特点不同，因此容量估算方法也有一定的区别）

随着时间的推移，会有越来越多的数据进入数据仓库，如果不及时管理存储空间，大数据服务就会难以运行。

为了完成大数据服务的容量设计，需要进行容量的估计、容量占用监测以及容量调整。企业可以根据大数据的规模、分析时长要求等估计大数据服务所需的存储空间、计算能力以及网络传输带宽。

在大数据服务运行的过程中，要根据监测到的容量占用情况，及时迁移或删除数据、增加基础设施资源等，以保障大数据服务的正常运行。可以根据数据活跃度、存储时限规则等将数据转移到相应的存储设备。

1.1.1.1 事务处理系统容量设计方法

事务就是请求提交到返回结果的过程。面向操作的应用的特点为事务性。事务的4个特性为ACID，即原子性、一致性、隔离性、持久性。

比如我们在网上购物，填写完了商品、配送信息并完成支付后，点击提交就发起了一个交易申请，然后系统会给出交易结果。要求事务处理系统能够快速地响应请求，通常是几秒钟之内，否则系统用户是无法接受的。

基于数据仓库构建的在线分析处理（OLAP）与面向操作的事务型应用相似，为了解决OLAP应用快速响应用户的问题，通常采用构建中间表的方式，预先将分析结果放入中间表，然后系统从中间表中直接取出分析结果。

面向操作的事务处理应用需要估算计算、存储和传输三个方面的能力，能力估算方法如下：

（一）事务处理应用计算能力估算方法

计算能力需求 = 计划支撑的用户数*单用户的交易量*单个用户需要的TpmC(tpm是transactionsperminute的简称，C指TPC中的C基准程序)*冗余系数。

对于HP、IBM等服务器设备厂商，通常会给出某个配置下其服务器的TpmC能力，因此可以根据估算结果和厂家某个型号配置的服务器TpmC能力的对比，算出需要某种品牌型号服务器的数量。

（二）事务处理应用存储能力估算方法

存储能力需求 = 计划支撑的用户数*单用户产生的记录数/天*单条记录大小*冗余系数，此外存储空间估算还应当考虑操作系统、中间件、索引、日志等额外占用的空间以及RAID、数据存储时间策略等因素，最后再根据磁盘类型、容量来选择所需的硬盘数量，磁盘分为SATA盘、SAS盘、FC光纤盘等，磁盘容量通常包括300GB、450GB、1TB等。

（三）事务处理应用网络能力估算方法

网络能力需求 = 计划支撑的用户数*单用户传输带宽*冗余系数。批量数据传输往往需要较大的网络带宽。可以根据带宽要求，选择光口还是电口，采用千兆端口还是万兆端口。

从事务处理应用的容量估算方法可以看出，计划支撑的用户数是对面向操作的事务处理应用进行容量设计时考虑的主要因素。

（本文摘自：李福东《大数据运营-服务型企业架构新思维》3.5 ，经作者授权转发，图片来自网络）