存储领域基于场景的技术创新案例分析

随着互联网深入生活的方方面面，企业需要处理的数据更多的来自外部而非内部，基于数据驱动的商业模式，平台主导着数字经济的发展。作为数字经济的中介和基础设施，在平台上的互动会产生数据，平台又能对这些数据进行收集、分析和使用，进而实现价值创造。平台覆盖面越大，上传的物理范围和数据总量就越大，由此我们需要思考海量数据从四面八方高效上传的问题。一个应用开发者要存储数据，方案之一是把数据存在某一个资源池，比如放到上海，靠近华东地区的体验是比较好的，离华东比较远的用户体验就相对较差。方案之二是自行调度，选择几个资源池分布在全国范围内，东北地区放在长春，华北放在北京等。这种情况下，作为应用开发者，当终端发起请求时首先要找到平台，平台根据发起请求的位置，再将离终端最近的资源池返回给终端，最后终端才开始访问资源池，如此一来，终端和平台之间增加了延迟。同时要自己维护这种关系，当数据量很大的时候，维护的成本和难度是很高的，针对这个问题，我们需要一个能就近写入数据的解决方案。

提到“就近”这个词就容易联想到内容分发网络CDN，但CDN是由上到下的分发数据，我们需要一个与CDN类似却相反的概念，“内容存储网络”（Content Storage Network，简称CSN），用户就近写入的数据，可以即时在任何一个CSN的资源池读到数据，如果说CDN是一种“为下而生”的网络服务的话，那么CSN就是一种“为上而生”的存储网络，它能够让用户总是能够就近存储数据，同时使得你可以从任何资源池读到数据，而且保证强一致性。CSN一方面已经做到可以高效管理数量众多、规模巨大的资源池集群；另一方面通过对象存储OOS在扩展性、执行效率方面的精巧设计，以及在资源池之间搭建的“高速通道”，让每个用户从不同的资源池看到同一个视图，获得极致的访问体验；最重要的，它解决了在相隔数千公里的多个资源池之间，容忍大网的抖动，保证数据的一致性的同时，提供极低的延迟。这就是海量数据从四面八方高效上传的业务需求促进分布式元数据环等技术发展的例子。

随着CSN在全国范围大规模铺开，接入CSN的场景多种多样，又诞生了新的需求。有些企业研发能力不足，无法合理地使用CSN提供的API和SDK；有些企业有把数据存储在本地的需求；有些企业希望在云和本地做数据冷热分层；有些企业希望把自己已有的硬件更加高效地利用起来等等。面对这些场景，我们需要的是一个支持块设备、帮助数据实现冷热分离、可以承载其核心业务生产数据的高可用应用，于是，我们研发了存储资源盘活系统。存储资源盘活系统方便用户将本地数据轻松上传到CSN中，实现存储空间的弹性扩展。存储资源盘活系统作为本地与云端存储之间的桥梁，通过标准 iSCSI 协议提供块存储服务，帮助用户将全量数据自动同步到CSN中，本地仅保留热数据以节省本地存储空间，或者保留全量数据以保障本地 I/O 性能，实现混合云存储。同时，存储资源盘活系统也可以将通用服务器及其管理的存储资源转换成高性能的虚拟存储阵列，承载企业核心业务数据。海量数据从四面八方高效上传的业务需求促进了分布式元数据环等技术发展，由此诞生的CSN创造了更多场景，进一步产生了存储资源盘活系统，而这两者如今都是存储领域的重要概念。