存放海量数据太费钱？科学家们找到了新方法

这些年在科学界，国际顶级机构一直在做着同一件事，那就是为他们持续增长的海量数据找到价格更便宜的存身之处。现在，他们中的一些说：找到了。

由于已经受益于此，在他们的合作伙伴希捷把这个“秘密”——CORTX，一款独立于硬件的100%开源对象存储软件——推向市场的时候，这些机构很乐意地站了出来，并对它表达了赞赏。

法国原子能和替代能源委员会（CEA）和英国原子能机构（UKAEA）都是CORTX未发布前，就已经采用了它的早期用户。

CEA项目经理Jacques-Charles Lafoucriere，和UKAEA的百万兆级算法专家Debasmita Samadder博士用“强大”、“灵活”、“高效”和“新颖”等词汇去描述了他们眼中的CORTX。

这些机构用它来支持超大规模的数据存储，实现并行文件系统接口（pNFS）和分层存储管理工具等。

兼容TensorFlow等人工智能和深度学习 (AI/DL) 工具也是他们的关注点——这些国际顶级机构永远都会站在科技的最前沿。事实上，CORTX的用例非常广泛，除人工智能和机器学习，还包括了混合云、边缘、高性能计算等领域。

那些机构负责人对CORTX的高度赞赏有着很高的可信度，因为这些机构中的一些已经不满足于仅仅是去使用它了。

“CORTX将降低EB级数据的存储成本。”洛斯阿拉莫斯国家实验室（Los Alamos National Laboratory）高性能计算部门负责人Gary Grider断言。他们已经决定参与到CORTX协作开源社区中去。目前，CORTX已经可从GitHub下载，以及协作开发。

希捷科技全球副总裁暨中国区总裁孙丹：通过生态协作，CORTX将使超大规模存储架构更为普及。

除了用户，整个科技生态对CORTX的兴趣也都相当浓厚。

英特尔很清楚开源创新在高性能存储领域的价值。英特尔数据平台事业部副总裁Bryan Jorgensen认为，它将推高未来数据时代中云、高性能计算、人工智能和通信网络等的性能水平。

目前英特尔已计划在CORTX社区内结合相关的平台功能，包括英特尔傲腾持久内存、英特尔QuickAssist加速器，和DAOS文件系统，以共同实现和优化这一开源技术。

全球知名的文件系统提供商WekaIO也表达了同样的意愿。WekaIO人工智能和战略联盟负责人Shailesh Manjrekar描绘了一个未来——在参与到CORTX开源项目开发中后，市场将可以利用创新的Weka AI解决方案框架，创建端到端解决方案：通过WekaFS提供卓越性能，而CORTX提供容量和耐用性。

在中国市场，目前已有8家希捷的客户以及合作伙伴——新华三集团、同有科技、宏杉科技、UIT创新科、五舟科技、鲸鲨软件、极道科技以及柏科数据等，决定将就CORTX开源软件与开源社区与希捷展开合作。

这个开源社区是在希捷发布CORTX时一同发布的。同时发布的还有一个可作为融合基础架构部署的参考架构Lyve Drive Rack。

这个参考架构可以让用户部署CORTX并构建自己的大容量私有云——Lyve Drive Rack的机箱容量由1.34PB起。希捷在Datasphere峰会上展示它时，它的盘位上插满了20TB HAMR硬盘。希捷消息称，这款大容量硬盘计划在12月开始供货。

这是希捷布局开源对象存储软件的目的之一。大容量硬盘已经为云服务商降低了成本，但它远没有到普及到程度。

受限于软件实力，并不是每个想要用好海量数据的企业用户，都能享受到它的好处——硬盘容量越大，I/O性能就会下降，这需要用户有一定的优化能力对系统进行调优。

“谷歌、百度和腾讯等互联网和云计算企业，会第一时间使用我们的大容量硬盘，”希捷科技全球副总裁暨中国区总裁孙丹说，“因为他们通过采用大容量硬盘获得了商业价值。”

要知道，当今天的云服务商已经使用16T硬盘的时候，传统企业才部署到8T。

希捷相信免费和开源的CORTX能解决这一难题。在推出它之前的数年间，“希捷已经为此写出了百万行代码”，希捷科技中国区资深解决方案工程师李蓁说，考虑到未来人工智能、机器学习会是未来数据领域当中主流的应用，希捷已经在设计之初,专门针对AI以及机器学习做了调优。

“我们在CORTX上面有一个内置的内存键值，通过这种设计，用户可以直接在CORTX上对数据进行标注，同时可以进行非常高效的检索。”李蓁说。Lyve Drive Rack上还设置有一颗专用芯片，它可以降低在使用纠删码的时候所需配置的内存——这达到了降低部署成本的效果。

孙丹相信，通过生态协作，CORTX将使超大规模存储架构更为普及，科技实力相对较弱的企业也将可以经济、快速地部署对象存储，通过对海量数据进行标记来探索有数据价值的洞见。

如果一切如预期般顺利，CORTX和CORTX社区将是希捷给对象存储带来的巨大贡献。

事实上，希捷一直在对象存储的协作开发中发挥关键作用。九十年代后期，希捷是行业联盟的创始成员。该联盟建立了第一个对象存储规范：SNIA OSD标准。在这一点上，希捷对于对象存储的创新和协作的承诺贯穿在 CORTX及其众多架构优化中。

“我觉得希捷做这件事，还是挺伟大的。”孙丹说，希捷内部对CORTX已经做出了新的5年规划；而接下来要做的，就是让它的生态变得更加繁荣。