首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

「首度揭秘」大规模HPC生产环境 IO 特征

在王坚博士的《在线》一书中提到,单纯谈数据的“大”,意义是不大的。欧洲核子研究中心(CERN)进行一次原子对撞产生的数据大到惊人,而如何通过计算的方式去挖掘出这些数据背后的价值,才是数据意义的本身。HPC高性能计算,就是完成这种价值转换的重要手段。近年来,HPC的应用范围已经从纯学术扩展到资源勘探、气象预测、流体力学分析、计算机辅助设计等更多场景。这些HPC应用程序会产生或依赖大量数据,并将其存储在PB级别的共享的高性能文件系统中。然而,无论是HPC应用的用户,还是高性能文件系统的开发人员,对这些文件的访问模式了解都非常有限。

05

Linux统治超级计算领域的九个理由

In 1994, the first Beowulf Cluster was built at NASA, using Linux, as an alternative to the very expensive HPC supercomputers. “Beowulf Clusters are scalable performance clusters based on commodity hardware, on a private system network, with open-source software (Linux) infrastructure. The designer can improve performance proportionally with added machines. The commodity hardware can be any of a number of mass-market, stand-alone compute nodes as simple as two networked computers, each running Linux and sharing a file system, or as complex as 1,024 nodes with a high-speed, low-latency network.” 1994年,在NASA,使用Linux建立了第一个Beowulf集群,作为昂贵的HPC超级计算机的一种替代品。 “Beowulf集群是基于商用硬件的可扩展的高性能集群,建立在专用的系统网络和开源软件(Linux)基础设施上。设计者可以通过按比例添加机器来提高性能。硬件可以是简单的只需两台联网计算机组成的计算节点,每个节点都运行Linux,并共享一个文件系统,或复杂的像具有高速,低延迟的1,024节点的网络。“

03

Mercury为高性能计算启用远程过程调用(RPC)

远程过程调用(RPC)是分布式服务广泛使用的一种技术。 这种技术现在越来越多地用于高性能计算 (HPC) 的上下文中,它允许将例程的执行委托给远程节点,这些节点可以留出并专用于特定任务。 然而,现有的 RPC 框架采用基于套接字的网络接口(通常在 TCP/IP 之上),这不适合 HPC 系统,因为此 API 通常不能很好地映射到这些系统上使用的本机网络传输,从而导致网络性能较低。 此外,现有的 RPC 框架通常不支持处理大数据参数,例如在读取或写入调用中发现的参数。我们在本文中提出了一个异步 RPC 接口,专门设计用于 HPC 系统,允许参数和执行请求的异步传输和直接支持大数据参数。 该接口是通用的,允许传送任何函数调用。 此外,网络实现是抽象的,允许轻松移植到未来的系统并有效使用现有的本地传输机制

03
领券