首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >分布式计算

分布式计算
EN

Stack Overflow用户
提问于 2016-04-01 06:43:16
回答 1查看 220关注 0票数 0

我的朋友不得不在工作中编辑大量的视频,他一直在谈论他们如何离开电脑,有时一次超过一天的渲染。最后一项工作是在12核心Mac上进行40+小时渲染。

不管怎么说,我读了一些关于网络渲染和后效的文章,这让我想起了当我想要一些树莓皮来学习分布式计算编程的时候。

我的问题是:是否有任何抽象“分布式”方面的项目/框架,以便在设计时考虑单机使用的程序,如Premiere,可以在分布式系统上运行?例如,也许库,或者它是什么,使单个节点看起来像是线程,所以它不知道它在分布式系统上运行.?

这对我来说是一个新的概念,如果我想象不到的话,我现在也不想深入研究这些东西。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2016-04-12 18:34:05

您所指的是单系统映像(SSI)计算。该术语描述了一种用于高性能计算(不一定是分布式计算)的计算体系结构,其中单个操作系统正在运行,因此应用程序程序员可以在这个单一操作系统中运行多个线程。这对于应用程序开发人员来说有很大的优势,即可以应用并行计算范式,并且开发人员不必处理分布式计算带来的复杂性,即集群中多台计算机之间的进程间计算以及缺乏共享内存。

集群计算在过去获得了更多的兴趣。这一趋势背后的驱动因素之一是集群可以很容易地在通用云服务之上实现,而且通常集群方法允许扩展到更大的规模,这通常是web规模应用程序中的一个需求。

但是,您特别需要SSI系统。从高性能的计算领域来看,我们知道许多这样的系统。其中一个非常流行的是Altix线https://en.wikipedia.org/wiki/Altix。这些是非常大规模的计算机,它们通常有数以千计的处理器和terra字节的RAM,并且运行SSI内核。从硬件的角度来看,单个处理器和存储板是相互关联的,并支持所谓的缓存相干非统一内存访问(cc-NUMA)。它基本上是一种机制,它给操作系统的印象是,它使用的是一个大的线性内存块,实际上内存分散在许多计算节点上。显然,这意味着有些内存区域的速度更快,而其他的区域则更慢。应用程序开发人员需要记住这一点。Altix使用了一种专有的、高带宽的互连体系结构,允许它们非常快速地移动集群中的内存块。正如你可能认为这些机器是非常昂贵的,通常只有在研究设施。

有一些方法可以在货架上实现类似的商品硬件。过去,贝奥武夫(cluster)项目非常流行,并在许多安装中得到了实际应用。对于这个项目,我不太确定您是否能够推出带有现代Linux内核的安装。类似地,OpenSSI (https://en.wikipedia.org/wiki/OpenSSI)和OpenMosix (https://en.wikipedia.org/wiki/OpenMosix)项目似乎没有提供任何最新版本。也许Kerrighed (Page)值得一试,至少您应该能够在顶级x86_64架构上运行安装。

您要提到的是,您希望在使用ARM处理器架构的Pi上推出类似的东西。据我所知,上述任何一种方法都不支持ARM。然而,在集群竞技场中,MPI是一个被广泛使用的标准。关于如何在一组Pi (http://thenewstack.io/installing-mpi-python-raspberry-pi-cluster-runs-docker/)的基础上运行MPI,还有一些教程,这些集群用于教学分布式计算。它们的性能绝不能与商业集群系统竞争。然而,建筑是一样的,因此这些装置很好地服务于教学目的。想象一下集群系统,你可以随身带在手提箱里!

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/36349683

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档