在阅读了this和this的论文后,我决定在MapReduce上实现一个用于大型数据集的分布式体积渲染设置,作为我的本科论文工作。Hadoop是一个合理的选择吗?Java不是会扼杀一些性能提升,或者使与CUDA的集成变得困难吗?对于这项工作,Phoenix++会是更好的工具吗?
发布于 2011-06-16 04:27:31
Hadoop还有一个称为Hadoop Pipes的C++ API。Pipes允许您用C++编写映射和缩减代码,从而与任何可用的C/C++库进行接口。这使您能够与CUDA进行交互,这是有意义的。
据我所知,这只是MapReduce的重写,因此所有的网络通信和分布式文件系统仍将由Java处理。Hadoop旨在使任务的并行化变得简单和通用,因此它不能成为最有效的MapReduce实现。在使用Hadoop或更高效的低级框架时,您对效率和可用程序员时间的要求可能是决定性因素。
Word Count in Pipes示例。不幸的是,确实缺乏文档,但拥有可用的源代码会让事情变得容易得多。
https://stackoverflow.com/questions/6338551
复制相似问题