我正在为我的实验室建立一个小型Linux集群。目前,我们有一个作业提交的登录节点和3个计算节点,它们通过Gigabit连接(遗憾的是没有infiniband)。事实证明,我的集群用户在共享存储中读写小型图片文件(其中一个是<100 in )的GBs是非常常见的。NFS对于小文件IO的性能非常差。对于编写小文件,我对NFS/CIFS/SSHFS性能进行了简单的测试。但是,在计算机集群场景中为Linux主文件夹使用CIFS/SSHFS并不
我得到了部署在集群模式下的简单spark作业(SPAR1.6,scala 2.10),这些作业可以读写运行在linux集群上的本地文件系统,但是在尝试将作业启动到运行Windows Server 2012的集群时,会遇到路径问题。其中一个错误似乎是将远程计算机上的本地路径预先放置到我打算使用的集群绝对路径上。也就是说,工作节点上的星火罐位于C:\Users\file.jar,但是火花集群驱动程序上的错误是"java.io.FileNotFoundExcepti