最初,我只是使用NFS为集群用户导出共享存储(主文件夹)。但很快我们发现NFS在实际有效载荷下表现不佳。事实证明,我的集群用户在共享存储中读写小型图片文件(其中一个是<100 in )的GBs是非常常见的。NFS对于小文件IO的性能非常差。对于编写小文件,我对NFS/CIFS/SSHFS性能进行了简单的测试。在每个文件系统上卸载20000个小文件(总计约600 on )的时间是:SSHFS: 45~55s
NFS(v3/v4):太慢了,我没等(
我有2台机器通过iscsi (多路径)共享存储,很快我们又添加了一台,这台机器是Web应用服务器,它在共享存储上读取小文件(<256 we ),并将它们写回。所以我们写的和我们读的差不多。随着时间的推移,这两种解决方案的性能都会下降,这个分布式FS是否适合这个工作负载?在带有数据复制的服务器2-3的小型集群上,还有其他更好的读写文件解决方案吗?
致以问候。
我在hyperv服务器(dynamic )虚拟磁盘上的xfs分区上设置了4个具有glusterfs的分布式复制服务器。NIC为6x1Gbit (在hyperv上合作)。我遇到的问题是,对于大量的小文件(读和写),我的性能真的很差,当有很多10k文件时,我的传输速率大约是300 of (在本地客户机上的传输速度也没有那么快)。这个问题有什么解决办法吗?