.glusterfs 目录说明
.glusterfs目录大小基本是等于当前brick中的所有文件大小，原因是里面主要存放的是brick中文件的硬链接。
.glusterfs目录是3.3版本引入的一个新结构，它是用来做什么的呢？
什么是GFID？
你可能知道，glusterfs将元数据信息存储在文件的扩展属性中。其中一个元数据就是trusted.gfid，这个就是inode号，在集群中，每个文件都有一个唯一的uuid号，这个在gluster 3.1和3.2版本工作的都很好，但是在文件自动修复（AFR）过程中经常会有一些误判。
这个GFID用于建立.glusterfs这个目录结构，每个文件都对应一个硬链接放在.glusterfs目录中，存放规则是，前两个数字创建一个目录，接着两个数字创建一个目录，然后目录中存放是一个完整的uuid硬链接。
例如：
# getfattr -m . -d -e hex /data/glusterfs/d_home/stat.c
getfattr: Removing leading '/' from absolute path names
# file: data/glusterfs/d_home/stat.c
trusted.afr.home-client-10=0x000000000000000000000000
trusted.afr.home-client-11=0x000000000000000000000000
trusted.afr.home-client-9=0x000000000000000000000000
trusted.gfid=0xc62757554baf4a33bc7690c56dac23e0会创建一个硬链接到：
/data/glusterfs/d_home/.glusterfs/c6/27/c6275755-4baf-4a33-bc76-90c56dac23e0为什么要这样做？
之前执行删除、重命名、建硬链接的几种方法是有缺陷的。如果一个连接到复制卷并执行了重命名操作的连接丢失，自动修复进程不知道是纯粹的删除或者是重命名等操作，这样会出现问题，可能产生重复的文件导致混乱。
现在一个文件被删除，.glusterfs目录中对应的文件也会被删除，自动修复守护进程会在好的服务器上遍历，查看到文件是否被存在，由于对应的gfid文件被删除了，所以认为是真正被删除了，如果文件丢失，但对应的gfid文件存在，说明被重命名了，过期的服务器会删除文件名，但不会删除对应的gfid文件，一旦自动修复守护进程遍历到新的文件名，会直接创建到gfid文件的硬链接，因为数据仍然在服务器上，所以这样修复一个重命名文件就避免了数据传输。
如果gfid文件是普通文件而不是硬链接，那基本上就完蛋了。最终会发生链接分离，原因是一个文件会过期，客户端没有办法知道一个文件和另一个具有相同的gfid，所以会重新创建一个，这样操作会创建大量不必要的重复文件，而使用硬链接后，每个gfid文件会对应一个文件，就不会出现空间浪费。
NFSv4支持
很快，glusterfs会支持NFS v4，会使用匿名文件描述符。gfid文件允许在目录中创建gfid文件，但不在目录中创建对应的条目。
这对管理员来说有什么新要求吗？
作为管理员，了解gfid机制对文件修复和裂脑修复是很用帮助，建议详细了解。
首先，每个brick的根目录对应的gfid是00000000-0000-0000-0000-000000000001，这个文件放在 .glusterfs/00/00目录中，实际上是一个符号链接，连接到“../../..”，其他目录也会链接到这个目录下面。
如果删除一个文件不删除对应的gfid文件，修复进程会修复该文件，如果gfid文件损坏，对应的文件也会损坏。
参考：
https://joejulian.name/blog/what-is-this-new-glusterfs-directory-in-33/
https://www.gluster.org/pipermail/gluster-users/2014-January/015494.html