GlusterFS复制卷修复功能测试分析--brick文件丢失

0、测试环境

GlusterFS 3.6.4/3.6.7/3.6.9

CentOS 6.7/7.1

1、测试用例及结果一

假设A、B副本主机，C客户机，C挂载到A。

先通过C在卷中创建1到99文件。

测试一：

A上删除 rm -f 2*，A执行heal full，看是否恢复，如果不行，再在B上执行heal full，A上看文件是否恢复。操作期间不要在C上ls。

A上删除 rm -f 3*，只在C上ls，C上看是否有3*，A上看是否恢复。

测试二：

A上删除 rm -f 4*，同时删除对应gfid文件。A执行heal full，看是否恢复，如果不行，再在B上执行heal full，A上看文件是否恢复。操作期间不要在C上ls。

A上删除 rm -f 5*，同时删除对应gfid文件。只在C上ls，C上看是否有5*，A上看是否恢复。

测试三：

B上删除 rm -f 6*，A执行heal full，看是否恢复，如果不行，再在B上执行heal full，B上看文件是否恢复。操作期间不要在C上ls。

B上删除 rm -f 7*，只在C上ls，C上看是否有7*，B上看是否恢复。

测试四：

B上删除 rm -f 8*，同时删除对应gfid文件。A执行heal full，看是否恢复，如果不行，再在B上执行heal full，B上看文件是否恢复。操作期间不要在C上ls。

B上删除 rm -f 9*，同时删除对应gfid文件。只在C上ls，C上看是否有9*，B上看是否恢复。

测试结果：

实验一

可以C 上可以看到3* 其它都不行

实验二

可以C 上可以看到5* 其它都不行

实验三

1. 可以恢复6*

2. B上没有恢复 且C看不到7*

实验四

1. 可以恢复8*

2. B上9*没有恢复 且C看不到9*

2、测试用例及结果二

再补充两个测试用例，这两个需要恢复快照，保证环境纯净可靠后再分别执行。

假设A、B副本主机，C客户机，C挂载到A。

先通过C在卷中创建1到99文件。

场景一：

A上删除 rm *，A执行heal full，看是否恢复，如果不行，再在B上执行heal full，A上看文件是否恢复。如果不行再在C上ls，看C上是否能看到文件。

如果还不行，重启A上glusterd服务，然后再执行上述操作看结果。

假设A、B副本主机，C客户机，C挂载到A。

先通过C在卷中创建1到99文件。

场景二：

B上删除 rm *，同时删除对应gfid文件。A执行heal full，看是否恢复，如果不行，再在B上执行heal full，B上看文件是否恢复。如果不行再在C上ls，看C上是否能看到文件。

如果还不行，重启B上glusterd服务，然后再执行上述操作看结果。

测试结果：

场景一

C上看到文件，其它都不行

场景二

都不行

3、测试总结-副本文件丢失修复

当复制卷中的副本文件被不小心删除（同时删除对应的gfid文件）后，可以通过

gluster volume heal VOLNAME full

命令来修复，如果不加full参数，则不会检测到丢失的副本，不进行副本修复操作。

当一个副本丢失后，客户端可能看到丢失的文件，也可能看不到丢失的文件，取决于挂载的主机位置。

    当仍能看到丢失的文件时：

        虽然能看到丢失的文件，但此时的ls或ls -l并不能恢复副本，当再次对丢失的文件进行修改操作时，副本文件才会被修复。

    当不能看到丢失的文件时：         1）重新挂载会修复丢失的副本，修复后，客户端可以看到全部文件。显然线上系统通常不能这样操作。

        2）后台执行gluster volume heal VOLNAME full命令可以修复丢失副本文件，同时让客户端再次看到丢失的文件。

暗文件说明

在复制卷情况下，假设有两个brick做成的volume，当在其中一个brick上删除一个文件file（不删除对应的gfid文件）时，有可能导致（两个副本，删除其中一个副本会导致，但具体哪个副本暂不确定，也有可能是非挂载点的副本）客户端看不到该文件，此时的情况是：

    客户端看不到file；其中一个brick上有file；另外一台上无file。

    此时，执行gluster volume heal full自我修复操作，效果和上面描述一样，客户端无法看到该文件，此时的file称之为暗文件。

    客户端重新挂载法修复（有时重新挂载可以修复，需要考虑最坏情况）。

    服务器端heal full无法修复。

如何恢复暗文件？

1. 在客户端执行ls file操作。此时服务器端的file也会自动恢复。
   1. 这样做的前提是，必须知道丢失的文件名，否则无法恢复。
   2. 未恢复前，客户端对file进行touch、写等操作都能正常进行，当执行一次后，服务端文件会自动恢复，前提还是必须知道文件名。
2. 服务器端之利用用cp机制恢复。
3. 客户端重新挂载法修复（有时重新挂载可以修复，需要考虑最坏情况）。

出现暗文件是非常糟糕的事情，在线上很难确定哪些副本丢失，重新挂载基本也是不予许的，所以要尽量避免此类情况出现。