问使用git附件管理许多小(~5KB)文件

EN

大量的文件在多个层面上都是低效的；也许你可以改进神经成像软件？

如果这不是一个选项，您可以做几件事。第一种是将数据存储在SSD上。这些操作很慢，因为它们必须查询存储库中每个文件的状态，并且将它们放在SSD上会使每个磁盘的读取速度更快。

另一种方法是限制任何给定目录中的文件数量。您可能无法拆分来自单个实验的文件，但请确保您没有将来自多个实验的文件放在同一目录中。这是因为目录的访问时间通常与该目录中的文件数量成正比。

另一种方法是研究不同的文件系统或不同的文件系统配置；并不是所有的文件系统都适用于大目录。例如，在ext3/4上，您可以设置文件系统选项dir_index，以便它使用b树索引来加快对大型目录的访问速度。使用tune2fs程序对其进行设置。

最后一个绝望的选择可能是将所有这些小文件合并到归档中，例如tarball或zip文件。这可能会使使用它们变得复杂，但会极大地减少您必须处理的文件数量。您还可以通过脚本消除这带来的一些复杂性；例如，当您需要查看这些图像之一时，您的脚本可以将tarball提取到临时目录中，启动查看器，然后在退出时删除提取的文件。

我同意db48x的观点。如果不能更改神经成像软件，您可以在每个实验中使用一个容器(大约180MB是一个合理的大小)，并将其存储在git- container中。对于数据访问，您将此文件挂载为一个额外的文件系统，并在内存中进行回送。这应该会大大减少访问时间和git- access的负担。