在我当前的应用程序中,我需要创建一个基于案例的存储库,遵循AI社区中广为人知的基于实例的学习范例。
基于案例的存储库需要在对应用程序的两次调用之间持久地存储。
但是,我担心由此所隐含的序列化/反序列化(可能是JSON或键值对的轻量级格式)会带来如此多的I/O开销,以至于编写一个好的索引机制(基于案例库的内存描述进行操作)只会加速一小部分,因此不会带来实质性的好处。
现在我认为有两种解决方案
a)尝试直接索引到文件中,同时执行I/O和索引。
b)以某种方式将案例库的内存中表示的内存映像保存到文件中,这样“文件解析”就可以简化为一个简单的memcpy (包括内存映射文件)。注意,文件格式是二进制的,而不是基于UTF-8的,如a)所示。
有没有人遇到过类似的问题,并尝试过类似b)的方法?
发布于 2012-07-23 23:17:09
您是否考虑过memory mapped files
https://stackoverflow.com/questions/11615302
复制相似问题