多目标的快速随机搜索
多目标的快速随机搜索
提问于 2015-12-31 13:30:16
目前，我正在使用avro文件将数据记录存储在大小高达50 up的文件中。问题是，除了对文件进行顺序分析之外，我还必须对数据执行随机搜索。avro的问题是，我只能寻求某些同步点，并且必须遍历块，直到找到我寻找的记录为止，但是在某些情况下，这会导致严重的性能损失。我现在的问题是:是否有一种方法可以以不同的格式存储数据，以支持对单个记录的随机搜索，而不需要太多的负担。
限制：
- 必须放在磁盘上(在一些用例中RAM太小)
- 需要是二进制的
- 编程语言: Python，Java，C++是可选的，但是很好
干杯和感谢
回答 1
Stack Overflow用户
发布于 2015-12-31 17:22:47
你可以用纪事图。这实现了一个off堆ConcurrentMap，它给您基于密钥的随机访问。您可以在内存中(部分在磁盘上)使用共享内存，在多个JVM中使用一个副本，并可以选择在多台机器上复制它。
免责声明:我帮助设计了这个解决方案。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/34547195
复制相关文章
相似问题
腾讯云开发者
