问存储n-g索引数据的高效数据库模型

EN

请参阅Lucene NGramTokenizer

您确定不能只使用lucene或类似的索引技术吗？

倒排索引只存储n克一次，然后只存储包含ngram的文档ids；它们不会将其存储为高度冗余的原始文本。

至于查找包含查询子n-g的ngram，我将在观察到的ngram上构建一个索引，例如使用第二个lucene索引，或者使用任何其他子字符串索引 (如trie或后缀树)。如果您的数据是动态的，那么lucene可能是一个合理的选择，使用短语查询来查找您的n-克。

基本上，对于这个任务，您可以在良好支持基于B+tree的索引的情况下有效地使用任何SQL数据库(MySQL将为您所需的完美套件)。

创建3个表：

1. 文档表，列: id/document
2. N克表:n克id/n克
3. N克与文档之间的映射: document_id/n_gram_id

在n表/n_gram字符串和映射表/n_gram_id上创建索引，主键在默认情况下也会被很好地索引。

你的运作将是有效率的：

1. 插入文档:只需提取所有n克并插入到文档表和n克表中。
2. 在索引的支持下，快速查找in_gram
3. 查询包含一个子n克的所有n克:在两个步骤中，只需根据索引查询所有n克，其中包含第2表中的子n克。然后-为每一个n克检索所有相应的文档。

您甚至不需要使用联接来完成所有这些操作，所以索引会有很大帮助。另外，如果数据不能放在一台机器上--您可以实现分片方案，比如在一台服务器上存储从and启动的n_grams，在另一台或其他合适的方案上存储or。

您也可以使用MongoDB，但我不确定您需要如何实现索引方案。对于MongoDB，您将获得免费的切分方案，因为它已经内置。

我以前没有这样做过，但考虑到您想要的功能，这听起来像是图形数据库的一项工作。下面是ne4j的演示。