如何确定精确度和召回率计算中的相关分组？
对information retrieval系统最著名的度量之一是计算其precision和recall。对于这两种情况，我们都需要计算相关文档的总数，并将其与系统返回的文档进行比较。我的问题是，在以下场景下，如何找到相关文档的super set：
假设我们有一个学术搜索引擎，它的工作是接受学术论文的全名，并基于一些算法，返回相关论文的列表。这里，为了判断系统是否具有良好的准确性，我们希望计算其精度和召回率。但我们不知道如何才能产生一组相关的论文-which搜索引擎应该返回它们，针对不同用户的查询-并相应地，计算准确率和召回率。
回答 1
Stack Overflow用户
发布于 2016-05-06 23:01:23
与系统设计最相关的文档集涉及向用户(真人)显示文档。
非人类评估：
在您的特定实例中，您可能会得出一个“假”的评估。我希望论文“相关判断的变化和检索有效性的测量”1排名最高的论文将是这篇论文本身。这样你就可以获取你的数据并创建一个自动评估。它不会告诉你你的系统是否真的在寻找新的东西(你关心的)，但它会告诉你你的系统是否糟糕。
例如，如果你在麦当劳，你问地图系统最近的麦当劳在哪里，它没有找到你在的那家，你就会知道这是某种系统故障。
真实评估的：
您提出了一组查询，并为每个查询判断系统的前K个结果。在实践中，您不可能查看每个查询的数百万篇论文--因此，您可以根据您当前所知的召回集来近似召回集。这就是为什么在你汇集的系统中有一些多样性是很重要的。相关性是棘手的；人们在哪些文档与查询相关的问题上存在很大分歧。
在你的例子中:人们会在什么论文与另一篇论文相关的问题上存在分歧。但这在很大程度上是可以的，因为他们大多会在显而易见的问题上达成一致。
如果你在比较系统，分歧是可以接受的：
只有当您比较不同的信息检索系统时，此范例才有意义。它不能帮助您了解单个系统有多好，但它可以帮助您确定一个系统是否可靠地优于另一个系统1。
书名/作者Ellen M.“相关性判断的变化和检索有效性的衡量。”信息处理与管理36.5 (2000)：697-716。
https://stackoverflow.com/questions/37063845
复制相似问题
腾讯云开发者
