快讯 | 玩游戏玩出一篇论文，清华大学团队获信息检索顶会 SIGIR 最佳学生论文奖

作者|周翔

最近几个月，以《王者荣耀》为代表的游戏受到了各方的攻击，其中以家长和老师的反应最为激烈。不过，玩物真的就一定会丧志吗？清华大学的几位学霸告诉你，玩游戏也能玩出新高度。

8 月 7 日，信息检索领域的顶级会议 SIGIR 2017 在东京开幕。9 日，大会公布了最佳论文、最佳学生论文、最佳短论文等 4 大奖项。其中，最佳论文奖被微软团队拿下，而清华大学的论文“Evaluating Web Search with a Bejeweled Player Model（使用宝石迷阵玩家模型评估网络搜索）”则收获了最佳学生论文奖。

“Evaluating Web Search with a Bejeweled Player Model”的作者表示，这篇论文是受流行游戏《宝石迷阵》启发，而这个模型的名字也是因此而得名。

玩游戏的时候也能想着写论文，让那些写论文的时候尽想着玩游戏的学渣情何以堪。所以说，学霸的世界果真无人能懂......

以下是这篇论文的简介，AI科技大本营翻译：

Web 搜索评估指标的设计与用户交互过程的建模密切相关。每个不同的行为模型都会需要不同的搜索表现评估标准。在这些模型中，以及用户行为设想背后，用户什么时候结束搜索会话是首要关注点之一，因为它与收益和成本估算高度相关。

现有的指标设计通常使用简单的指标来决定停止的时间点：

1. 收益的上限（如 RR、AP）
2. 成本的上限（如 Precision@N、DCG@N）

但是，在很多实际的搜索对话中（比如探索性搜索），对于“停止”的标准比简单的案例复杂的多。在分析真正的用户搜索对话的收益和成本时，我们发现判断“停止”的标准随着搜索任务的变化而变化，而且通常受到收益和成本因素的双重影响。受流行游戏《宝石迷阵》的启发，我们提出了一个“宝石迷阵玩家模型(Bejeweled Player Model，BPM)”来模拟用户的搜索交互过程，并评估其搜索表现。

目前的指标设计通常使用简单的方法来选择停止时间点：

1. 收益的上限（如 RR、AP）；
2. 成本的上限（如 Precision@N、DCG@N）。

然而，在很多实际搜索会话（如探索性搜索）中，停止标准会比这些简单形式复杂得多。我们发现停止条件随搜索任务而变化，通常受到收益与成本因素的双重影响。受流行游戏《宝石迷阵》的启发，我们提出了宝石迷阵玩家模型(Bejeweled Player Model，BPM)来模拟用户的搜索交互过程并评估其搜索性能。

在 BPM 中，当用户找到足够有用的信息或者没有耐心继续下去时就会停止。给定这一假设，我们提出了一种全新的基于收益和成本上限（不管是固定还是随着搜索过程而变化）的评估框架。我们展示了如何从框架中推导出一个新指标，并证明它可以被用来校订传统指标，比如 Discounted Cumulative Gain (DCG)、 Expected Reciprocal Rank (ERR)、Average Precision (AP)。为了证明该框架的有效性，我们将其与一系列现有指标进行了对比。实验表明，我们的框架与用户满意度反馈的关联性更好。

论文地址：http://www.thuir.cn/group/~yqliu/publications/sigir2017Zhang.pdf

附 SIGIR 2017 完整获奖名单：

最佳论文奖

论文标题：BitFunnel: Revisiting Signatures for Search

论文作者：Bob Goodwin (Microsoft), Michael Hopcroft (Microsoft), Dan Luu (Microsoft), Alex Clemmer (Heptio), Mihaela Curmei (Microsoft), Sameh Elnikety (Microsoft), Yuxiong He (Microsoft)

论文摘要：自 90 年代中期以来，人们普遍认为签名文件不如用于文本索引的倒排索引文件。最近几年，Bing 搜索引擎开发并部署了一种基于 bit-sliced 的索引。这种索引被称为“BitFunnel”，我们用它替换了一种现有的基于倒排索引的生产系统，背后的驱动因素是为了节约运营成本。本文介绍了算法的创新，以及云计算版图里的改变，它促使我们重新思考，并最终实现了曾经被认为无法使用的技术。BitFunnel 算法直接解决了 bit-sliced block 签名里的 4 个基本限制。同时，我们的算法在集群上映射提供了避免与签名相关的其他费用的机会。我们展示了这些创新与传统的 bit-sliced 签名相比，产生了显著的效率增益，并将 BitFunnel 与 Partitioned Elias-Fano Indexes、MG4J、Lucene 进行了比较。

荣誉奖

1.论文标题：IRGAN: A Minimax Game for Unifying Generative and Discriminative Information Retrieval Models

论文作者：Jun Wang (University College London), Lantao Yu (Shanghai Jiao Tong University), Weinan Zhang (Shanghai Jiao Tong University), Yu Gong (Alibaba Inc.), Yinghui Xu (Alibaba Inc.), Benyou Wang (Tianjin University), Peng Zhang (Tianjin University), Dell Zhang (Birkbeck, University of London)

2.论文标题：Classification by Retrieval: Binarizing Data and Classifiers

论文作者：Fumin Shen (University of Electronic Science and Technology of China), Yadong Mu (Peking University), Yang Yang (University of Electronic Science and Technology of China), Wei Liu (Tencent AI Lab), Li Liu (Malong Technologies Co., Ltd), Jingkuan Song (University of Electronic Science and Technology of China), Heng Tao Shen (University of Electronic Science and Technology of China)

最佳学生论文奖

论文标题：Evaluating Web Search with a Bejeweled Player Model

论文作者：Fan Zhang (Tsinghua University), Yiqun Liu (Tsinghua University), Xin Li (Tsinghua University), Min Zhang (Tsinghua University), Yinghui Xu (Alibaba Group), Shaoping Ma (Tsinghua University)

最佳短论文奖

论文标题：LiveMaps – Converting Map Images into Interactive Maps

论文作者：Michael R Evans (Microsoft Corp), Dragomir Yankov (Microsoft Corp), Pavel Berkhin (Microsoft Corp), Pavel Yudin (Microsoft Corp), Florin Teodorescu (Microsoft Corp), Wei Wu (Microsoft Corp)

荣誉奖

论文标题：DBpedia-Entity v2: A Test Collection for Entity Search

论文作者：Faegheh Hasibi (Norwegian University of Science and Technology), Fedor Nikolaev (Wayne State University), Chenyan Xiong (Carnegie Mellon University), Krisztian Balog (University of Stavanger), Svein Erik Bratsberg (Norwegian University of Science and Technology), Alexander Kotov (Wayne State University), Jamie Callan (Carnegie Mellon University)

最具时间价值奖

论文标题：Personalizing search via automated analysis of interests and activities

论文作者：Jaime Teevan, Susan T. Dumais, Eric Horvitz, SIGIR 2005.

荣誉奖

1.论文标题：A Markov random field model for term dependencies

论文作者：Donald Metzler, W. Bruce Croft, SIGIR 2005.

2.论文标题：Information retrieval system evaluation: effort, sensitivity, and reliability

论文作者：Mark Sanderson, Justin Zobel, SIGIR 2005.