快讯 | 玩游戏玩出一篇论文,清华大学团队获信息检索顶会 SIGIR 最佳学生论文奖

作者|周翔

最近几个月,以《王者荣耀》为代表的游戏受到了各方的攻击,其中以家长和老师的反应最为激烈。不过,玩物真的就一定会丧志吗?清华大学的几位学霸告诉你,玩游戏也能玩出新高度。

8 月 7 日,信息检索领域的顶级会议 SIGIR 2017 在东京开幕。9 日,大会公布了最佳论文、最佳学生论文、最佳短论文等 4 大奖项。其中,最佳论文奖被微软团队拿下,而清华大学的论文“Evaluating Web Search with a Bejeweled Player Model(使用宝石迷阵玩家模型评估网络搜索)”则收获了最佳学生论文奖。

“Evaluating Web Search with a Bejeweled Player Model”的作者表示,这篇论文是受流行游戏《宝石迷阵》启发,而这个模型的名字也是因此而得名。

玩游戏的时候也能想着写论文,让那些写论文的时候尽想着玩游戏的学渣情何以堪。所以说,学霸的世界果真无人能懂......

以下是这篇论文的简介,AI科技大本营翻译:

Web 搜索评估指标的设计与用户交互过程的建模密切相关。每个不同的行为模型都会需要不同的搜索表现评估标准。在这些模型中,以及用户行为设想背后,用户什么时候结束搜索会话是首要关注点之一,因为它与收益和成本估算高度相关。

现有的指标设计通常使用简单的指标来决定停止的时间点:

  1. 收益的上限(如 RR、AP)
  2. 成本的上限(如 Precision@N、DCG@N)

但是,在很多实际的搜索对话中(比如探索性搜索),对于“停止”的标准比简单的案例复杂的多。在分析真正的用户搜索对话的收益和成本时,我们发现判断“停止”的标准随着搜索任务的变化而变化,而且通常受到收益和成本因素的双重影响。受流行游戏《宝石迷阵》的启发,我们提出了一个“宝石迷阵玩家模型(Bejeweled Player Model,BPM)”来模拟用户的搜索交互过程,并评估其搜索表现。

目前的指标设计通常使用简单的方法来选择停止时间点:

  1. 收益的上限(如 RR、AP);
  2. 成本的上限(如 Precision@N、DCG@N)。

然而,在很多实际搜索会话(如探索性搜索)中,停止标准会比这些简单形式复杂得多。我们发现停止条件随搜索任务而变化,通常受到收益与成本因素的双重影响。受流行游戏《宝石迷阵》的启发,我们提出了宝石迷阵玩家模型(Bejeweled Player Model,BPM)来模拟用户的搜索交互过程并评估其搜索性能。

在 BPM 中,当用户找到足够有用的信息或者没有耐心继续下去时就会停止。给定这一假设,我们提出了一种全新的基于收益和成本上限(不管是固定还是随着搜索过程而变化)的评估框架。我们展示了如何从框架中推导出一个新指标,并证明它可以被用来校订传统指标,比如 Discounted Cumulative Gain (DCG)、 Expected Reciprocal Rank (ERR)、Average Precision (AP)。为了证明该框架的有效性,我们将其与一系列现有指标进行了对比。实验表明,我们的框架与用户满意度反馈的关联性更好。

论文地址:http://www.thuir.cn/group/~yqliu/publications/sigir2017Zhang.pdf

附 SIGIR 2017 完整获奖名单:

最佳论文奖

论文标题:BitFunnel: Revisiting Signatures for Search

论文作者:Bob Goodwin (Microsoft), Michael Hopcroft (Microsoft), Dan Luu (Microsoft), Alex Clemmer (Heptio), Mihaela Curmei (Microsoft), Sameh Elnikety (Microsoft), Yuxiong He (Microsoft)

论文摘要:自 90 年代中期以来,人们普遍认为签名文件不如用于文本索引的倒排索引文件。最近几年,Bing 搜索引擎开发并部署了一种基于 bit-sliced 的索引。这种索引被称为“BitFunnel”,我们用它替换了一种现有的基于倒排索引的生产系统,背后的驱动因素是为了节约运营成本。本文介绍了算法的创新,以及云计算版图里的改变,它促使我们重新思考,并最终实现了曾经被认为无法使用的技术。BitFunnel 算法直接解决了 bit-sliced block 签名里的 4 个基本限制。同时,我们的算法在集群上映射提供了避免与签名相关的其他费用的机会。我们展示了这些创新与传统的 bit-sliced 签名相比,产生了显著的效率增益,并将 BitFunnel 与 Partitioned Elias-Fano Indexes、MG4J、Lucene 进行了比较。

荣誉奖

1.论文标题:IRGAN: A Minimax Game for Unifying Generative and Discriminative Information Retrieval Models

论文作者:Jun Wang (University College London), Lantao Yu (Shanghai Jiao Tong University), Weinan Zhang (Shanghai Jiao Tong University), Yu Gong (Alibaba Inc.), Yinghui Xu (Alibaba Inc.), Benyou Wang (Tianjin University), Peng Zhang (Tianjin University), Dell Zhang (Birkbeck, University of London)

2.论文标题:Classification by Retrieval: Binarizing Data and Classifiers

论文作者:Fumin Shen (University of Electronic Science and Technology of China), Yadong Mu (Peking University), Yang Yang (University of Electronic Science and Technology of China), Wei Liu (Tencent AI Lab), Li Liu (Malong Technologies Co., Ltd), Jingkuan Song (University of Electronic Science and Technology of China), Heng Tao Shen (University of Electronic Science and Technology of China)

最佳学生论文奖

论文标题:Evaluating Web Search with a Bejeweled Player Model

论文作者:Fan Zhang (Tsinghua University), Yiqun Liu (Tsinghua University), Xin Li (Tsinghua University), Min Zhang (Tsinghua University), Yinghui Xu (Alibaba Group), Shaoping Ma (Tsinghua University)

最佳短论文奖

论文标题:LiveMaps – Converting Map Images into Interactive Maps

论文作者:Michael R Evans (Microsoft Corp), Dragomir Yankov (Microsoft Corp), Pavel Berkhin (Microsoft Corp), Pavel Yudin (Microsoft Corp), Florin Teodorescu (Microsoft Corp), Wei Wu (Microsoft Corp)

荣誉奖

论文标题:DBpedia-Entity v2: A Test Collection for Entity Search

论文作者:Faegheh Hasibi (Norwegian University of Science and Technology), Fedor Nikolaev (Wayne State University), Chenyan Xiong (Carnegie Mellon University), Krisztian Balog (University of Stavanger), Svein Erik Bratsberg (Norwegian University of Science and Technology), Alexander Kotov (Wayne State University), Jamie Callan (Carnegie Mellon University)

最具时间价值奖

论文标题:Personalizing search via automated analysis of interests and activities

论文作者:Jaime Teevan, Susan T. Dumais, Eric Horvitz, SIGIR 2005.

荣誉奖

1.论文标题:A Markov random field model for term dependencies

论文作者:Donald Metzler, W. Bruce Croft, SIGIR 2005.

2.论文标题:Information retrieval system evaluation: effort, sensitivity, and reliability

论文作者:Mark Sanderson, Justin Zobel, SIGIR 2005.

原文发布于微信公众号 - AI科技大本营(rgznai100)

原文发表时间:2017-08-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技大本营的专栏

牛气!数据挖掘顶级会议KDD2017大奖公布,KDD Cup全被中国人给包了

记者 | 周翔 8 月 13 日至 8 月 17 日,国际数据挖掘领域的顶级会议 ACM SIGKDD 2017 在加拿大的 Halifax 召开。此次大会共有...

3076
来自专栏CVer

CVPR 2018 收录论文名单全公布

本文将介绍 CVPR 2018 所有录用论文的标题, 包括每篇论文属于 oral, spotlight还是 poster的情况. 大家可以根据论文的标题去 go...

1902
来自专栏机器学习人工学weekly

机器学习人工学weekly-2018/3/4

1. RL相关 1.1 inverse RL教程,第一部分就是讲Andrew Ng 20年前的奠基论文(我没读原论文,但是惊讶的发现居然全部是用的LP解的)。这...

4898
来自专栏大数据文摘

谷歌这个AI+AR插件能在显微镜中画出肿瘤轮廓,全世界医生都能用

1645
来自专栏WOLFRAM

Mathematica 11 在偏微分方程中的应用

5423
来自专栏安全领域

机器学习,流式IoT和医疗设备互联

现如今,IoT数据,实时流式数据分析(streaming analytics),机器学习以及分布式计算的组合相比之前有了长足的进步,同时成本也比以前要低,这使得...

87110
来自专栏PPV课数据科学社区

【学习】用SPSS绘制质量控制图

控制图(Control Chart)又称管理图,它是用来区分是由异常原因引起的波动,还是由过程固有的原因引起的正常波动的一种有效的工具。控制图通过科学的区分正常...

3195
来自专栏机器学习算法与Python学习

资源 | 这是一份非常全面的开源数据集,你真的不想要吗?

9892
来自专栏量子位

和免疫荧光标记说拜拜 | 谷歌Cell论文:深度学习模型预测荧光位置

常用的相差显微镜观察法,是从生物组织的一侧给光,对细胞损伤小,且材料准备过程非常简单。

1393
来自专栏机器之心

资源 | 这是一份非常全面的开源数据集,你,真的不想要吗?

1502

扫码关注云+社区

领取腾讯云代金券