犀牛鸟精英研究生计划课题方向一览

腾讯携手高校、科研院所及学术组织启动“犀牛鸟精英研究生计划”，通过洞察产业数据、接触真实问题、定制专项方案联合培养顶尖AI创新人才，推进前沿科研突破、加速成果应用转化、提升人类生活品质。2017年度精英计划发布二十余个课题，涵盖人工智能核心技术，课题方向及腾讯专家导师介绍如下，点击“阅读原文”了解申报指南。

2017年度腾讯“犀牛鸟精英研究生计划”

课题方向

方向1：视觉及多媒体计算

方向2：自然语言处理

方向3：语音技术

方向4：机器学习及相关应用研究

方向5：数据挖掘及相关应用研究

方向1：视觉及多媒体计算

课题1.1：人脸检测与识别关键技术研究

自动人脸检测与识别研究是人工智能和计算机视觉领域的热点、难点问题。在工业界和学术界都受到广泛的重视。本课题面向人脸技术在金融、移动互联网、视频监控等相关领域的重大需求，结合计算机视觉技术前沿，以深度学习为主要技术手段，重点突破人脸检测与人脸识别这两大核心技术问题。

导师简介：腾讯专家研究员，IEEE高级会员。2003年和2006年在中国香港中文大学获得信息工程硕士和博士学位。2006年至2010年在中国香港中文大学和美国密西根州立大学任博士后研究员。2011年3月起在中国科学院先进技术研究院任职，先后担任副研究员、研究员、博士生导师。研究方向包括人工智能、计算机视觉、人脸检测与识别等。在CVPR, ICCV, ECCV，以及多媒体领域的国际顶级会议ACM MM发表二十多篇高质量论文。

课题1.2：图像视频编辑技术研究

本课题涉及到图像去噪、图像超分辨率、图像视频去模糊、图像视频滤镜风格转换、视频去抖动等计算机视觉领域的技术研究，尤其鼓励研究生在视频去模糊和视频滤镜风格等课题做出开创性的研究成果。

课题1.3：深度的图像视频理解技术研究

图像文本的理解，不仅需要有效的表示图像，也要对文本进行有效的表示，进而学习两者之间的复杂关系，以完成图像文本的搜索，描述生成等。视频理解不仅需要学习单帧图像的表示，更要建模时间域的视频帧之间的相关性。学生可以重点在图像文本联合建模，视频帧建模等进行研究突破。

课题1.4：基于视觉的深度强化学习研究

课题涉及基于视觉的深度强化学习，研究3D视频游戏中的AI，研究如何直接从图像序列输出游戏主体的控制信号，研究如何赋予游戏主体记忆和中长期策略规划，在游戏AI和通用AI领域试图取得突破。

课题1.5：增强现实中的计算机视觉技术研究

增强现实涉及到的计算机视觉技术包括基于图像/视频的SLAM技术及三维场景理解等领域。学生可以重点在视觉SLAM、三维重建、场景解析等方向进行研究。

课题1.2~1.5导师简介：腾讯专家研究员。博士毕业于哥伦比亚大学计算机科学与电子工程专业，曾获哥伦比亚大学优秀博士论文奖、计算机视觉与模式识别国际会议(CVPR)青年研究者奖、国际信息检索大会(SIGIR)最优论文荣誉奖。长期从事计算机视觉、机器学习、数据挖掘、信息检索等领域的基础研究和产品开发，迄今发表和录用论文100+篇，总引用次数据Google Scholar统计为3600+次，论文大都发表在国际权威的期刊与会议上，如Proceedings of the IEEE，IEEE TPAMI，NIPS，ICML，KDD，CVPR，ICCV，ECCV，IJCAI，AAAI，UAI，SIGIR，SIGCHI等。多次担任国际权威期刊的客座编委与审稿人，自2007年起一直担任国际顶级会议NIPS、CVPR、ICCV等的程序委员会成员。

课题1.6：深度学习技术在广告图片中应用研究

主要研究深度学习技术在广告场景中的应用，包括广告图像（视频）素材中的文字检测与识别、广告图像素材的语意理解、特征表达、用户画像挖掘等方向。

导师简介：博士毕业于日本东京大学，后留校担任助理教授，主攻计算机视觉方向。曾发表过多篇学术论文，并担任期刊Pattern Recognition Letters特约审稿人。目前继续从事图像相关的算法研究与相关的技术应用落地。

课题1.7：基于深度学习技术的OCR研究

学生在联合培养期间将主要从事基于深度学习技术的OCR方向研究，具体内容是实验训练多种深度神经网络结构，对自然场景、证件文档、互联网图片、视频中的文字区域做检测定位，以及端到端的序列识别。

导师简介：博士毕业于中国科学院自动化研究所模式识别与人工智能专业。主要从事图像识别、目标检测跟踪等理论和应用研究，在领域内重要学术会议、期刊上发表论文4篇，申请相关专利2项。工作期间曾从事文档OCR、自然场景OCR应用研究，提出基于文字背景区域检测和自适应分级聚类的文字检测方法，研究成果申请美国专利2项，日本专利2项，中国专利5项。目前主要从事证件识别、自然场景文本识别等研究工作。

方向2：自然语言处理

课题2.1：基于深度学习的文档主题信息抽取研究

学生在联合培养期间主要从事基于深度学习技术的自然语言处理方向的研究。具体包括对文本的句、段、篇章的表示学习，开发相关的深度学习匹配算法对相关的文本块进行深度匹配。一方面做到对细粒度文本（句、段）的深度理解，另一方面准确地抽取出粗粒度（篇章）文本中的主题信息块。重点在文本表示、深度学习匹配算法研究方向取得突破。

导师简介：腾讯专家研究员，毕业于华中科技大学集群与网格计算实验室。主要研究方向为数据挖掘及大数据应用，有着十余年的数据挖掘工作经验。早期参与QQ VoIP、旋风下载器、电脑管家等产品的数据分析和挖掘、及产品优化工作，曾主导参与微信数据指标体系、画像数据的建设、业务分析等工作。现主要从事产品征信建模、产品数据应用相关的研究工作。

课题2.2：基于深度学习的文档阅读理解研究

主要研究方向是基于深度学习的文档阅读理解，包含句子级别的信息抽取，全局与局部主题关系建模，以及基于语义匹配的阅读理解问答。

导师简介：博士毕业于中国科学技术大学。在计算广告引擎和机器学习并行化训练方面有丰富经验，曾主导广告用户商业兴趣数据挖掘项目。目前主要从事文档阅读理解研究，包括文档自动摘要、基于文档的智能问答等。

课题2.3：对话机器人相关技术研究

建立对话机器人开发平台是一种“冷启动”的手段，意图让一般的开发者，快速构建对话机器人，加快对话机器人落地的速度。

本课题探讨的重点如下：

1）把一个任务导向的对话机器人用一种简单的方法来表示，比如填写一个任务表格，或参考已开发类似的对话机器人模板，半自动地把任务表格作转换修改；

2）编写一个任务表格读取、运行器，进行多轮对话，以达到任务完成；

3）支持任务导向、QA机器人、闲聊机器人互动，利用对话的上下文，把重要的槽位和意图之继承，让对话机器人更智能。比如：从闲聊、到询问关于电影问答、到订电影票，相互跳转的情况。

导师简介：腾讯专家研究员，博士毕业于卡内基梅隆大学语言技术研究院。主要从事语音识别、机器翻译、语义分析相关研究工作。曾在Nuance Communications、SRI International （史坦福研究所）任职，在ACL, NIPS, IEEE, Interspeech等会议发表论文，并有多个美国专利。

方向3：语音技术

课题3.1：语音识别相关模型的研究

学生在联合培养期间将主要从事语音识别方向研究，语音识别中的语言模型、声学模型任选其一，以深度学习算法为基础，优化识别率。

导师简介：腾讯专家研究员，博士毕业于中国科学院声学研究所信息与信号处理专业。主要从事语音识别等理论和应用研究，在领域内重要学术会议、期刊上发表论文10篇，申请相关专利5项。曾主导开发了腾讯社交产品中语音搜索联系人、语音输入、语音转文字等多个产品特性。

课题3.2：语音合成相关技术研究

学生在联合培养期间将主要从事语音合成的研究，具体研究内容包括基于深度学习的语音合成、基于情感的语音合成、特定人语音合成以及歌曲合成等。

导师简介：博士毕业于中国科学技术大学讯飞语音实验室信息与信号处理专业。主要从事语音识别、声纹和语种识别的研究工作，多次参与NIST SRE/LRE评测取得佳绩，在ICASSP和INTERSPEECH等会议上发表文章多篇，曾获ISCSLP2010 Best Paper，拥有多项美国专利。目前主要从事语音识别和深度学习相关的研究工作。

方向4：机器学习及相关应用研究

课题4.1：深度文本理解技术以及应用研究

研究和探索基于语义分析和知识推理的深度文本理解技术以及其在开放域聊天等场景中的应用。

导师简介：腾讯专家研究员，毕业于清华大学计算机科学与技术系。主要研究方向为语义理解和智能人机交互。在ACL、EMNLP、WWW、SIGIR、CIKM、AAAI等国际会议上发表论文20多篇，曾多次担任ACL、EMNLP、WWW、AAAI等会议的程序委员会委员以及TOIS、TKDE等期刊的审稿人。

课题4.2：机器学习在图文数据挖掘上的应用研究

主要研究领域在图像处理、机器学习（含深度学习）等，拟在图像特征的自动抽取、图像理解（含类型和风格）、图文关联建模等方向进行研究突破。

导师简介：博士毕业于清华大学自动化系，长期从事AI相关研究工作，在AI领域SCI&EI检索的顶级期刊和国际会议发表论文15篇左右，目前主要从事社交大数据信用建模相关的研究。

课题4.3：基于深度学习的知识图谱构建研究

本课题着重研究使用远监督的方法，在深度学习的框架下，从文本中提取实体、概念与相关关系，进而建立知识图谱。也会研究知识图谱在问答系统中的应用，特别是如何较好处理图谱中的噪音。

导师简介：腾讯专家研究员，博士毕业于纽约州立大学布法罗分校理论物理专业。主要从事自然语言处理与信息抽取相关研究，在ACL,SIGIR,IJCAI，WWW等会议发表多篇论文，并有多个美国专利。

课题4.4：实时神经机器翻译系统的研究

基于NMT的优势和潜力，实时机器翻译的需求明确，本课题包括但不限于解决翻译中调序、多译、漏译、数据稀疏性问题、解码速度等问题的整套解决方案的系统化研究。

课题4.5：分布式机器学习算法平台的研究

目前机器学习（不限于深度学习）在各业务上广泛应用，建立并行分布式机器学习算法平台成为必然。此课题目的是横跨系统与算法的边界，设计flexible、scalable、portable、efficient的分布式机器学习系统，能高效灵活地面向海量数据支持各种机器学习模型训练、模型压缩、在线预测。

课题4.4~4.5导师简介：博士毕业于大连理工大学计算机专业。主要研究机器学习算法改进和并行化实施。在SCI & EI期刊和会议上发表学术论文8篇，在机器学习领域有着丰富的研究经验。目前主要负责机器学习平台和应用的研发工作。

课题4.6：基于深度神经网络的转化路径建模和转化率预估研究

互联网广告场景中，为了优化广告主投放广告后的效果，我们需要基于广告发生转化（如注册账号、付费下载、下单购买等）的可能性对线上广告排序做调整。转化这个问题中，用户从看到广告、到点击广告、再到发生转化，会产生一系列行为。当前工业界做转化率预估，往往建模点击到转化的转化率，或忽略点击信息、直接建模曝光到转化的转化率。本课题旨在研究，能否通过对转化路径建模，提出创新的转化率预估方案，提升预估准确率。

本研究课题包括但不限于以下内容：

1. 基于深度神经网络的特征表示和有监督学习；

2. 基于神经网络层次结构的转化路径建模。

导师简介：毕业于上海交通大学计算机应用技术专业。主要从事数据挖掘、机器学习相关研究，共发表国际会议论文6篇，其中两篇为第一作者，分别发表在CIKM和AAAI。目前主要负责社交广告中转化率的预估并参与转化优化相关策略，相关项目获得公司技术突破奖。

课题4.7：人工智能技术在实时对战游戏中的应用研究

如英雄联盟、王者荣耀、星际争霸等实时对战类游戏，由于其操作感好、可玩性强，在玩家群体中非常受欢迎。同时，复杂的决策环境，海量的用户数据，也意味着此类游戏可以作为理想的人工智能技术实验平台。本课题主要研究人工智能技术在实时对战类游戏中的应用，具体内容包括但不限于实时决策、多人对抗中的博弈论应用、多智能体协作等。

导师简介：博士毕业于新加坡国立大学。主要从事数据挖掘、机器学习相关研究，在推荐系统、精准营销、用户管理等应用方向有丰富的经验，所负责项目多次获得公司级奖项。目前主要负责腾讯游戏中数据挖掘和机器学习的落地应用。

方向5：数据挖掘及相关应用研究

课题5.1：跨模态检索及其在广告推荐中的应用研究

在腾讯的产品和服务生态体系中，用户的行为是多种多样的，大多数行为都会涉及到文字、图片、视频等多种模态的内容。与此同时，广告素材的形式也是在不断的演进当中，从早期的文字、图片类的广告，到现在的短视频类的广告，广告素材也是多模态的，甚至单个素材就存在多种模态。多模态和跨模态是我们面对的大数据的一个很重要的特征，要想在广告的场景中充分地利用大数据，提升广告投放的精度，必须针对性地解决多模态和跨模态的问题。具体到这个课题，我们想要解决的是跨模态检索的问题，将文字、图片、视频映射到同一个空间中，也就是将用户和广告映射到同一个空间中，实现高效率的精确检索，其结果可以用于广告推荐的多个环节。

导师简介：腾讯专家研究员，博士毕业于北京航空航天大学。多年专注于效果广告的算法研究及优化，主要负责点击率预估方案的设计和实现，数据+算法+系统三位一体，追求技术与业务的最优结合，通过精准推荐助力公司广告业务的蓬勃发展。

课题5.2：时序行为在广告推荐中的应用

在一种推荐场景中，用户会多次访问平台，但平台只能选择在某一次访问时展示广告，并且该广告在未来一段时间内会保持不变。为了优化用户体验同时保证平台收益，需要根据用户的历史行为数据建立模型，寻找广告的最优展示时机以及考虑未来场景变化下的用户的整体点击率。

导师简介：博士毕业于华中科技大学数学与应用数学、生物医学工程专业。主要从事医学图像重建算法、优化算法的正则化方法研究和图像重建中的缺失数据问题研究，以第一作者发表A类期刊论文3篇。目前主要从事点击率预估及社交传播算法研究。

课题5.3：社交网络结构挖掘相关研究

研究社交网络的结构与属性特征，包括用户在社交网络中的特征、用户之间的相似性以及用户影响力等方面；技术领域涉及机器学习、复杂网络、网络表达学习（network representation learning）、用户影响力建模、影响力最大化（influence maximization）等。

导师简介：腾讯专家研究员，毕业于四川大学应用数学专业。有超过10年的互联网大数据应用经验，专注于将机器学习、复杂网络等技术应用到社交网络数据挖掘。目前主要负责社交产品用户数据的挖掘工作，主导社交产品广告的精准定向、社交征信、社会化传播等重要项目。

课题5.4：海量用户婚恋育儿状态预测研究

腾讯社交广告平台上有大量有钱的婚恋、母婴广告主，准确投放婚纱、孕婴广告给有需求的用户将对显著提升广告收入有重要意义。而从用户角度，用户对婚恋、孕婴类型的广告非常敏感，大量已婚用户不喜欢看到征婚广告，单身用户不喜欢孕妇广告。因此准确的刻画腾讯海量用户的婚恋育儿状态（包括单身、恋爱中、新婚、已婚、育儿【包括孩子的年龄】），对于精准定向婚恋孕婴类型广告、提升广告主效果、 优化用户广告体验，都具有重要意义。

借助腾讯自由海量用户行为数据：QQ群、移动App、广告、QQ空间及微信等，面向海量用户（10亿级），通过数据挖掘建模预测用户的婚恋育儿状态，是本课题主要解决问题。包括但不仅限于以下任务：

1) 基于PU-Learning的训练样本集构建；

2) 特征挖掘及特征体系建设；

3) 用户状态建模。

导师简介：腾讯专家研究员，博士毕业于复旦大学计算机视觉方向，普林斯顿大学博士后。多年从事数据挖掘、分析与优化等研究工作，在数据挖掘顶级会议中发表多篇研究论文。目前主要负责腾讯社交广告基础定向的建设。