2020腾讯犀牛鸟精英人才培养计划课题介绍（八）——视觉及多媒体计算

腾讯高校合作

发布于 2020-01-13 11:40:26

1K0

发布于 2020-01-13 11:40:26

精英人才培养计划是一项校企联合人才培养项目，入选学生将受到业界顶尖技术团队与高校导师的联合指导及培养。培养期间，学生将获得3个月以上到访腾讯开展科研访问的机会，基于真实产业问题及海量数据，验证学术理论、加速成果应用转化、开阔研究视野。同时项目组将为学生搭建线上和线下学习、交流平台，帮助学生挖掘更多潜能。学生通过“十分精英圈”线上平台，随时获取前沿技术资讯、沉淀科研收获与心得；通过“智学研讨会”及“智享交流会”等线下平台，积极参与海内外顶级学术会议及学术专家交流活动；通过“精英研学营”进阶平台，对话产业专家、修炼职场智慧、开拓创新思维。

2020腾讯犀牛鸟精英人才培养计划

12个前沿方向，69项课题

申报截止日期：2020年1月19日

同学们，记得抓紧时间申报哦！

上期介绍了

课题方向（七）自然语言处理

这期让我们一起来看看第八个方向吧！

总有一个适合你！

课题方向（八）

视觉及多媒体计算

面向人脸感知的AutoML/NAS（地点：深圳）

本课题拟研究面向人脸感知的网络结构优化问题，主要研究目的如下：（1）探索AutoML/NAS在人脸数据（具有很强的先验的结构化特性）上的有效应用，并在该领域的国际顶会上发表高质量文章；（2）提高人脸识别模型在真实场景下的性能。

导师简介

腾讯专家研究员，IEEE高级会员，国际期刊Neurocomputing的编委。博士毕业于中国香港中文大学。研究兴趣包括人工智能、计算机视觉、人脸研究等。在相关领域的国际会议（CVPR、ICCV、ECCV、IJCAI、AAAI、ACM MM等）和期刊（PAMI、IJCV、TIP、ACMTIST、TIFS、TCSVT、IEEE Signal Processing Letters等）上发表（含录用）了50多篇高质量文章，其中基于深度学习的人脸检测与关键点定位经典算法MTCNN（2016年发表至今，谷歌引用量已超过1000次）和基于深度学习的人脸识别经典算法Center face（2016年发表至今，谷歌引用量已超过1000次）。

视频分析与理解（地点：深圳）

研究在规模比较大的场景下的视频分类、视频物体检测、视频表示以及有关的认知和推理。我们的兴趣主要集中在自动理解视频内容的主题、视频中出现的人和物以及视觉和时序方面的认知和推理。推荐的子课题包括：（1）大规模视频表示学习，如视频分类和视频检测等；（2）压缩域视频理解分析，如动作分类和动作检测等；（3）细粒度视频理解分析和推理，如视频物体检测和物体关系检测等。

导师简介

腾讯专家研究员，2013年在中国香港中文大学电子工程系获得博士学位。现在主要从事深度学习、计算机视觉、视频分析与理解等，尤其是视觉与语言的多模态深度学习方面的研究。在CVPR、ICCV、ECCV、NIPS、ICML、ACL、EMNLP、PAMI等顶级会议和期刊上发表过多篇论文。

数字人生成（地点：深圳）

我们将共同研究深度生成模型在数字内容生成方面的应用(包括游戏、直播、视频等方面)。主要关注基于深度神经网络的高真实感的人脸和人体生成。鼓励将传统的计算机图形学渲染管线与最新的深度生成模型结合起来。推荐的子课题包括：（1）针对单个人物、高分辨率高真实感的人脸人体运动信息迁移；（2）针对任意人物、少样本的人脸人体运动信息迁移；（3）数字人与真实场景的自然融合。

导师简介

腾讯高级研究员，清华大学计算机科学与技术博士。主要从事计算机视觉和计算机图形学的研究。在CVPR、ECCV、TIP上发表过多篇高水平论文。目前主要从事数字人合成、数字内容生成方面的项目和研究。

深度神经网络的对抗攻击与防御（地点：深圳）

近年来，基于深度学习的人脸识别技术取得了突破性进展，并被广泛应用于金融和安防等重要场景。与此同时，近期的研究表明，深度神经网络很容易被对抗样本所欺骗，很多主流的人脸识别模型也未能幸免。关于对抗样本存在的原因以及如何有效防御对抗样本的攻击等关键问题还没有非常完善的答案。本课题将围绕针对人脸识别的对抗攻击（尤其是黑盒攻击和物理攻击）、对抗防御和对抗样本的特性或分布等几个方向展开深入的研究，以提高人脸识别技术的安全性。

导师简介

腾讯专家研究员，在中国科学院自动化研究所获得博士学位。其研究领域为计算机视觉、机器学习和优化。当前研究方向为深度神经网络的安全性和可解释性。在TPAMI、IJCV、CVPR、ICCV、ECCV等期刊会议上发表过多篇论文，其中包括CCF A类文章19篇。

人脸生成和对抗攻击研究（地点：上海）

本课题围绕人脸图像生成和对抗攻击课题，基于但不限于生成对抗网络（Generative Adversarial Networks, GAN），研究更加逼真和更符合实际噪音退化效果的人脸图像生成；研究如何生成更加具有欺骗性的人脸对抗样本；研究区分实际人脸图像和虚拟生成人脸图像的算法；研究对人脸对抗样本鲁棒的人脸识别模型。

导师简介

腾讯高级研究员，博士毕业于中科院计算所。其主要研究的内容为人脸识别相关算法。作为算法负责人，研发的人脸识别算法不但在学界评测集LFW、Mega Face上取得过第一的成绩，也成功支持远程核身、公益寻人、微信支付、智慧社区/城市等公司级重要项目。

复杂背景小目标检测研究与应用（地点：深圳）

小目标检测召回率低是计算机视觉领域一个急需解决的难题，但目前学术界大部分算法应用在复杂的工业界场景与在通用数据集上的效果相去甚远。此外，目标检测的数据标注成本高且获取困难，如何灵活扩展模型检测类别也是一个业界难题。本课题将会研究提升小目标检测的模型架构改进、训练方法及损失函数创新。此外，还会研究领域自适应和迁移学习等方向，以求尽量提升模型在复杂场景下的泛化能力。最后涉及弱监督学习和无监督学习等灵活扩展模型标签类别的创新算法。

导师简介

腾讯高级研究员，中国香港科技大学博士。主要从事图像描述、多标签分类、目标检测和多模态语义理解等计算机视觉前沿方向的研究与落地。

3D模型的运动视频合成（地点：上海）

当前有一些人体运动合成视频的研究工作使用火柴人关节点姿态作为从视频到视频的运动传递的中介，他们从源主题中提取姿势并应用学习的姿势到外观的映射来生成目标对象动作。我们希望将运动从目标人转移到游戏角色3D模型，然后将人像视频从真实人转移到游戏角色来生成视频。

导师简介

腾讯高级研究员，博士毕业于清华大学。目前主要研究计算机视觉与机器学习技术在游戏内容推荐中的应用。已发表9篇国际会议与期刊论文。

行人ReID相关算法研究（地点：上海）

本课题围绕人体相关CV算法，重点在行人重识别（Person ReID）领域进行研究突破。研究内容包括深度模型优化、无监督场景下域迁移、域泛化以及联邦学习等。本课题不仅包含海量业务数据下的算法优化，同时兼顾以创新为导向的学术研究。

导师简介

腾讯高级研究员，博士毕业于中国香港大学，研究领域包括机器学习和计算机视觉等。曾主导包括医疗图像识别和Person ReID等多项关键技术的落地与论文发表。

生成对抗网络的可控细节生成的研究和应用（地点：深圳）

生成对抗网络是生成模型的一种，通过让生成网络与判别网络相互博弈的方式进行学习。这可以用于一系列新奇有趣的图像应用，例如图像填补、风格转换和迁移、图像翻译等。目前，针对生成对抗网络的研究目前仍有一些方面急需推进。例如，如何使得生成的图像更加自然和真实、训练过程更加稳定、生成方向和结果可以控制等。

本课题希望研究如何能一定程度上引导网络生成出的细节，使之真实可控，并设计出一种定量的评估方法能够在一定程度上判别生成细节的真假。对抗生成网络的特性要求学生同时具有良好的数学知识和编程能力。因此，在这个课题中，学生不仅能够探索最前沿困难的课题（论文产出），也能够直观地看到实验过程中新奇有趣的结果（产品、小程序）。

导师简介

腾讯高级研究员，先后获得上海交通大学学士和中国香港中文大学博士学位。研究方向涵盖了计算摄影学、图像视频处理、计算机视觉和对抗生成网络等。在CVPR、ICCV、ECCV、SIGGRAPH Asia等国际顶级计算机视觉学术期刊和会议上发表过多篇论文，同时担任CVPR、ICCV和ECCV等会议的审稿人。

三维人体视觉计算（地点：深圳）

随着智能手机和移动计算设备的普及，人脸和人体逐渐成为日常拍摄照片的主要目标之一。本课题以腾讯公司在社交娱乐方面的深厚积淀为基础，研究以人体为主要对象的视觉任务。主要包括人体的三维重建和姿态估计，以及其在图像合成和虚拟现实场景下的相关应用。针对目前采集三维数据流程复杂、成本高和可扩展性差的问题，我们将以参数化的人体模型和渲染引擎生成的合成数据为基础，重点探索基于无监督或弱监督学习的解决方案。

导师简介

腾讯高级研究员，浙江大学工学博士。主要研究人脸三维重建、表观建模、计算摄影学、反向渲染等计算机视觉和计算机图形学的交叉领域。在TPAMI、TIP、CVPR、ECCV等国际顶级计算机视觉学术期刊和会议上发表过数十篇论文，同时多次担任相关期刊和会议的审稿人。

大规模细颗粒度短视频理解（地点：深圳）

短视频已经成为业界和学界一个新的发展方向。此课题探索大规模短视频上做内容的细颗粒度拆解，将物体、场景、人物和动作等信息通过检测和识别等方法进行智能分析。通过深度学习方法训练神经网络模型，用来理解视频内容并将其提炼成离散的有义标签。此课题将研究如何利用短视频的一些特点和不同的模态信息建立语义层面的模型，提升视频理解性能。

导师简介

导师1：腾讯专家研究员，本科毕业于浙江大学化工自动化专业，博士毕业于上海交通大学图像所。目前从事社交媒体和内容分发系统的内容创建、理解和推荐的算法研发。已在ICCV、CVPR、ECCV、SIGGRAPH、KDD、PAMI、IJCV等顶级会议和期刊上发表了30多篇论文，并拥有30项美国/国际专利。

导师2：腾讯高级研究员，新加坡国立大学博士，美国伊利诺伊大学香槟分校博士后研究员。新加坡IDA奖(最优博士毕业生)获得者。目前从事智能化视频创作以及视频内容理解相关研究工作。在CVPR、ICCV、ECCV、TPAMI、TIP等顶级会议和期刊发表10余篇论文，谷歌学术引用超过1100。

个性化的视频特征学习与内容推荐（地点：深圳）

现有的视频特征学习任务一般只学习视频的一些泛化特征后提供给推荐系统。视频推荐系统一般只通过用户画像和视频特征对用户的行为特征进行推荐。二者是两个独立的任务，相互之间缺乏联系。本课题希望在两个任务之间建立联系，根据用户画像学习视频的个性化特征进行推荐，构建端到端的视频特征学习与内容推荐任务。具体的应用场景有个性化的视频片段推荐、个性化的视频封面推荐和视频Embedding在推荐中的应用等。

导师简介

腾讯高级研究员，浙江大学信电系博士毕业，美国俄勒冈州立大学博士后。主要研究方向为多媒体与关系数据挖掘、计算机视觉和机器学习等。在TKDE、CVPR、AAAI、KDD、ACMMM、CIKM、ICDM等顶级期刊及会议上发表了多篇文章，同时担任TKDE、TMM、TNNLS、ICML、NIPS、AAAI等期刊及会议的评审。此外，拥有已授权专利5个。

图像美学评估相关应用研究（地点：深圳）

图像美学质量评估是用客观的方法去衡量图像或视频内容在人眼中的美感程度。我们的目标是利用计算方法预测模型模拟大众人眼对不同内容的完整视觉感知过程，其涵盖的范围包括构图、色彩、清晰度等基础指标和主题、情感等高级语义信息的评价。本课题面向图像处理，短视频，直播等领域的重要需求，结合计算机视觉前沿技术，利用深度学习重点突破图像视频内容自动增强和推荐等技术问题。