求实求新 | 2018年CCF-腾讯犀牛鸟基金成果分享（一）

在越发重视科技自主创新，新产业国际竞争逐渐激烈的时代，我们更加坚信，科研道路没有捷径可走，只有脚踏实地，一步一个脚印，不断积累方能实现创新。

7年来，犀牛鸟基金为全球范围内的青年学者提供了解产业真实问题、接触业务实际需求的机会，并通过连接青年学者与企业研发团队，开展基础扎实的产学科研合作，推动双方学术视野的拓展及原创应用成果的落地，为科技自主研发的探索和创新储备能量。

2018年CCF-腾讯犀牛鸟基金合作目前进入收官阶段，小编将分四期介绍全部25个科研基金项目，本期将重点介绍《计算机视觉及模式识别》研究方向中的5位获奖者及其合作项目。

2018年CCF-腾讯犀牛鸟科研基金成果概述

2018年，CCF-腾讯犀牛鸟基金共计支持25项科研基金以及15项创意基金，在为期一年的项目周期中，科研基金获奖者与腾讯研发团队在共同关注的前沿科技领域开展深入合作，促进了高质量学术成果的产出，推动了研究成果的产业落地与应用。青年学者累积发表学术论文146篇，其中CCF A类论文60篇、B类论文39篇，联合撰写论文30篇，申请合作专利22项，部分技术储备将落地于相关业务。

10月17日，2018年度CCF-腾讯犀牛鸟基金项目结题评审会将在中国计算机大会（CNCC 2019）期间举行。届时，基金获奖者将集中展示他们一年来的合作成果。与此同时，由二十位内外部犀牛鸟专家组成的评审团，将现场评定并颁发本年度犀牛鸟基金的“卓越奖” 、“卓创奖”、“优秀奖”和“优秀专利奖”。

2018年CCF-腾讯犀牛鸟基金获奖者项目成果分享

·

项目负责人介绍

     南京大学  史颖欢

博士，分别于07和13年在南京大学计算机系获学士和博士学位，目前任副教授。主持和参与NSFC面上/青年/重点/仪器专项、国家重点研发等项目。担任2015-18 MICCAI-MLMI，2015-16 MLA，以及2017 MICS等组委会共同主席，江苏省人工智能学会医学图像处理专委会秘书长。入选中国科协“青年人才托举工程”，获ACM新星奖（南京），江苏省计算机学会青年科技奖，江苏省科学技术二等奖，中国人民解放军医疗成果奖，CCF-BigData最佳应用论文奖。

·

项目介绍

多源度量学习及其在跨模态医学图像分割上的应用

项目研究多源学习及其在跨模态医学图像分析上的应用，重点研究医疗数据分析中存在的“多源学习问题”，关注理论方法创新以及应用研究推广。一方面从理论上分析所提方法的正确性和可行性，另一方面从应用上深化所提方法在跨模态图像分析中的具体应用。具体地，重点关注多源学习的内在理论和性能保障，包括多模态特征表示和融合、多源集成学习、多源度量学习、多源图像生成、多源图像分割、多源迁移学习等。同时，从跨模态医学图像分析这一实际问题出发，结合所研究的算法进一步解决应用问题（MR图像生成，肾肿瘤分割、阿尔兹海默症诊断、多源材料基因数据分析），并将之应用于实际计算机辅助诊断系统或软件。

·

项目成果

在项目执行期内，共发表带基金编号的论文7篇，其中CCF-A/B类论文5篇，IEEE Trans/Journal 4篇，指导学生参加ACMMM 2019多模态学习竞赛获第5名（5/25），项目执行期内培养学生4名。

主要成果包括：

（1）研究多源集成与度量学习，并应用于阿尔兹海默症辅助诊断；

（2）研究并提出融合水平和垂直方向的纵横分割网络，并应用于CT肾肿瘤分割；

（3）研究基于边缘检测的跨源生成对抗学习，并应用于MR脑图像生成；

（4）研究并提出新型无监督多源域适应模型；

（5）研究并提出新型多源特征融合模型；

（6）提出代价敏感多源融合模型，与腾讯联合申请专利1项；

（7）首次自主开发多源骨癌抗肿瘤基因数据库软件平台，并申请软件著作权1项。

·

项目负责人介绍

天津大学  郭晓杰

天津大学长聘副教授、博导、北洋青年科学家、IEEE Senior Member。研究领域包括计算机视觉和机器学习，已在相关领域顶级期刊会议（TPAMI, IJCV, TIP, CVPR, ICCV, IJCAI, ACM MM等）发表60余篇论文。曾于2010年获得国际模式识别协会最佳学生论文，指导学生在2018年获两项ICME best student paper runner-up award。担任IEEE Access副主编、是多个顶级会议（ICCV, CVPR, ACM MM, AAAI, NeurIPS等）期刊（TPAMI, TIP, TMM, TGRS等）的程序委员/审稿人，中国图形图象学会-图象视频通信专委会委员。

·

项目介绍

视觉数据质量增强

成因各异的低质量视觉数据是以视觉信息为输入所开展的后续研究以及衍生产品的一大障碍。有效恢复低质量视觉数据是计算机视觉、多媒体和机器学习领域中一个颇具挑战性的基础研究问题。从视觉信息传递路径来看，数据输入为路径起始端点。如果采集过程中或存储操作过程中存在降低数据质量的因素，不仅有损美观，更糟糕的是会对后续处理产生负面影响。如是例子不胜枚举，如低照度、噪音污染、恶劣天气干扰（雨、雪、雾、霾）及部分数据丢失/受损等。若缺乏有效的技术来提升低质量视觉数据，劣势将不可避免的在整条处理路径上持续叠加。对于以视觉信息为基础的系统来说，提升视觉数据质量的重要性不言而喻。本项目围绕低质量视觉信息恢复中存在的结构正则缺乏充分性和有效性、执行算法的高复杂度以及复杂场景下性能欠鲁棒等瓶颈问题展开研究。具体研究内容如下：可视数据潜在结构先验知识的探索和理论模型设计；结合低照度图像恢复、去恶劣天气干扰和污染恢复等具体应用，分析所提出的结构知识的充分性和有效性。

·

项目成果

项目周期发表相关文章4篇；

联合专利申请2项；

AAAI 2020联合投稿2篇，包括人脸图像补全和多模态多实例参照的图像风格迁移。

·

项目负责人介绍

中国科学院信息工程研究所  张华

中国科学院信息工程研究所副研究员，硕士研究生导师。长期从事基于深度学习的多媒体内容感知，视频行为识别，计算机视觉，机器学习，人工智能等方面的研究，获2018年中共中央办公厅颁发的科技进步一等奖和2017年中国人工智能学会颁发的吴文俊人工智能科学技术奖自然科学奖二等奖, 入选中科院信工所 “青年之星”计划。

·

项目介绍

基于多模态信息融合的视频目标定位和特征学习

项目拟通过构建基于增强学习的目标补偿定位模型，实现视频中物体的精确定位。同时为提高视频中目标特征表达的准确性，构造基于自适应多模态注意力机制的方法进行特征学习，从而提升视频中目标特征表示的准确性和鲁棒性，进而推动视频目标识别性能的提高。

视频目标动态关键点挖掘模型流程示意图

·

项目成果

发表专业论文3篇，一篇在投，研究提出了任务驱动的注意力模型；引入了基于动态目标关键特征点的挖掘模型；重点突破了不同视角下的动作表观变形而导致的目标检测模型退化的问题，构建视角不变的目标特征点描述方法，提高目标检测的鲁棒性。

·

项目负责人介绍

南京理工大学  张姗姗

教授、博士生导师，博士毕业于德国波恩大学，并曾在德国马普所从事博士后研究。研究方向为计算机视觉、模式识别和深度学习，特别关注人体的检测和分析。目前在CVPR、ECCV、T-PAMI、T-CSVT、T-ITS等顶级国际会议和期刊上发表论文三十余篇，并主持多项科研项目，包括国家自然科学基金中德国际合作项目等。2018年入选中国科协“青年人才托举工程”。

·

项目介绍

基于深度学习的视频中人体分析技术

本项目主要研究图像视频中人体分析技术，如检测、识别、姿态估计、超分辨率等任务之间的相互关系，探索不同任务对其他任务的促进作用，提出合理的多任务联合求解的方案。从而实现以下两个目标，一是分别提高单个任务的性能；二是提高多任务联合求解的效率，最终实现在一个框架中完成多项人体分析技术。

人体分析与理解不同任务之间的辅助关系示意图

·

项目成果

项目围绕视频中人体分析技术这个主题，分别进行了人体检测与跟踪、人体识别、人体姿态估计和人体图像超分辨率方面的研究。在该项目的支持下，目前项目负责人以第一/通讯作者共发表学术论文6篇，在投论文3篇。其中，与腾讯联合发表计算机视觉顶级会议ECCV论文1篇，与腾讯联合投稿人工智能顶级会议AAAI论文1篇。此外，与腾讯联合申请专利一项。

·

项目负责人介绍

大连理工大学  王栋

大连理工大学，信息与通信工程学院，副教授，主要从事目标跟踪与识别方面研究。2013年于大连理工大学获得博士学位并留校任教。迄今在本领域顶级会议（CVPR、ICCV）及期刊（IEEE TPAMI、IEEE TIP）发表论文30余篇，Google Scholar引用2700余次。主持国家自然科学基金3项。获教育部自然科学二等奖，辽宁省优秀博士论文提名奖，CCF青年人才托举计划。

·

项目介绍

多摄像多实例目标跟踪与再识别算法研究

本项目研究目标为面向新零售、智慧交通及智慧养殖中的跟踪问题，搭建目标跟踪、重识别算法平台，提升算法精度。主要研究成果如下：

（1）在理论研究方面，重点研究了基于深度学习和相关滤波的目标跟踪算法，基于深度时域残差学习的行人重识别算法及基于端到端深度神经网络的图像模糊检测算法，图1展示了我们提出的自适应空间约束相关滤波算法来同时优化滤波器权重及空间约束矩阵，自适应空间约束机制可以高效地学习得到一个空间权重以适应目标外观变化，因此算法不仅达到了State-of-the-Art的效果（如图2所示），并且达到了实时的跟踪速度。

（2）在实际应用方面，项目团队与腾讯公司业务团队合力研发了非配合活体检测算法，养殖动物面部识别算法，车道线检测算法，摩尔纹检测算法，这些算法应用于腾讯深海实验室实际业务系统中。

（3）在系统研发方面，将目标检测、目标跟踪及目标重识别相结合，搭建了基于深度学习的多摄像头多目标跟踪系统，该系统未来将可应用于视频监控，智慧交通，智慧城市等场景。

图1 自适应空间加权相关滤波跟踪算法思想及效果

图2 自适应空间加权相关滤波跟踪算法精度对比

·

项目成果

论文成果：发表4篇CCF-A类论文；

系统成果：基于深度学习的多摄像头多目标跟踪系统；

专利成果：活体检测方法、装置及应用活体检测方法的服务系统（发明专利，已申请）；

实际项目应用成果：基于红外可见双目图像的非配合活体检测算法，养殖动物面部识别算法，车道线检测算法，摩尔纹检测算法。

关于CCF-腾讯犀牛鸟基金

2013年CCF与腾讯合作发起CCF-腾讯犀牛鸟科研基金，作为第一支面向青年学者的企业基金，引起了学界的广泛关注。该项基金致力于支持青年学者从事前沿技术研究，洞察业界问题，推动科研成果应用转化。2013-2019年犀牛鸟科研基金共计发布124项技术命题。命题均来自真实业务场景与需求，主题涉及算法理论、模式识别、社交网络、多媒体、虚拟现实、自然语音处理、大数据、网络安全、区块链、计算机视觉等学界业界热点问题。同时，基金项目还提供腾讯云、腾讯大数据、腾讯文智等计算资源与技术平台。2013-2019年间，共有1126位优秀青年学者提交申请，基金共计支持141项科研基金项目，以及108项创意基金项目。基金获得者与腾讯团队深度合作，共申请国际国内专利232项，发表高水平学术论文784篇，并将部分研究成果在产业平台上测试提升及推动应用转化。