2021年CCF-腾讯犀牛鸟基金课题介绍（二）——数字图像处理与计算机视觉
2021年CCF-腾讯犀牛鸟基金课题介绍（二）——数字图像处理与计算机视觉
腾讯公司和中国计算机学会于2013年共同发起的CCF-腾讯犀牛鸟基金（以下简称犀牛鸟基金），始终致力于支持海内外青年学者开展前沿学术研究与技术实践。犀牛鸟基金通过提供企业真实问题与业务实际需求，搭建产学研合作及学术交流的平台，推动合作双方学术影响力的提升及研究成果的应用落地，促进自主技术的创新与发展。
本年度犀牛鸟基金共设立10个科研方向共33项研究课题
申报截止时间为2021年6月15日24:00(北京时间)
申报链接：
https://www.withzz.com/project/detail/129（请在PC端登录）
我们将分五期对研究课题进行详细介绍
本文将介绍数字图像处理与计算机视觉课题
欢迎海内外优秀青年学者关注并申报
3.数字图像处理与计算机视觉
3.1 针对移动端的 Transformer 小型化的探索
Visual Transformer技术相比与CNN网络技术，在计算机视觉领域有更好的实现效果以及更合理的结构设计。但目前Transformer的模型都是针对GPU设计的大型模型，主要原因是Transformer整体的复杂度很高，参数量大，同时需要比较强的算力来支撑，所以很难在移动端实时运行。因此，在移动端支持实时模型计算的探索，对于Transformer在移动端AI（发布器）场景下的落地具有非常重要的意义和价值，可以显著的提升移动端AI算法的整体效果。
合作团队将提供相应的场景，模型训练平台（基于腾讯机智与Venus做过上层的训练加速和多机多卡的适配），以及TNN Inference层面的OP加速支持。
建议研究方向：
- Self-Attention的小型化；
- 针对计算机视觉任务的Transformer跟CNN结构的科学结合；
- 基于底层Inference框架，实现Transformer的运算加速。
3.2 对抗机器学习
在对抗样本攻击对深度神经网络及其相关应用带来了很大的安全隐患的情况下，对抗机器学习方向研究具有的学术与应用价值与日增加。近期虽然不同的攻击和防御方法相继被提出并取得了一定的攻击/防守效果，但对抗样本的理论机制还非常不明确，并且目前最为有效的基于对抗训练的防御方法存在泛化性不足、训练时间开销大等缺点，无法直接应用到实际的业务中。此外，目前黑盒/物理场景下的攻击效果相比于白盒攻击还比较弱，无法有效的衡量实际系统的对抗脆弱性。建议聚焦对抗性原理探究以及实际场景下的对抗攻击/防御需求，如轻量级防御方法和高效的黑盒/物理攻击方法等。
建议研究方向：
- 深度神经网络对抗性原理探究；
- 高效的黑盒攻击、物理对抗攻击算法研究；
- 高效的对抗防御方法研究，包括轻量级对抗防御和对抗训练泛化性问题等。
3.3 人脸活体检测
人脸识别技术的应用越来越普及，如何保证人脸应用的安全变得越发重要。活体检测就是判断人脸是否来自真实的用户，而非照片、面具等其它介质的攻击，保证人脸识别系统安全的关键技术。但很多攻击与真人在视觉上差异非常小，特别是一些高逼真的3d面具攻击，这给活体检测算法提出了很高的要求。本课题聚焦活体检测中的难点问题，从rPPG、域泛化、域迁移、异常检测等方向进行研究，提升活体模型的鲁棒性和准确度。
建议研究方向：
- 从rPPG心率检测着手解决活体问题，重点关注如何消除人脸运动、光照、肤色等带来的噪声及影响；
- 从图像细节分析、网络结构设计等着手，提升模型精度和效率；
- 从视频序列分析技术着手，分析真人与介质攻击在时序运动过程中的不同，提升模型稳定性；
- 从域泛化、域迁移等方法着手，提升人脸活体检测模型对光照、场景、采集设备的鲁棒性；
- 从异常检测、可解释性分析等方法着手，研究如何提升模型对未见过攻击样式的有效防御。
3.4 人体视觉信息的编辑、迁移、生成与建模
随着云游戏技术与产品的发展，面向大屏及客厅场景的云游戏应用成为重要的发展趋势。这些场景中玩家所面对的选择将不再局限于狭义的电子游戏，而是包括体感游戏、健身、舞蹈、视频创作与分享、换装试衣、会议交流等丰富的娱乐场景。
这些应用中，人体视觉信息的迁移、生成、或建模及渲染能力成为关键技术。近年来，虽然相关课题吸引了学术界越来越多的关注，但当前大部分方案在输出稳定性、质量、效率等方面仍然有不足，离商用水平有一定差距。
因此，在这个命题中，我们希望合作方可以通过视觉或图形学的算法研发，实现对人体姿态、服饰、动作、风格等视觉信息中的一项或几项的解耦与编辑能力。无论是基于生成网络、或是3D建模与渲染的技术方向，我们均希望以最终呈现效果优先，实现对人体相关图像高品质、高拟真度算法方案的攻关及技术储备。
建议研究方向：
- 基于RGB/单目摄像头的人体姿态、服饰、动作的编辑、迁移与生成；
- 基于RGB信息的高品质人体3D建模。
3.5 数字人驱动及渲染技术
近年来，数字人在虚拟主播、AI助手、虚拟偶像等领域的应用迅速增加。虚拟卡通形象主播、支持不同形象不同语言的虚拟AI主持人、直播带货主播的应用，体现了数字人具有广泛的应用场景以及高确定性的相关市场。
数字人涉及的技术中，驱动和渲染技术是目前业界关注的重点，既有方案通常因高成本、高耗时、难迁移等原因难以应用。探索能够在服务器（CPU/GPU）或移动端等目标平台实时处理，同时生成逼真自然的动作、表情、模型效果的轻量级、高质量的数字人驱动/渲染技术，同时产出高质量的学术成果，是本次研究关注的重点。相关研究成果也有机会在腾讯相关数字人技术中得以应用落地。
建议研究方向：
- 高精度动作实时识别技术；
- 高精度人脸表情实时识别技术；
- 高自然度文本/语音转嘴型技术；
- 基于多模态的人物动作/表情渲染技术；
- 高逼真度真人三维采集技术。
3.6 三维人体形态恢复与重建
随着VR/AR的发展，给人体重建技术带来了许多的发展应用的机遇，例如人体换装，虚拟人等等。然而，3D数据的缺失，场景与动作的多样性，对算法研发和应用带来了许多的挑战。本课题旨在研究基于SMPL一类的参数化模型的三维人体网格恢复与重建，希望在提升算法鲁棒性、建模精细度等方面有所突破。
建议研究方向：
- 基于SMPL/SMPL-X的三维人体形态恢复与重建，提升全身/半身/运动等多种场景和动作的鲁棒性和精度；
- 着重于脸部和手部的预测，并将精细的局部建模融入整个人体模型当中；
- 提升模型在不同形体的人物上的表现，特别在边缘贴合度上有所提升；
- 借助视频多帧或者多视角图片进行重建，获取更富连续性的的精细建模；
- 探索对于人体衣物的3D表现，将不同的衣物建模同时融入人体建模当中。
下期将介绍知识图谱与自然语言处理&语音信号处理与语音合成课题
敬请期待
申报截止时间为2021年6月15日24:00(北京时间)
请扫描下方二维码或点击阅读原文了解更多项目信息
https://withzz.com/project/detail/129
如需提交申请，请在PC端打开链接进行申报。
CCF-腾讯犀牛鸟基金
期待您的加入