清华大学-腾讯联合实验室亮相中国多媒体大会ChinaMM2019

中国多媒体大会(ChinaMM2019)于8月26-28日在美丽的大连市召开，本次大会以“智能媒体+智能系统，两会融合，相会大连”为主题，同期举办“人工智能与水下机器人高峰论坛”，聚集了国内多媒体与人工智能领域的院士、各大高校教授、科研院所研究员、知名互联网公司的专家与广大青年学者和学生面对面进行交流，800余人一起研讨相关领域的学术研究成果和热点方向，共商人工智能发展机遇。

腾讯PCG应用研究中心主任单瀛博士受邀作现场报告

腾讯内容和平台事业群（PCG）应用研究中心主任单瀛博士受邀在ChinaMM产业前沿论坛上作了题为“机器学习和计算机视觉在智能信息流中的应用”的报告。

中国的智能信息流产业无论在内容、技术，还是用户的活跃程度都走到了世界的前列，由于在技术层面上涉及的范围几乎涵盖了目前人工智能和大数据的所有领域，这是一个很有潜力和影响力的应用研究方向。

单瀛博士以腾讯内容和平台事业群(PCG)为背景，从智能信息流在工业界和学界的趋势谈到腾讯PCG利用机器学习和计算机视觉技术在信息流产品中的一些应用和产品，指出了在内容理解、审核、用户画像和推荐技术上的挑战和进一步提高的空间，介绍了腾讯PCG在信息流产品中的相关技术。不少实例如智能塑型、智能弹幕、追星神器等引起了广大与会者的兴趣。报告最后还介绍了腾讯PCG应用研究中心在连接业界和学界、依托大数据和大算力为PCG产品服务和打造最好算法的定位和人才理念。

腾讯犀牛鸟合作计划及“清华-腾讯联合实验室”多媒体最新科研成果于大会现场展示

在ChinaMM2019腾讯高校合作的展台上，展示了完整的腾讯犀牛鸟合作计划，向与会者详细介绍了面向高校院所青年老师的犀牛鸟基金、面向高校科研骨干的犀牛鸟专项研究计划、以及面向学生的犀牛鸟精英人才培养计划。

同时，在腾讯高校合作的展台上还展示“清华大学-腾讯联合实验室”胡事民教授、袁春副教授等老师在多媒体方向最新的多项科研技术成果。

1、基于生成对抗网络的样例风格感知图像合成

给出一段文字及与该文字的主题相关的线上视频库或用户拍摄的视频库，该工作仅通过简单的交互即可生成视频。由此生成的结果视频可与文字叙述的视觉语义相匹配，同时满足计算摄影学的剪辑准则。所研制的系统主要包含三个步骤：1）用户编辑文本内容，2）系统自动从视频库中搜索与文本内容语义匹配的候选镜头，3）组装剪辑视频。该工作证明了即使是没有视频编辑经验的用户，也可以使用该方法剪辑出的视频赏心悦目的视频。并且证明了使用该技术剪辑视频所用时间明显少于使用专业视频编辑软件进行剪辑的时间，而所呈现的结果质量相差不大。

Write-A-Video: ComputationalVideo Montage for Themed Text. ACM SIGGRAPH Asia 2019

2、基于生成对抗网络的样例风格感知图像合成

风格引导的图像合成旨在通过引入风格样例图像作为额外输入，对图像合成问题中的合成结果进行风格的引导与约束。在这个问题中，“风格”一词指图像的隐含特征，例如：在肖像中，“风格”包括性别、种族身份、年龄、发型；在全身图像中，它主要指服饰；在街道场景图像中，它指天气和时间等。在这三类任务中，语义标签图像分别表示面部表情、全身姿势和场景分割。我们提出了一个新式的自适应语义一致性损失用于生成高质量的图像，以及一个新式的风格一致性鉴别器用于鉴定一对图像风格是否一致，并且设计了相应的风格一致性数据集的构造方法。

Example-Guided Style-ConsistentImage Synthesis from Semantic Labeling. CVPR 2019

3、图像到树：一种树结构解码器的图像标题生成方法

该工作提出了一种树结构的图像标题译码器，它能产生具有丰富句法信息的标题。据我们所知，我们的工作是第一个通过学习监督的图像字母依赖树来进行图像标题生成的方法。还提出了一个注意力模块，将编码器与树形解码器连接起来，大大提高了性能。通过实验证明，该方法成功地预测了图像的标题依赖树，并取得了与MSCOCO数据集上不同语言度量的，比链式结构模型相比较更好的结果。

4、基于解缠绕表达的随机视频生成

该工作提出了一种DR-随机视频生成方法，可以通过分析视频序列，对其进行随机分解，成与视频序列相关的成分—内容，和与视频序列无关的成分—动作姿态。还提出了DR-随机视频生成方法，具体采用了两种方法进行解缠绕，一种是通过将连续视频帧间内容的相似性，另一种是在隐空间加入对抗损失，从而将内容中的动作信息剔除出去。该方法很容易进行现实和合成视频的端到端的训练，生成的视频比基线方法具有更好的内容一致性。

ChinaMM2019由中国计算机学会（CCF）主办，CCF多媒体技术专业委员会、中国图象图形学学会（CSIG）多媒体专业委员会和新一代人工智能产业技术创新战略联盟共同协办。

本次会议拥有水下信息传输与协同计算、水下机器人控制与作业、多维信息立体感知、沉浸视频智能处理与传输、连接视觉与语言的跨媒体智能分析与理解、多媒体检索与推荐、行人重识别与智能监控、高水平研究经验交流会、医学遇见人工智能等专题，进一步增进了人工智能与水下机器人领域的学术交流与合作，促进了人工智能领域人才和团队引进，提升了该领域的研究与应用水平。

腾讯犀牛鸟合作计划介绍

腾讯犀牛鸟精英人才培养计划

犀牛鸟精英人才培养计划是一项针对大三及以上科研型人才的校企联合培养项目。入选学生将受到企业顶尖技术专家与高校导师的联合指导及培养。培养期间，学生将获得3个月以上到访腾讯开展科研访问的机会，基于真实产业问题及海量数据，验证学术理论、加速成果应用转化、开阔研究视野。同时项目组还引进沟通技巧、商业分析、创新思维等定制课程，定期举办线上线下交流活动，全面提升学生综合素质。入选学生还将获得线上实名社群平台“十分精英圈”的在线访问权限，结识志同道合的科研伙伴，获取业界信息及资源。

CCF-腾讯犀牛鸟基金

2013年，腾讯公司和中国计算机学会（CCF）共同发起犀牛鸟基金项目，致力于面向海内外青年学者搭建产学研合作及学术交流的平台。7年来，犀牛鸟基金为全球范围内最具创新力的青年学者提供了解产业真实问题，接触业务实际需求的机会，并通过连接青年学者与企业研发团队的产学科研合作，推动双方学术影响力的提升及应用成果的落地，为科技自主研发的探索和创新储备能量。

腾讯AI Lab犀牛鸟专项研究计划及访问学者计划

2017年，为了开放腾讯AI Lab的研发资源，促进与学术界的深入合作，腾讯AI Lab联合腾讯高校合作设立了专门面向人工智能领域的腾讯AI Lab犀牛鸟专项研究计划和腾讯AI Lab犀牛鸟访问学者计划。腾讯AI Lab研究员与海内外学者基于腾讯AI Lab的计算资源和腾讯丰富的应用场景，探索前沿技术，推动产业落地；并联合发表学术论文，开放研究成果；同时共同培养实习生，为生态储备高水平研究型人才，打造持续共赢的AI产学研合作生态。

腾讯广告犀牛鸟专项研究计划

腾讯广告犀牛鸟专项研究计划由腾讯广告与腾讯高校合作联合发起，是腾讯犀牛鸟产学合作计划的重要项目之一。该项目旨在开放腾讯广告业务中的技术挑战，搭建产学研合作平台，共同探索影响广告技术长远发展的前沿问题，并培养优秀人才。