专栏首页腾讯高校合作腾讯多项AI黑科技亮相SIGGRAPH Asia 2018

腾讯多项AI黑科技亮相SIGGRAPH Asia 2018

你的脑洞,在这里都已实现:虚拟人Siren、AI画师YUI、腾讯丽影、智慧商超、智能弹幕、微派机器人······

2018年12月4日到7日,第11届SIGGRAPH Asia在日本东京举行。作为国际顶级专业学术会议,SIGGRAPH Asia从2008年起每年召开,这也是有计算机图形图像研究领域“奥斯卡”之称的SIGGRAPH唯一的分会。SIGGRAPH Asia 2018汇聚了全球从事科研(硬件、软件)、电影、游戏、艺术、动画、人机交互、教育和新兴技术等方向的最前沿的专家、创意人员以及爱好者,大家齐聚一堂,展示世界顶尖的科学、技术、创新与思想。

以这一世界级舞台为窗口,“清华大学-腾讯联合实验室”联合腾讯AI Lab、互娱NEXT技术中心、优图实验室、音视频实验室、腾讯视频、自动驾驶业务中心等多个腾讯顶尖AI团队,参与SIGGRAPH Asia 2018的展厅展示及Exhibitor Talk,为近万名来自60多个国家的参会者,带来了高保真可交互的虚拟人Siren、自动生成日系二次元头像的AI画师YUI、基于人眼视觉的腾讯丽影、基于人脸人体识别技术的智慧商超、防遮挡的视频智能弹幕、基于智能物联的微派机器人、自然场景汉字的自动识别等多项行业顶尖AI体验。

高保真可交互虚拟人Siren

腾讯互娱NEXT技术中心 & AI Lab

近年来,AI技术的日渐成熟促进了IoT设备的爆发式增长,语音助手、聊天机器人逐渐走进我们的生活。为了给用户创造出更生动的交互体验,腾讯互娱NEXT技术中心与AI Lab联合研发的Siren AI,赋予虚拟人AI的大脑和具体的形象,让虚拟人能听会道。

本次SIGGRAPH Asia是Siren AI技术的首次海外展示。Live Demo对后台响应速度要求很高,互娱NEXT技术中心和AI Lab的小伙伴们在现场克服了重重困难,在TEG AI平台部、运营管理部高效、全力的支援下,顺利让广大与会者与Siren有了第一次亲密接触,体验到和高保真虚拟人进行面对面语音互动的乐趣。Siren AI吸引了大量与会者参与体验,不少数字人领域的研究者专门来展台切磋数字人和AI交叉研究中的关键问题,并在Exhibitor Talk环节一窥Siren AI背后的技术。

基于虚拟人的语音交互是一个复杂的过程,涉及多个AI研究和工程领域:语音激活检测(VAD),语音识别(ASR),自然语言处理(NLP),语音合成(TTS),语音驱动面部动画(ADFA)。

在虚拟人Siren的研究中,基于腾讯已有的AI解决方案,主要攻坚的是语音驱动面部动画(ADFA)相关技术。在解决实时驱动虚拟人的技术难点时,团队注意到Siren具有精巧的Rig Logic,能将80维左右的RigControls参数映射到数千维的脸部Rig Elements参数(Blend Shapes, Joints, Wrinkle Maps, etc. )。基于规则的映射,研发团队将语音驱动模型输出并抽象到80维左右,大大缩减了模型规模,同时降低了训练难度。在训练中,团队在面部动捕的同时采集音视频数据和Rig Controls序列数据,然后离线处理成一一对应的训练数据,并采用TimeCode和专业的音视频采集设备数据解决对齐和掉帧的问题。

自动生成日系二次元头像

AI画师YUI

腾讯AI Lab

图像转换(ImageTranslation)是目前计算机视觉领域最热门的研究方向之一。腾讯AI Lab运用这一技术,自主研发了“画师YUI”,可以将用户的真人头像转换成萌萌的二次元头像。在这次展会上,直接用手机给与会者拍照,通过微信小程序“AI画师YUI”即可自动生成出日系风格的二次元头像,与会者纷纷拍照体验。

YUI背后的核心技术是AI Lab自研的 “堆叠式循环一致性生成对抗网络”。它首先学习低分辨率的图像转换,然后基于低分辨率的转换结果在更高分辨率下学习图像转换,进而提高图像转换质量。团队采用了基于生成对抗网络(GAN)的方式来训练 YUI 的转化网络。这一生成对抗网络由生成器和判别器两部分组成。生成器不断地学习如何生成更高质量的二次元形象来欺骗判别器,同时判别器也不断学习如何更好地区分原始的二次元形象和生成的二次元形象。两者相互促进,最终使生成器能够根据输入人像生成接近人类画师水平的二次元形象。目前,用户可以通过微信小程序利用该技术将自己的真人头像转换为二次元头像,未来YUI将支持更精细的画风适配,甚至扩展至视频应用中。

更小更漂亮的视频魔术师“腾讯丽影”

腾讯音视频实验室

腾讯丽影是腾讯音视频实验室推出的基于人眼视觉标准的视频服务平台,在SIGGRAPH Asia 2018上,第一次向世界展示。腾讯丽影能将人眼视觉标准,贯穿视频处理服务的七大模块:分析、理解、修复、处理、编码、传输和评估,让每一个环节都以人眼视觉最优为目标。

腾讯丽影的人眼视觉识别

利用人眼视觉的特性,腾讯丽影可以自动找出视频中人眼感兴趣的部分,然后将视频分成人眼关注区域和非关注区域分别压缩和处理。同时,平台还能融合多种视频增强技术来提升视频感官质量,如去除可见噪点、低照度增强、去抖动、锐化增强、超分增强(SD->HD 2K->4K)、去除原始编码失真、去除毛刺、去除锯齿、帧率上采样、去除运动模糊、HDR等等。经腾讯丽影压缩处理后的视频,人眼的画质观感不但不会变差,反而可以超越源视频,达到视频修复并增强的效果。

智慧商超中的人脸人体识别

腾讯优图实验室

腾讯优图实验室在此次展会上展示了人脸人体识别技术在智慧商超、社交娱乐等场景中的应用。在城市生活方面,腾讯优Mall智慧零售系统通过大数据AI,赋能智慧零售。该技术基于人脸检测配准、人脸识别、人体Re-ID、人流密度分析以及人脸人体联合追踪等计算机视觉技术,通过腾讯优Mall智能零售系统,为消费者提供从进店、逛店到购买的全方位更优质的消费新体验。与此同时,零售商家可以通过VIP及老客到店识别、细粒度客流统计、客流轨迹统计等全面刻画场内用户行为,实现精准营销。目前,腾讯优Mall已经与百丽国际、永辉等客户达成合作。

优图智慧商超解决方案中的客户动线分析和停留路线统计

此外,腾讯优图联合腾讯云、每日优鲜最新推出的智能货柜解决方案,基于商品识别技术,可实现取物关门后自动生成订单结算,为用户提供“即拿即走”的流畅购物体验,准确率达99%以上。

智能防遮挡弹幕

腾讯视频

此次SIGGRAPH Asia中,在交互体验上,腾讯视频展示了为用户提供了智能防遮挡弹幕技术和“只看他”功能。智能防遮挡弹幕技术通过对视频内容的分析,分割出视频中的人体区域,让弹幕在经过人体区域时被遮挡,使用户可同时享受观看弹幕和视频的乐趣。同样基于AI技术对视频内容分析的“只看他”和台词提取与分享功能,也让视频用户获得更有趣的交互体验。

在观看体验上,TIE(钛)视频增强技术能给用户提供更细致的视频观看体验。它在SDR的基础上,自适应地对视频內容的对比度、饱和度优化,让呈现的画面色彩更鲜艳,层次更分明。结合视频超分辨率技术、HDR10 转换和增强技术,和ROI(感兴趣区域)编码,腾讯视频能为用户提供画面更清晰,视觉效果更好的观看体验。

基于智能物联的微派机器人

腾讯自动驾驶业务中心

本次大会上,腾讯自动驾驶业务中心展示了由腾讯自主研发的AI技术与物联网高度融合的智能配送机器人 - 腾讯微派。 根据末端配送应用场景,提供包裹分发、智能运输、便捷签收等一体化定制服务,真正做到在室内环境下将包裹安全、高效送达。

腾讯微派集成深度定制化的机器人操作系统,依靠自主研发的高性能SHIELD 模块化自主定位导航算法,结合多传感器融合感知解决方案,自研图像识别引擎、多模态人机交互等机器人核心技术,已实现在复杂大场景下构建地图、智能网联、规划轨迹、自主行走与避障,并具备调度物联设备的综合服务能力。

自然场景汉字的自动识别

清华大学-腾讯联合实验室

在自然场景照片上,文字会出现遮挡、透视变换、阴影、字体不一致等复杂情况,在此情况下识别汉字要比在扫描文档上识别困难得多。

清华-腾讯联合实验室可视媒体智能处理团队利用字符级别标注的特点,将物体检测和识别的神经网络(包括AlexNet、OverFeat、GoogleInception、ResNet和YOLOv2等模型)应用到街景汉字检测和识别中,从而实现室外街景汉字的高准确度检测和识别。这项技术可以用于街景中POI信息的自动提取,丰富地图中POI信息的细节。

为了给神经网络训练提供大量汉字数据集,清华-腾讯联合实验室在腾讯街景照片中挑选了32285张照片,并标注了超过100万个汉字及其属性信息,共创了迄今为止最大的真实场景汉字数据集。

此前,腾讯董事会主席兼首席执行官马化腾曾表示,AI、云计算、大数据是腾讯关注的重点,将持续与学术界、产业界开展各种合作。成立于2010年的清华-腾讯联合实验室,就是腾讯在产学研结合新模式上的探索:腾讯携手清华大学共同承担国家重大科研项目,探索原创性的技术成果,培养和吸收一流的高素质人才。在深入合作的AI、社交网络、大数据、安全、互联网+等领域,联合实验室取得了丰硕成果,共同研发的几十项科研成果现已在腾讯业务上得到实际应用。未来双方将在更广的领域、更深的层面开展更紧密的合作,为腾讯的业务发展、为清华大学的学科建设做出更多贡献。

本文分享自微信公众号 - 腾讯高校合作(Tencent_UR)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-12-08

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 2019腾讯犀牛鸟精英人才培养计划课题介绍(九)&(十)—数据挖掘及其相关应用研究方向&数据库相关技术研究方向

    ? ? 2019年度腾讯 “犀牛鸟精英人才培养计划”开放申请中,该项目是一项面向学生的校企联合人才培养项目,为期一年。入选学生将受到业界顶尖技术团队与高校导师...

    腾讯高校合作
  • 2019腾讯犀牛鸟精英人才培养计划课题介绍(九)&(十)—数据挖掘及其相关应用研究方向&数据库相关技术研究方向

    ? ? 2019年度腾讯 “犀牛鸟精英人才培养计划”开放申请中,该项目是一项面向学生的校企联合人才培养项目,为期一年。入选学生将受到业界顶尖技术团队与高校导师...

    腾讯高校合作
  • ACL2017犀牛鸟之夜 | 腾讯AI Lab科学家与华人学者畅谈NLP前沿

    2017年7月31日-8月4日,第55届国际计算语言学年会ACL 2017(Annual Meeting of the Association for Comp...

    腾讯高校合作
  • 今天到腾讯转了转,我竟穿梭了时光!

    (^_−)−☆ 好巧,我们又见面了 ? 南方的冬天秋高气爽,简直让人不好意思睡懒觉。 怎么办?只能浪! 今天不浪别的,浪鹅,去看看这只市值超40000亿的鹅。不...

    企鹅号小编
  • 今天到鹅厂转了转,我看到了未来!

    南方的冬天秋高气爽,简直让人不好意思睡懒觉。 怎么办?只能浪! 今天不浪别的,浪鹅,去看看这只市值超40000亿的鹅。不得不说,它得一举一动,代表的,可能就是未...

    企鹅号小编
  • 管中窥豹:腾讯大数据平台

    ‍‍‍‍腾讯有中国最全的社交数据,面对一个数据金矿,腾讯不可能坐视不理,腾讯基于hadoop研究了自己的大数据平台,最大的一个集群规模超过5600台。本文简单分...

    大数据和云计算技术
  • 马化腾很忙:阐释腾讯新定位、与长安合资建车公司,还出了本新书

    阐释腾讯新定位、介绍微信新动作,与长安汽车签约建合资公司,还参与编写了一本《指尖上的中国》。

    量子位
  • 【资讯】曝点腾讯数据挖掘的真相

    张小龙最近的一句话,“我们很少看统计数据,也几乎没从统计数据里看到用户的喜好。根据统计数据来找需求和方向是挺难的。”引来炮声一片。 有好几个...

    小莹莹
  • 腾讯市值破5000亿美元;“腾讯觅影”升级可支持AI辅助诊疗

    作者:Cecilia 【新智元导读】腾讯觅影迎来重大升级,从医学影像应用扩展到腾讯AI Lab技术支持的AI辅助诊断,并全面落地河北省。此外,本周腾讯市值超50...

    新智元
  • 大揭底:从张小龙看爆料腾讯公司数据挖掘的真像

    张小龙最近的一句话,“我们很少看统计数据,也几乎没从统计数据里看到用户的喜好。根据统计数据来找需求和方向是挺难的。”引来炮声一片。 ? 有好几个产品经理、技术大...

    灯塔大数据

扫码关注云+社区

领取腾讯云代金券