【犀牛鸟·视野】SIGGRAPH Asia 2017 视觉盛宴精彩回顾

ACM SIGGRAPH Asia 今年是第10届，全球6000名Computer Graphics and Interactive Techniques领域的大牛齐聚泰国曼谷，4天的大会是一场精彩纷呈的AR/VR/MR视觉盛宴。

曼谷天气稍显潮热。市容不如深圳现代和高科技气息浓厚。街道特别是人行道较狭窄拥挤，本以为没了共享单车的洪流就耳根清静，超多的摩托车的穿梭和轰鸣也令人头疼。街上外国游客众多，行人都很悠闲放松，不像深圳行人走路都像火烧屁股似的。佛教和王室在泰国有无上的地位，寺庙和国王王后的肖像无处不在。即使远在郊区的会议中心街对面，也有这样金碧辉煌的庙宇。

展会内容丰富，除了art gallery, VR showcase, computer animation festival, posters, 和各种symposium/workshop/course, 重头戏是technical papers和各种炫酷技术的展览。总的感受是VR/AR技术正在成为主流，但每个方面存在巨大的挑战和机遇。

展会第一天基本上是热场，其中VR/AR for Media, Business, and Social Impact专场focus在VR/AR的应用场景，主流技术和落地的挑战。James Fong, CEO of JauntVR China特别强调了中国市场的巨大潜力，和中国公司应该在AR/VR商业化方面奋起直追。

Google在这次展会很活跃。他们展示了Spotlight Stories, 他们的VR authoring tool, 从最早的A Windy Day 到最新的Piggy的进化历程和storytelling 在VR和360 degree mobile上的挑战。大牌导演（包括Toy Story, Bugs Life, Toy Story2 的动画导演Mark Ofteda）主刀的多部妙趣横生的短片令人对这项技术刮目相看。

Google还在积极推进AR/VR在诸如Google Earth等产品上的应用，和积极布局VR/AR on the Web (WebGL, WebARonARKit, WebARonARCore)。感觉Google已经在竞争AR/VR门票方面已领先一步。

特别感谢我们来自AI lab, 优图实验室和清华-腾讯联合实验室的大牛们展示在人体姿态估计、图像处理、三维场景重建、视频人像分割等方面的成就，使腾讯成为大会的明星公司之一。

后三天的内容眼花缭乱我只能重点关注我最关心的图像和视频相关的内容。VR/AR内容的存储和压缩是巨大的挑战；多相机图像的拼接/去噪/操纵和自然的场景转换也是难题；提高HDR图像的质量也是一个热点；降低复杂度是永恒的话题；AI越来越多的找到了用武之地。

一些有趣的talks/demos/posters:

1Swinging 3D Lamps: A Projection Technique to Create 3D Illusions on a Static 2D Image

结合wiggle stereoscopy和dynamic luminance projection并附加depth-of-field effect到原始图像上产生裸眼3D效果。

2Enhanced Shadow Play with Neural Networks

用GANs和LSTMs从用户输入静态阴影图像实时插值运动系列。

3GPU Based Techniques for Deep Image Merging

优化基于GPU 的deep image (color + depth)存储(链表，数组，interleaved 数组)和合并。

4Visual Enhancement via Reinforcement Parameter Learning for Low Backlighted Display

用神经网络(reinforcement learning)增强低亮度显示。

5Multi-video Object Synopsis Integrating Optimal View Switching

根据activity, occlusion, chronological order, and view switching costs用图论和动态编程优化不同view的切换。

6Removal of Ghosting Artefacts in HDRI using Intensity Scaling Cue

把产生HDR图像的LDR图像和一个参考图像对齐以消除HDR图像中因运动产生的鬼影。

7Learning to Predict Indoor Illumination from a Single Image

用神经网络训练光照分类器自动标注和预测光源位置，以及预测光源强度。

8Deep Reverse Tone Mapping

用3D CNN合成不同光照的LDR图像再合成HDR图像。

9Seamless Video Scene Transition Using Hierarchical Graph Cuts

最小化connection-cost的场景切换。

10A Fast And Efficient Content Aware Downscaling Based Image Compression Method For Mobile Devices

根据纹理复杂度决定downscale的factor。

11Automatic Generation of Visual-Textual Web Video Thumbnail

用salient visual和textual metadata 产生视频的thumbnail。

12Content-Based Measure of Image Set Diversity

优图基于diversity score的衡量图像多样性的论文。

最后分享一些我看到的超炫的东西。期待明年能去东京。

END