首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    HumanNeRF:从单目视频中实现移动人物的自由视点渲染

    给定一个人类表演活动的单个视频,我们希望能够在任何一帧暂停,并围绕表演者旋转360度,以便在那个时刻从任何角度观看(图1)。这个问题——移动物体的自由视点渲染——是一个长期存在的研究挑战,因为它涉及到合成以前看不见的相机视图,同时考虑布料褶皱、头发运动和复杂的身体姿势。这个问题对于在本文中所讨论的用单个相机拍摄的“现场”视频(单目视频)来说尤其困难。以前的神经渲染方法通常假设多视图输入、仔细的实验室捕捉,或者由于非刚体运动而在人类身上表现不佳。特定于人类的方法通常假设SMPL模板作为先验,这有助于约束运动空间,但也会在服装中引入SMPL模型无法捕捉到的伪影和复杂运动。最近可变形的NeRF方法对于小的变形表现良好,但在舞蹈等大型全身运动中表现不佳。本文介绍了一种称为HumanNeRF的方法,该方法将移动的人的单个视频作为输入,在每帧、现成的分割(通过一些手动清理)和自动3D姿势估计之后,优化人体的标准体积T姿势,以及通过后向扭曲将估计的标准体积映射到每个视频帧的运动场。运动场结合了骨骼刚性运动和非刚性运动,每种运动都以体积表示。其解决方案是数据驱动的,标准体积和运动场源自视频本身,并针对大型身体变形进行了优化,端到端训练,包括3D姿势细化,无需模板模型。在测试时,可以在视频中的任何一帧暂停,并根据该帧中的姿势,从任何视点渲染生成的体积表示。

    01

    扫码

    添加站长 进交流群

    领取专属 10元无门槛券

    手把手带您无忧上云

    扫码加入开发者社群

    相关资讯

    热门标签

    活动推荐

      运营活动

      活动名称
      广告关闭
      领券