每日学术速递7.7

点击下方卡片，关注「AiCharm」公众号

Subjects: cs.CV

1.MVDiffusion: Enabling Holistic Multi-view Image Generation with Correspondence-Aware Diffusion

标题：MVDiffusion：通过对应感知扩散实现整体多视图图像生成

作者：Shitao Tang, Fuyang Zhang, Jiacheng Chen, Peng Wang, Yasutaka Furukawa

文章链接：https://arxiv.org/abs//2307.01097

项目代码：https://mvdiffusion.github.io/

摘要：

本文介绍了 MVDiffusion，这是一种简单而有效的多视图图像生成方法，适用于像素到像素对应的场景，例如全景图或多视图图像的透视裁剪（给定几何形状（深度图和姿势））。与依赖迭代图像变形和修复的先前模型不同，MVDiffusion 同时生成具有全局意识的所有图像，包含高分辨率和丰富的内容，有效解决了先前模型中普遍存在的错误累积问题。MVDiffusion 特别结合了对应感知注意机制，实现有效的跨视图交互。该机制支持三个关键模块：1）生成低分辨率图像，同时保持全局对应性的生成模块，2）致密图像之间空间覆盖的插值模块，3）升级为高分辨率输出的超分辨率模块。在全景图像方面，MVDiffusion 可以生成高达 1024 × 1024 像素的高分辨率真实感图像。对于几何条件多视图图像生成，MVDiffusion 演示了第一种能够生成场景网格纹理贴图的方法。项目页面位于此 https URL。

2.SketchMetaFace: A Learning-based Sketching Interface for High-fidelity 3D Character Face Modeling

标题：SketchMetaFace：基于学习的草图绘制界面，用于高保真 3D 角色面部建模

作者：Zhongjin Luo, Dong Du, Heming Zhu, Yizhou Yu, Hongbo Fu, Xiaoguang Han

文章链接：https://arxiv.org/abs//2307.00804

项目代码：https://zhongjinluo.github.io/SketchMetaFace/

摘要：

3D虚拟形象建模有利于AR/VR、游戏、影视等多种应用场景。角色面孔作为虚拟形象的重要组成部分，具有显着的多样性和生动性。然而，构建 3D 人物面部模型通常需要使用商业工具进行大量工作，即使对于经验丰富的艺术家来说也是如此。现有的各种基于草图的工具无法支持业余爱好者建模不同的面部形状和丰富的几何细节。在本文中，我们介绍了 SketchMetaFace - 一个针对业余用户的草图绘制系统，可在几分钟内对高保真 3D 脸部进行建模。我们精心设计用户界面和底层算法。首先，采用曲率感知笔画，更好地支持雕刻面部细节的可控性。其次，考虑到将 2D 草图映射到 3D 模型的关键问题，我们开发了一种新颖的基于学习的方法，称为“隐式和深度引导网格建模”（IDGMM）。它融合了网格、隐式和深度表示的优点，以高效率获得高质量的结果。此外，为了进一步支持可用性，我们提出了从粗到细的 2D 草图界面设计和数据驱动的笔画建议工具。用户研究证明了我们的系统在易用性和结果的视觉质量方面优于现有建模工具。实验分析还表明，IDGMM 在精度和效率之间达到了更好的权衡。

3.Segment Anything Meets Point Tracking

标题：分段任何满足点跟踪

作者：Frano Rajič, Lei Ke, Yu-Wing Tai, Chi-Keung Tang, Martin Danelljan, Fisher Yu

文章链接：https://arxiv.org/abs//2307.01197

项目代码：https://github.com/SysCV/sam-pt

摘要：

Segment Anything Model (SAM) 已成为强大的零样本图像分割模型，采用交互式提示（例如点）来生成掩模。本文介绍了 SAM-PT，这是一种扩展 SAM 跟踪和分割动态视频中任何内容的能力的方法。SAM-PT 利用稳健且稀疏的点选择和传播技术来生成掩模，证明基于 SAM 的分割跟踪器可以在流行的视频对象分割基准（包括 DAVIS、YouTube-VOS 和 MOSE）中产生强大的零样本性能。与传统的以对象为中心的掩模传播策略相比，我们独特地使用点传播来利用与对象语义无关的局部结构信息。我们通过对零样本开放世界未识别视频对象（UVO）基准的直接评估来强调基于点的跟踪的优点。为了进一步增强我们的方法，我们利用 K-Medoids 聚类进行点初始化并跟踪正点和负点以清楚地区分目标对象。我们还采用多个掩模解码通道进行掩模细化，并设计点重新初始化策略以提高跟踪精度。我们的代码集成了不同的点跟踪器和视频分割基准，并将在此 https URL 发布。

推荐阅读

在对比学习中引入显式跨图像相似度建能力，中南大学显著提高无监督表征的泛化能力

2023-07-06

每日学术速递7.6

2023-07-06

每日学术速递7.5

2023-07-05

SIGGRAPH2023｜DreamFace：一句话生成 3D 数字人

2023-07-05

CVPR 2023 | BundleSDF:对未知物体进行6D追踪和3D重建新SOTA

2023-07-04

点击卡片，关注「AiCharm」公众号

喜欢的话，请给我个在看吧！