每日学术速递1.6

AiCharm

发布于 2025-01-06 12:30:54

830

文章被收录于专栏：AiCharm

CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理

Power by Kimi&苏神编辑丨AiCharm

Subjects: cs.CV

1.Generative Video Propagation

标题：生成视频传播

作者：Shaoteng Liu, Tianyu Wang, Jui-Hsien Wang, Qing Liu, Zhifei Zhang, Joon-Young Lee, Yijun Li, Bei Yu, Zhe Lin, Soo Ye Kim, Jiaya Jia

文章链接：https://arxiv.org/abs/2412.19761

项目代码：https://rl-at-scale.github.io/

摘要：

大规模视频生成模型具有对自然场景进行逼真建模的固有能力。在本文中，我们证明了通过精心设计生成视频传播框架，可以利用此类模型的生成能力以统一的方式处理各种视频任务。具体来说，我们的框架 GenProp 使用选择性内容编码器对原始视频进行编码，并使用图像到视频生成模型传播对第一帧所做的更改。我们提出了一种数据生成方案，以基于实例级视频分割数据集覆盖多个视频任务。我们的模型是通过结合掩码预测解码器头并优化区域感知损失来训练的，以帮助编码器在生成模型传播修改后的区域时保留原始内容。这种新颖的设计开辟了新的可能性：在编辑场景中，GenProp 允许对对象的形状进行大量更改;对于 insertion，插入的对象可以表现出独立的运动;对于去除，GenProp 可以有效地去除整个视频中的阴影和反射等效果;对于跟踪，GenProp 能够一起跟踪对象及其相关效果。实验结果表明，我们的模型在各种视频任务中具有领先的性能，我们进一步提供了对所提出的框架的深入分析。

这篇论文试图解决什么问题？

这篇论文提出了一个名为GenProp（Generative Video Propagation）的框架，旨在解决如何将对视频第一帧的编辑无缝地传播到整个视频序列的问题。具体来说，GenProp框架试图解决以下几个关键问题：

真实感传播（Realism）：确保第一帧中的变化能够自然地传播到后续帧中。
一致性（Consistency）：在传播编辑内容的同时，保持视频中其他区域与原视频的一致性。
通用性（Generality）：模型需要足够通用，能够适用于多种视频编辑任务，如对象移除、插入、替换（对象和/或背景）、基于文本的编辑、外延绘制（outpainting）甚至对象跟踪。

GenProp通过利用大规模视频生成模型的能力，实现了对第一帧视频编辑的传播，同时避免了需要额外的运动预测（例如光流）。这种通用的框架设计使得GenProp能够处理多种下游应用，并且在编辑场景中允许对象形状的大幅变化，插入的对象可以展现独立运动，有效移除对象效果（如阴影和反射），并且能够跟踪对象及其相关效果。

论文如何解决这个问题？

论文通过提出一个名为GenProp（Generative Video Propagation）的框架来解决视频编辑中的传播问题。GenProp框架的关键解决方案包括以下几个方面：

1. 模型架构设计

GenProp框架由两个主要组件构成：

Selective Content Encoder (SCE)：用于编码原始视频中未改变部分的信息。
Image-to-Video (I2V) Model：接收编辑后的第一帧，并将其变化传播到整个视频序列。

2. 数据生成方案

为了覆盖多个视频任务，论文提出了一个基于实例级视频分割数据集的数据生成方案。该方案通过合成数据增强技术来模拟不同的传播子任务，包括：

Copy-and-Paste：从一个视频中复制对象并粘贴到另一个视频中，模拟对象插入。
Mask-and-Fill：对选定区域进行编辑和插入。
Color Fill：用特定颜色填充遮罩区域，代表基本的对象跟踪场景。

3. 区域感知损失（Region-Aware Loss）

为了在训练过程中对编辑和未编辑区域进行适当的监督，论文设计了区域感知损失（RA Loss），平衡了编辑区域和未编辑区域的损失，即使编辑区域比例较小。

4. 掩码预测解码器（Mask Prediction Decoder, MPD）

MPD用于估计需要编辑的空间区域，帮助编码器从原始内容中分离出变化部分。MPD通过一个多层感知机（MLP）输出与视频实例掩码匹配的预测掩码，指导模型关注编辑区域。

5. 训练目标

GenProp的训练目标是让SCE选择性地编码视频未改变部分的特征，同时保留I2V模型传播修改部分的能力。通过引入区域感知损失和MPD，模型能够更有效地分离这两部分功能。

6. 实验验证

论文通过一系列实验验证了GenProp模型在多种视频任务中的性能，包括对象移除、背景替换、对象插入和对象跟踪等，并与现有方法进行了比较，展示了GenProp在视频编辑和对象移除方面的优越性能。

综上所述，GenProp通过精心设计的模型架构、数据生成方案、区域感知损失和掩码预测解码器，实现了对视频第一帧编辑的传播，同时保持了视频其他部分的一致性，解决了视频编辑中的传播问题。

论文做了哪些实验？

论文中进行了一系列实验来验证GenProp框架的性能和效果。以下是实验的主要内容：

1. 实施细节

使用了两种架构作为基础视频生成模型：DiT架构（类似于Sora）和基于Stable Video Diffusion（SVD）的U-Net架构。
对于DiT架构，训练了I2V生成模型，分辨率为360p，帧率为12和24 FPS。
SCE和MPD在训练时I2V模型保持冻结状态。
学习率设置为5e-5，使用余弦衰减调度器和线性预热。
实验在32/64 NVIDIA A100 GPU上进行。

2. 比较实验

与传统方法和最新技术（SotA方法）在各个子任务中进行了比较，包括对象替换、背景替换、对象移除和对象跟踪。
提供了广泛的结果比较，展示了GenProp如何在同一个模型中处理这些任务，并且覆盖了额外的任务，如外延绘制以及这些子任务的组合。

3. 定量评估

在几个测试集上进行了定量评估，包括经典测试集和挑战测试集。
使用了PSNRm（编辑区域外的一致性）、CLIP-T（文本对齐）和CLIP-I（结果质量）等指标进行评估。
通过Amazon Mechanical Turk进行了用户研究，以评估用户对GenProp和比较方法的偏好。

4. 消融研究

评估了掩码预测解码器（MPD）和区域感知损失（RA Loss）对GenProp性能的影响。
展示了MPD和RA Loss如何改善编辑成功率和输出视频质量。

5. 控制生成分析

分析了文本提示对视频生成结果的影响。
展示了通过改变文本提示可以控制视频内容的能力，如控制对象的运动和行为。

6. 用户研究

进行了用户研究，以评估GenProp与基线模型相比在编辑对齐和输出视频质量方面的表现。
使用了系统筛选用户响应的方法，确保收集到的数据反映了深思熟虑和准确的评估。

7. 更多结果展示

提供了额外的比较结果和视频，以展示GenProp在各种场景下的性能。

这些实验全面评估了GenProp框架的有效性，证明了其在视频编辑任务中的优越性能，并展示了其在多种视频任务中的适用性和灵活性。

论文的主要内容：

这篇论文提出了一个名为GenProp（Generative Video Propagation）的框架，旨在通过大规模视频生成模型的能力，以统一的方式解决多种视频编辑任务。以下是论文的主要内容总结：

1. 问题定义

视频传播问题：将对视频第一帧的编辑自然地传播到整个视频序列中，同时保持其他区域与原视频的一致性。

2. GenProp框架

Selective Content Encoder (SCE)：选择性编码原始视频未改变部分的特征。
Image-to-Video (I2V) Model：将编辑后的第一帧传播到整个视频。
数据生成方案：基于实例级视频分割数据集，通过合成数据增强技术来模拟不同的传播子任务。
区域感知损失（Region-Aware Loss）：平衡编辑和未编辑区域的损失，提高编辑的准确性。

3. 实验结果

性能比较：与现有方法相比，GenProp在视频编辑和对象移除方面展现出更好的性能。
定量评估：使用PSNRm、CLIP-T和CLIP-I等指标进行评估，GenProp在多个测试集上表现优异。
用户研究：用户研究结果表明，GenProp在编辑对齐和输出视频质量方面优于其他方法。

4. 应用范围

GenProp支持多种下游应用，包括对象移除、背景替换、对象插入、基于文本的编辑、外延绘制和对象跟踪。

5. 贡献

新问题定义：提出了利用I2V模型的视频传播新问题。
模型设计：设计了GenProp框架，包括SCE、专用损失函数和掩码预测头。
支持多种应用：展示了GenProp在多种视频任务中的应用能力，并在某些任务中扩展了现有方法的范围。

6. 未来方向

探索多帧编辑能力、更复杂的视频任务、高级效果的编辑和控制、交互式视频编辑、模型泛化能力的提升、计算效率优化、结合传统视频编辑技术、用户研究和体验以及伦理和隐私问题。

GenProp通过其创新的框架设计和合成数据生成方案，为视频编辑领域提供了一个强大且灵活的解决方案，能够在多种视频任务中实现高质量的编辑效果。

2.GPT4Scene: Understand 3D Scenes from Videos with Vision-Language Models

标题： GPT4Scene：使用视觉语言模型从视频中理解 3D 场景

作者：Zhangyang Qi, Zhixiong Zhang, Ye Fang, Jiaqi Wang, Hengshuang Zhao

文章链接：https://arxiv.org/abs/2501.01428

项目代码：https://gpt4scene.github.io/

摘要：

近年来，二维视觉语言模型（VLM）在图像文本理解任务方面取得了重大进展。然而，它们在 3D 空间理解方面的表现仍然有限，这对具身智能至关重要。最近的进展利用 3D 点云和多视图图像作为输入，产生了可喜的结果。然而，我们建议探索一种纯粹基于视觉的解决方案，其灵感来自人类感知，它仅依赖于视觉线索进行 3D 空间理解。本文实证研究了 VLM 在 3D 空间知识方面的局限性，揭示了它们的主要缺点在于场景和单个帧之间缺乏全局-局部对应。为了解决这个问题，我们引入了 GPT4Scene，这是 VLM 训练和推理中的一种新颖的视觉提示范式，有助于建立全局-本地关系，显着提高室内场景的 3D 空间理解。具体来说，GPT4Scene 从视频中构建 3D 鸟瞰图（BEV）图像，并在帧和 BEV 图像中标记一致的对象 ID。然后，该模型输入带有标记的串联 BEV 图像和视频帧。在零样本评估中，GPT4Scene 的性能优于 GPT-4o 等闭源 VLM。此外，我们准备了一个由 165K 文本注释组成的处理视频数据集，以微调开源 VLM，在所有 3D 理解任务上实现最先进的性能。令人惊讶的是，在使用 GPT4Scene 范式进行训练后，VLM 在推理过程中不断改进，即使没有视觉提示和 BEV 图像作为显式对应。它表明，所提出的范式有助于 VLM 培养理解 3D 场景的内在能力，这为扩展预训练的 VLM 以进行 3D 场景理解的无创方法铺平了道路。

这篇论文试图解决什么问题？

这篇论文试图解决的问题是如何让基于视觉的语言模型（Vision-Language Models, VLMs）有效地理解三维（3D）场景，特别是从视频输入中直接理解3D场景。具体来说，论文探讨了以下几个关键问题：

2D视觉语言模型在3D空间理解上的局限性：尽管2D视觉语言模型（VLMs）在图像-文本理解任务上取得了显著进展，但它们在3D空间理解方面的表现仍然有限，这对于具身智能（embodied intelligence）来说非常关键。
缺乏全局-局部对应关系：论文通过实证研究发现，VLMs在3D空间知识理解上的主要缺点在于缺乏场景与单个帧之间的全局-局部对应关系。
基于视觉的解决方案：论文提出了一种纯粹基于视觉的解决方案，灵感来自人类感知，仅依赖于视觉线索来理解3D空间。
构建全局-局部关系：为了解决上述问题，论文引入了一个名为GPT4Scene的新框架，通过在训练和推理中使用视觉提示范式来帮助构建全局-局部关系，显著提高了室内场景的3D空间理解能力。
零样本学习和微调：论文还探讨了如何通过零样本提示（zero-shot prompting）来激发强大的闭源VLMs（如GPT-4o）的3D场景理解潜力，以及如何通过构建ScanAlign数据集对更小的开源VLMs进行微调，以增强它们的3D场景理解能力。

综上所述，论文的核心目标是提升VLMs对3D场景的理解能力，使其能够更好地执行与3D空间相关的任务，如3D问题回答、密集描述和视觉定位等。

论文如何解决这个问题？

论文通过提出一个名为GPT4Scene的框架来解决如何让视觉语言模型（VLMs）有效理解3D场景的问题。具体来说，GPT4Scene框架通过以下几个关键步骤来解决这个问题：

1. 构建3D Bird’s Eye View (BEV) 图像

GPT4Scene首先基于输入视频执行3D重建，生成点云，并从中渲染出一个鸟瞰视图（BEV）图像，为VLMs提供整个场景的全局视角。

2. 引入空间-时间对象标记（Spatial-Temporal Object markers, STO markers）

为了帮助VLMs在不同帧之间建立对象级别的对应关系，GPT4Scene在BEV图像和视频帧中引入了STO markers。这些标记在连续帧（时间层面）中代表一致的对象ID，并与BEV图像中的标记（空间层面）对齐，从而帮助VLMs建立全局-局部关系。

3. 零样本提示（Zero-shot Prompting）

GPT4Scene框架评估了在零样本设置下强大的闭源VLMs（例如GPT-4o），通过提示使得VLMs能够理解3D场景，无需额外训练。这一过程称为“解锁”，使得VLMs能够通过提示理解3D场景。

4. 通过ScanAlign数据集进行微调

对于规模较小的开源VLMs，如Qwen2-VL，GPT4Scene通过构建ScanAlign数据集来进行微调，该数据集包括带有STO标记的视频帧、BEV图像和文本注释。微调后的VLMs在3D场景理解能力上显著提高。

5. 评估多种3D场景理解任务

GPT4Scene在多种3D场景理解任务上进行了评估，包括3D问题回答、密集描述和视觉定位任务，并在这些任务上达到了最先进的性能。

通过这些方法，GPT4Scene能够有效地帮助VLMs从纯视觉输入中理解3D场景，即使在没有显式的3D数据（如点云）的情况下。这为将预训练的VLMs扩展到3D场景理解提供了一种非侵入性的方法。

论文做了哪些实验？

论文中进行了一系列实验来验证GPT4Scene框架的有效性，具体实验包括：

1. 零样本设置下的评估（Zero-shot Evaluations）

3D问题回答（3D Question Answering）：使用ScanQA和SQA3D数据集评估GPT4Scene在零样本设置下的性能，与现有的3D点云LLMs进行比较。
3D密集描述（3D Dense Captioning） 和 3D视觉定位（3D Visual Grounding）：评估GPT4Scene在这些任务上的性能，需要使用对象标记来完成。

2. 构建ScanAlign数据集

构建了一个包含165K文本注释的ScanAlign视频数据集，用于微调开源VLMs。

3. 微调后的评估（Fine-tuning Evaluations）

在微调了ScanAlign数据集之后，评估VLMs在以下任务上的性能：
- 3D问题回答：使用ScanQA和SQA3D数据集。
- 3D密集描述：使用Scan2Cap数据集。
- 3D视觉定位：使用ScanRefer和Multi3DRef数据集。

4. 定性结果（Qualitative Results）

展示了GPT4Scene在零样本设置下，使用GPT-4o模型处理视频帧和BEV图像的能力，包括对象描述、空间描述、计数以及导航等具身任务。

5. 消融研究（Ablation Study）

验证了GPT4Scene设计模块的有效性，包括全局信息（BEV图像）和空间-时间对象标记（STO markers）的重要性。
分析了分辨率和帧数对性能的影响。

6. 2D多模态基准测试（2D Multi-modal Benchmark）

在微调后的模型上测试了2D图像和视频多模态大型模型，以评估模型在空间变化和场景中对象信息处理方面的能力。

这些实验全面评估了GPT4Scene在3D场景理解任务上的性能，并展示了其在零样本和微调设置下的有效性。通过这些实验，论文证明了GPT4Scene能够显著提高VLMs对3D场景的理解能力，并在多个任务上达到了最先进的结果。

论文的主要内容：

论文《GPT4Scene: Understand 3D Scenes from Videos with Vision-Language Models》的主要内容包括以下几个方面：

1. 问题陈述

论文指出2D视觉语言模型（VLMs）在3D空间理解方面存在局限性，特别是在理解三维场景和对象间空间关系上。
VLMs缺少全局场景信息和局部位置与全局上下文之间的对应关系。

2. GPT4Scene框架

提出了GPT4Scene框架，这是一个新颖的视觉提示范式，旨在通过视频输入增强VLMs对3D场景的理解能力。
GPT4Scene通过从视频中重建3D点云并生成鸟瞰视图（BEV）图像来提供全局场景信息。
引入空间-时间对象标记（STO markers）以在视频帧和BEV图像之间建立全局-局部对应关系。

3. 方法论

零样本提示（Zero-shot Prompting）：利用GPT4Scene框架在不经额外训练的情况下，通过提示使强大的闭源VLMs（如GPT-4o）理解3D场景。
数据集构建（ScanAlign）：为较小的开源VLMs（如Qwen2-VL）构建了包含视频帧、BEV图像、STO标记和文本注释的ScanAlign数据集，用于微调模型。

4. 实验

在多个3D场景理解任务上评估GPT4Scene，包括3D问题回答、3D密集描述和3D视觉定位。
展示了GPT4Scene在零样本和微调设置下的性能，并与现有方法进行了比较。
进行了消融研究来验证全局信息和STO标记的有效性，并分析了分辨率和帧数对性能的影响。

5. 结果

GPT4Scene在多个3D场景理解任务上达到了最先进的性能。
微调后的VLMs即使在只有原始视频帧输入的情况下也表现出色，显示了GPT4Scene使VLMs有效理解3D场景的能力。

6. 结论

论文介绍了GPT4Scene框架，它通过提供全局场景信息和建立全局-局部对应关系，显著提高了VLMs的3D场景理解能力。
GPT4Scene为将预训练的VLMs扩展到3D场景理解提供了一种有效的非侵入性方法。

总体而言，论文提出了一个创新的框架，通过结合视觉输入和语言模型，有效地提高了对三维场景的理解能力，为未来的研究和应用开辟了新的可能性。

3.VideoAnydoor: High-fidelity Video Object Insertion with Precise Motion Control

标题：VideoAnydoor：具有精确运动控制的高保真视频对象插入

作者： Yuanpeng Tu, Hao Luo, Xi Chen, Sihui Ji, Xiang Bai, Hengshuang Zhao

文章链接：https://arxiv.org/abs/2501.01427

项目代码：https://videoanydoor.github.io/

摘要：

尽管视频生成取得了重大进展，但将给定对象插入视频仍然是一项具有挑战性的任务。难点在于保留参考对象的外观细节，同时对连贯运动进行精确建模。在本文中，我们提出了 VideoAnydoor，这是一个具有高保真细节保留和精确运动控制的零镜头视频对象插入框架。从文本到视频模型开始，我们利用 ID 提取器注入全局身份，并利用盒子序列来控制整体运动。为了保留细节外观并支持细粒度的运动控制，我们设计了一个像素变形器。它采用具有任意关键点和相应关键点轨迹的参考图像作为输入。它根据轨迹扭曲像素细节，并将扭曲特征与扩散 U-Net 融合，从而改善细节保留并支持用户操纵运动轨迹。此外，我们提出了一种涉及视频和静态图像的训练策略，具有重磅重建损失以提高插入质量。VideoAnydoor 与现有方法相比具有显着优势，并且自然支持各种下游应用程序（例如，说话头生成、视频虚拟试戴、多区域编辑），而无需特定于任务的微调。

这篇论文试图解决什么问题？

这篇论文旨在解决在视频中插入给定对象的问题，同时保持对象的外观细节和精确模拟连贯的运动。具体来说，挑战主要在于两个方面：一是准确保持目标对象的身份（ID），二是精确控制对象的运动。论文中提到，尽管在视频生成方面取得了显著进展，但现有工作在这两个方面的处理上仍然不足，特别是在将对象插入视频的第一帧时，如果插入结果不理想，可能会导致后续帧的结果也不理想。此外，由于后续帧没有注入身份信息，对象的身份和运动在后期帧中往往会崩溃。因此，论文提出了一个名为VideoAnydoor的端到端框架，旨在在整个视频中准确保持对象的身份，并精确控制对象的运动。

论文如何解决这个问题？

论文提出了一个名为VideoAnydoor的框架来解决视频对象插入的问题，具体解决方案包括以下几个关键部分：

1. 端到端框架设计

输入：框架接受随机噪声、对象掩码和掩码视频作为输入，并将无背景的参考图像输入ID提取器以提取ID标记。
ID提取器：利用强大的视觉编码器（如DINOv2）作为ID提取器，以保留对象的全局身份。
像素变形器（Pixel Warper）：设计了一个像素变形器，它接受带有任意关键点的参考图像和相应的关键点轨迹作为输入，根据轨迹和用户指定的运动来变形像素细节，并与扩散U-Net融合，以改善细节保持和支持用户对运动轨迹的操纵。

2. 精确的运动控制

轨迹采样：在训练期间，从视频中提取轨迹以提供运动条件，选择具有较大运动的关键点作为控制信号。
运动注入：通过编码轨迹图和对应的参考图像，然后通过交叉注意力模块进行语义感知融合，以实现精确的运动控制。

3. 训练策略

数据集准备：从同一视频中采样所需的数据，包括视频剪辑和具有最大距离的帧，以获得不同的对象。
图像-视频混合训练：使用高质量的图像数据与视频数据一起训练，以补偿高质量视频数据的稀缺性。
再权重重建损失：提出了一种再权重重建损失，以增强关键点区域内对象和运动的学习，同时保留原始扩散损失用于这些框外的区域。

4. 实验验证

实验设置：使用Stable Diffusion XL作为基础生成器，并在多个数据集上进行训练和测试。
定性和定量比较：与现有方法相比，VideoAnydoor在保持未编辑区域不变的情况下，允许用户自定义编辑区域的运动，并提供更多的示例来展示其在不同场景下的应用。

通过这些技术和策略，VideoAnydoor能够有效地将特定对象无缝地放置到给定视频中，并精确控制对象的运动和位置，同时保持对象的外观细节。

论文做了哪些实验？

论文中进行了一系列实验来验证VideoAnydoor框架的性能和效果，具体实验包括：

1. 实验设置（Implementation details）

使用Stable Diffusion XL作为基础生成器。
图像分辨率处理为512×512。
使用Adam优化器，初始学习率为1e−5。
采用DDIM进行50步采样和分类器自由引导，cfg设置为10.0进行推理。
模型在16个NVIDIA A100 GPU上进行120K次迭代优化，批量大小为32。

2. 基准测试（Benchmarks）

构建了一个包含约200个视频的基准，涵盖10个不同类别（例如人、狗等）。
在ViViD和CHDTF测试集上进行定性分析，评估虚拟视频试穿和视频面部交换的性能。

3. 评估指标（Evaluation metrics）

使用CLIPScore、DINO-Score和PSNR来衡量编辑区域与目标主题之间的相似度，以及未编辑区域的重建质量。
计算编辑帧与参考概念图像之间的成对图像对齐。
使用Cotracker模型计算跟踪指标，并组织用户研究来从质量、保真度、运动流畅性和多样性的角度评估编辑结果。

4. 定性比较（Qualitative Comparison）

与现有方法（ReVideo、AnyV2V等）进行比较，展示VideoAnydoor在保持未编辑内容和自定义编辑区域运动方面的优势。

5. 定量比较（Quantitative Comparison）

对ID保留和运动一致性进行量化评估，使用自动指标比较VideoAnydoor与其他方法的性能。

6. 用户研究（User study）

组织用户研究比较不同方法，让20名注释者对20组视频进行评分，每组包含原始视频和四种编辑视频。

7. 消融研究（Ablation Studies）

对VideoAnydoor的核心组件进行ID保留和运动一致性的调查，分析不同组件对性能的影响。

8. 更多应用（More Applications）

展示VideoAnydoor在虚拟视频试穿、视频面部交换和多区域编辑等任务中的应用。

这些实验全面评估了VideoAnydoor框架的性能，包括其在精确控制对象运动和保持身份方面的优越性，以及在各种视频编辑任务中的通用性和有效性。

论文的主要内容：

论文提出了一个名为VideoAnydoor的零样本视频对象插入框架，旨在实现高保真细节保留和精确运动控制。以下是论文的主要内容总结：