每日学术速递12.17

CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理

Power by Kimi&苏神 编辑丨AiCharm

Subjects: cs.CV

1.Perturb-and-Revise: Flexible 3D Editing with Generative Trajectories

标题：扰动和修改：使用生成轨迹进行灵活的 3D 编辑

作者：Susung Hong, Johanna Karras, Ricardo Martin-Brualla, Ira Kemelmacher-Shlizerman

文章链接：https://arxiv.org/abs/2412.05279

项目代码：https://susunghong.github.io/Perturb-and-Revise

摘要：

随着基于文本的扩散模型的发展，3D 重建和基于文本的 3D 编辑领域取得了显着的进步。虽然现有的 3D 编辑方法擅长修改颜色、纹理和样式，但它们难以应对广泛的几何或外观变化，从而限制了它们的应用。我们提出 Perturb-and-Revise，这使得各种 NeRF 编辑成为可能。首先，我们通过随机初始化扰动 NeRF 参数来创建通用初始化。我们通过分析局部损失情况自动确定扰动幅度。然后，我们通过生成轨迹修改编辑后的 NeRF。结合生成过程，我们施加身份保留梯度来完善编辑后的 NeRF。大量实验表明，扰动和修改有助于在 3D 中灵活、有效且一致地编辑颜色、外观和几何形状。

这篇论文试图解决什么问题？

这篇论文提出了一个名为Perturb-and-Revise（PnR）的框架，旨在解决3D内容编辑中的一些挑战，特别是在处理Neural Radiance Fields（NeRFs）时。具体来说，论文试图解决以下问题：

1. 广泛的几何和外观变化：现有的3D编辑方法在修改颜色、纹理和风格方面表现出色，但在处理涉及重大几何或外观变化的编辑时存在困难，限制了它们的应用范围。
2. 编辑过程的耗时和劳动密集性：在多个行业中，如动画、制造业、设计和游戏，3D内容的编辑仍然是一个耗时且劳动密集的过程。
3. 基于文本的3D编辑技术的局限性：尽管最近基于文本的3D编辑技术有所创新，但这些方法在处理需要显著几何变化或可靠、一致更新的编辑时存在局限性。
4. NeRF参数的复杂性：在NeRFs中，颜色和密度属性复杂地编码在参数中，使得编辑过程变得复杂。
5. 优化过程中的局部最小值问题：在NeRF参数空间中，优化过程可能会陷入局部最小值，限制了模型输出的多样性和灵活性。
6. 多视图一致性问题：由于2D模型的偏差，得分蒸馏方法在3D场景生成中出现了多视图一致性问题。
7. 编辑能力和控制性：得分蒸馏方法的优化过程耗时，且其编辑能力和控制性尚未充分探索。

通过提出Perturb-and-Revise框架，论文旨在通过一种新颖的参数扰动方法和身份保持梯度来克服这些限制，实现更直观、更通用的NeRF编辑工具，使用户能够通过文本提示进行更灵活、有效的3D编辑。

论文如何解决这个问题？

论文提出了一个名为Perturb-and-Revise（PnR）的框架来解决上述问题。PnR框架通过以下三个主要步骤实现灵活、有效的3D编辑：

1. 多方位初始化（Versatile Initialization）通过参数扰动

• 参数扰动：通过在NeRF参数空间中引入随机初始化来扰动源NeRF参数，从而创建一个多方位的初始化状态。这有助于参数逃离局部最小值，并能够跟随生成过程的自然轨迹实现所需的编辑。
• 线性插值：使用线性插值在源NeRF和随机NeRF初始化之间进行插值，以获得扰动后的参数。

2. 通过生成轨迹（Generative Trajectories）进行修订

• 多视图一致性更新：为了解决单视图扩散模型在引入不对称性或添加新对象时的歧义问题，执行多视图一致性更新。
• 利用生成ODE：利用生成的ODE（常微分方程），从扰动后的参数开始，使用新的文本提示进行编辑，引导参数沿着自然生成路径向期望编辑的分布移动。

3. 通过身份保持梯度（Identity-Preserving Gradient, IPG）进行细化

• 身份保持梯度（IPG）：为了纠正扩散模型在编辑过程中的估计误差，并解决与生成ODE的冲突，引入IPG项。这在编辑梯度和源NeRF参数之间产生一种“拉锯战”，确保输出在保持原意的同时，更接近源NeRF。
• 优化过程的扩展：在优化过程的后期步骤中计算IPG，以提高编辑NeRF对源NeRF的保真度。

附加策略

• 时间步退火（Timestep Annealing）：通过调整添加到2D渲染图像的噪声水平，根据全局优化步骤有效地提升结果质量。

通过这些方法，PnR框架能够在保持对源对象的忠实度的同时，根据文本提示对3D对象进行广泛的几何和外观编辑，实现了无需模型重新训练或多个输入图像即可进行编辑的目标。

论文做了哪些实验？

论文中进行了一系列实验来评估Perturb-and-Revise（PnR）框架的性能和有效性。以下是实验的详细情况：

1. 3D对象编辑

• 时尚对象编辑：
  • 使用MVDream生成合成的3D时尚对象数据集，并在该数据集上执行编辑。
  • 编辑类型包括颜色、图案、形状、姿态和对象添加，共150个编辑示例。
  • 展示了PnR框架能够进行各种类型的编辑，包括需要姿态变化和引入新对象的重大几何修改。
• 通用对象编辑：
  • 在Objaverse数据集上编辑各种通用3D对象。
  • 展示了PnR框架除了能够处理纹理变化外，还能成功实现大的密度或结构变化。

2. 与基线方法的比较

• 与Score Distillation Sampling (SDS)、Posterior Distillation Sampling (PDS)和Instruct-NeRF2NeRF等基线方法进行比较。
• 展示了PnR在复杂编辑任务中的优势，尤其是在处理需要重大几何变化的编辑时。

3. 实际场景编辑

• 将PnR框架应用于实际场景编辑，展示了其在修改场景几何形状方面的有效性。
• 使用与Posterior Distillation相同的迭代次数，PnR能够更好地修改场景几何。

4. 消融研究

• 参数扰动：
  • 展示了不同参数扰动量对编辑结果的影响，并量化了自适应η选择方法的有效性。
• 身份保持梯度（IPG）：
  • 展示了IPG在减少LPIPS（一种感知相似性度量）的同时，如何平衡对源对象的忠实度和编辑提示的忠实度。

5. 计算效率

• PnR框架大约需要7分钟（使用身份保持梯度）或4分钟（不使用）来产生有意义的结果，比Instruct-NeRF2NeRF快。

6. 定性比较

• 提供了与基线方法的额外定性比较，并在项目页面上提供了360°视图的比较结果。

这些实验全面评估了PnR框架在不同编辑任务中的性能，并与现有技术进行了比较，证明了PnR在3D编辑任务中的有效性和优越性。

论文的主要内容：

这篇论文提出了一个名为Perturb-and-Revise（PnR）的框架，用于实现灵活、有效的3D对象编辑。以下是论文的主要内容总结：

1. 问题背景

• 3D重建和基于文本的3D编辑技术取得了显著进展，但现有方法在处理涉及重大几何或外观变化的编辑时存在局限性。

2. Perturb-and-Revise框架

• 参数扰动：通过在NeRF参数空间中引入随机初始化来扰动源NeRF参数，创建多方位的初始化状态，使参数能够逃离局部最小值，并跟随生成过程的自然轨迹。
• 生成轨迹：利用生成的ODE（常微分方程），从扰动后的参数开始，使用新的文本提示进行编辑，引导参数沿着自然生成路径向期望编辑的分布移动。
• 身份保持梯度（IPG）：为了纠正扩散模型在编辑过程中的估计误差，并解决与生成ODE的冲突，引入IPG项，以提高编辑NeRF对源NeRF的保真度。

3. 实验

• 在3D时尚对象和通用对象上进行了广泛的编辑实验，包括颜色、图案、形状、姿态和对象添加等。
• 与现有方法（如Score Distillation Sampling、Posterior Distillation Sampling和Instruct-NeRF2NeRF）相比，PnR在处理复杂编辑任务中表现出优势。
• 实现了与基线方法相比更好的性能，包括在忠实于编辑提示和保留源3D对象方面的平衡。

4. 消融研究和计算效率

• 通过消融研究验证了参数扰动和IPG的有效性。
• PnR框架的计算效率较高，能够在较短的时间内产生有意义的编辑结果。

5. 实际场景编辑

• 展示了PnR框架在实际场景编辑中的应用，包括对场景几何形状的修改。

6. 未来工作和讨论

• 提出了未来可能的研究方向，包括将参数扰动原则扩展到4D神经场以实现动态场景编辑。

总体而言，PnR框架通过引入参数扰动和身份保持梯度，实现了对3D对象的灵活、有效的编辑，同时保持了对源对象的忠实度，并在多个编辑任务中取得了优异的性能。

2.Stag-1: Towards Realistic 4D Driving Simulation with Video Generation Model

标题：Stag-1：利用视频生成模型实现逼真的 4D 驾驶模拟

作者：Lening Wang, Wenzhao Zheng, Dalong Du, Yunpeng Zhang, Yilong Ren, Han Jiang, Zhiyong Cui, Haiyang Yu, Jie Zhou, Jiwen Lu, Shanghang Zhang

文章链接：https://arxiv.org/abs/2412.05280

项目代码：https://github.com/wzzheng/Stag

摘要：

4D 驾驶模拟对于开发真实的自动驾驶模拟器至关重要。尽管生成驾驶场景的现有方法取得了进步，但视图转换和时空动态建模仍然存在重大挑战。为了解决这些限制，我们提出了一种驾驶时空模拟（Stag-1）模型来重建现实世界场景并设计可控生成网络来实现 4D 模拟。 Stag-1 使用自动驾驶车辆的环视数据构建连续的 4D 点云场景。它解耦时空关系并生成连贯的关键帧视频。此外，Stag-1利用视频生成模型从任何角度获取逼真且可控的4D驾驶模拟视频。为了扩大视图生成的范围，我们根据分解的相机姿势训练车辆运动视频，增强对远处场景的建模能力。此外，我们重建车辆摄像机轨迹以集成连续视图中的 3D 点，从而实现沿时间维度的全面场景理解。经过广泛的多层次场景训练，Stag-1可以从任何所需的角度进行模拟，并深入了解静态时空条件下的场景演化。与现有方法相比，我们的方法在多视图场景一致性、背景一致性和准确性方面显示出良好的性能，并有助于现实自动驾驶模拟的持续进步。

这篇论文试图解决什么问题？

这篇论文提出了一个名为Stag-1的模型，旨在解决4D驾驶模拟中的关键挑战，以便开发更现实的自动驾驶模拟器。具体来说，论文试图解决以下问题：

1. 视角转换和时空动态建模的挑战：现有的驾驶场景生成方法在视角转换和时空动态建模方面存在显著挑战，导致合成环境与现实世界条件之间存在较大差距。
2. 场景连续性和一致性的维护：视频生成方法常常难以捕捉现实世界中不断移动的行人、车辆和物体的结构变化，以及元素之间的密切互动，导致场景连续性出现问题，例如背景和车辆类型的变化。
3. 从任意视点重建4D场景：基于NeRF和3DGS的方法在从任意视点重建4D场景、处理大量动态视图变化以及在静态视图下管理长期时间变换方面面临挑战。
4. 现实世界场景的准确表示和高质量图像生成：为了实现更现实的自动驾驶测试，需要一种能够准确理解和生成现实世界场景的方法，这包括4D点云重建和使用生成模型进行高质量图像生成。

综上所述，Stag-1模型通过构建连续的4D点云场景，并设计一个可控的生成网络来实现4D模拟，从而解决了上述问题，推动了现实自动驾驶模拟的发展。

论文如何解决这个问题？

论文通过提出一个名为Stag-1的Spatial-Temporal simulAtion for drivinG模型来解决4D驾驶模拟中的问题。以下是Stag-1模型解决问题的关键步骤和方法：

1. 构建连续的4D点云场景

• 使用环绕视图数据：Stag-1利用来自自动驾驶车辆的环绕视图数据构建连续的4D点云场景。这包括从多个视角捕获的数据，以全面理解场景。
• 时空解耦：通过解耦空间和时间关系，Stag-1能够独立地控制场景中的时间变化和空间变化，从而实现更自然和精确的自动驾驶模拟。

2. 多视图交互式稀疏点云补全网络

• 关键帧视频合成：Stag-1开发了一个多视图交互式稀疏点云补全网络，允许在自动驾驶应用中进行可控的4D模拟视频合成。
• 跨视图扩散生成网络：为了提高连续场景模拟的质量，Stag-1设计了一个跨视图扩散生成网络，解决了静态场景中的全面动态视点建模和动态场景中的精确静态视点建模的挑战。

3. 时空对齐重建

• 单帧3D点云构建：对于从单帧构建3D场景，Stag-1处理每个图像以进行深度估计，并使用相应的相机姿态获取准确的环绕视图点云。
• 连续帧4D点云粗对齐和细对齐：通过应用变换和迭代优化过程，Stag-1对齐4D点云序列，确保场景的连贯性和准确性。

4. 点条件视频生成

• 时空解耦关键帧：Stag-1通过提取每个关键帧的3D点云并将其投影到2D图像中，实现了在固定相机姿态下的高效时空解耦关键帧建模。
• 视角和时间控制：Stag-1能够根据当前时间状态从不同的相机视点观察场景，或者在固定空间状态下分解时间运动，实现了空间和时间的独立控制。

5. 4D时空模拟训练框架

• 两阶段训练方法：Stag-1的训练包括两个阶段，首先是时间聚焦阶段，然后是空间聚焦阶段，分别训练单视图场景和整合环绕视图信息，以捕获空间和时间关系。

通过这些方法，Stag-1模型能够从任意视角和时间生成现实和可控的自动驾驶模拟场景，从而为自动驾驶的测试和验证提供了一个有效的解决方案。

论文做了哪些实验？

论文中进行了一系列实验来评估Stag-1模型在自动驾驶任务中的3D重建和4D模拟的有效性。以下是实验的具体内容：

1. 实施细节

• 两阶段训练过程：首先预训练模型，然后冻结编码器模块，仅训练解码器模块。在第二阶段，进一步学习全景视图之间的空间关系，只训练空间注意力模块。

2. 4D重建和合成

• Waymo-NOTR数据集：使用该数据集进行零样本评估，比较Stag-1模型与现有方法在场景重建和新视角合成方面的性能。
• 静态-32数据集：遵循传统指标，使用PSNR、SSIM和LPIPS评估渲染质量，并使用PSNR和SSIM关注动态对象。
• StreetGaussian数据集：定量和定性评估场景重建的性能，并与其他方法进行比较。
• Waymo开放数据集（WOD）：在WOD上进行定量分析，与最新方法进行比较。

3. 4D驾驶模拟

• 冻结时间：测试在固定时间条件下进行动态视点变化的能力，并与其他方法进行比较。
• 冻结空间：展示在固定空间条件下进行时间变化的能力，使用Fréchet Inception Distance (FID) 和 Fréchet Video Distance (FVD) 量化评估图像和视频质量。
• 多视图模拟：提出一种4D环绕视图模拟方法，能够生成具有一致变换的动态图像。
• 移除车辆：展示对齐4D点云场景后，可以有选择地移除特定点云以消除个别车辆。

4. 消融研究

• 稀疏点云信息：评估点云密度对重建质量的影响。
• 4D点云错位：评估点云与坐标参数错位对关键帧信息的影响。
• 全景点云的部分遮挡：评估模型在填充缺失数据时的性能。

这些实验全面评估了Stag-1模型在4D驾驶模拟方面的性能，包括场景重建、新视角合成、时空解耦以及模型对不同条件的鲁棒性。通过定量和定性的结果，论文证明了Stag-1模型在自动驾驶模拟中的有效性和优越性。

论文的主要内容：

这篇论文提出了一个名为Stag-1（Spatial-Temporal simulAtion for drivinG）的模型，旨在实现更现实的4D自动驾驶模拟。以下是论文的主要内容总结：

1. 问题背景

• 4D驾驶模拟对于开发现实的自动驾驶模拟器至关重要。
• 现有方法在视角转换和时空动态建模方面存在挑战。
• 需要一种能够从任意视角和时间生成现实和可控驾驶场景的模拟方法。

2. Stag-1模型

• Stag-1通过构建连续的4D点云场景，并设计一个可控的生成网络来实现4D模拟。
• 模型能够解耦空间和时间关系，独立控制场景中的时间变化和空间变化。

3. 方法论

• 数据输入：使用自动驾驶车辆的环绕视图数据。
• 4D点云构建：从单帧深度估计到连续帧对齐，构建准确的4D点云。
• 关键帧视频合成：将4D点云投影到2D图像，生成关键帧视频。
• 时空解耦：通过固定相机姿态提取3D点云，实现时空解耦。

4. 训练框架

• 两阶段训练：时间聚焦阶段和空间聚焦阶段，分别训练单视图场景和整合环绕视图信息。

5. 实验

• 在Waymo-NOTR、静态-32、StreetGaussian和Waymo开放数据集上进行评估。
• 实验结果显示Stag-1在场景重建和新视角合成方面优于现有方法。
• 展示了冻结时间和空间条件下的视点转换能力。
• 进行了消融研究，分析了点云密度、对齐和遮挡对模拟质量的影响。

6. 结论与未来工作

• Stag-1提供了一种可行的解决方案，用于自动驾驶的测试和验证。
• 论文指出了控制车辆或行人运动以及提高点云密度和精度等未来研究方向。

总的来说，Stag-1模型通过先进的4D点云重建和视频生成技术，为自动驾驶模拟提供了一个现实和可控的平台，推动了自动驾驶测试和验证技术的发展。

3.Text to Blind Motion

标题：文本到盲动

作者： Hee Jae Kim, Kathakoli Sengupta, Masaki Kuribayashi, Hernisa Kacorri, Eshed Ohn-Bar

文章链接：https://arxiv.org/abs/2412.05277v

项目代码：https://blindways.github.io/

摘要：

盲人与视力正常的人感知世界的方式不同，这可能会导致不同的运动特征。例如，在十字路口过马路时，盲人可能有不同的运动模式，例如更多地偏离直线路径或在路缘和障碍物周围使用基于触摸的探索。对于嵌入自动驾驶汽车等技术中的运动模型来说，这些行为可能显得不太可预测。然而，之前尚未研究过 3D 运动模型捕捉此类行为的能力，因为现有的 3D 人体运动数据集目前缺乏多样性，并且偏向于视力正常的人。在这项工作中，我们介绍了 BlindWays，这是第一个针对盲人行人的多模式运动基准。我们使用可穿戴传感器收集 3D 运动数据，其中 11 名盲人参与者在现实城市环境中导航 8 条不同的路线。此外，我们还提供丰富的文字描述，捕捉盲人行人独特的运动特征以及他们与导航设备（例如白色手杖或导盲犬）和环境的互动。我们对最先进的 3D 人类预测模型进行基准测试，发现现成的和基于预训练的方法对于我们的新任务表现不佳。为了构建更安全、更可靠的系统，可以无缝地推理环境中的不同人类动作，我们的文本和动作基准可在https URL上找到。

这篇论文试图解决什么问题？

这篇论文试图解决的主要问题是3D运动模型在捕捉和预测视障人士（如盲人）的运动行为方面的不足。具体来说，论文指出以下几个关键问题：

1. 数据集的多样性和偏见问题：现有的3D人体运动数据集缺乏多样性，偏向视力正常的人群，没有包含视障人士的运动数据。这限制了运动模型在实际应用中的适用性，尤其是在辅助技术和自动驾驶等领域。
2. 视障人士运动特性的捕捉：视障人士在过路口、探索周围环境时的运动模式与视力正常者有显著不同，这些行为对于现有的运动模型来说可能看起来不太可预测。
3. 技术模型的适用性：大多数现有的人体运动模型是为辅助和交互应用（如社交机器人和自动驾驶）开发的，但这些技术最有可能受益的人群（视障人士）并未被包含在内。这导致了现有基准测试中的严重偏见，并可能加剧在可访问性方面的社会问题。
4. 运动预测模型的泛化能力：论文通过实验发现，现有的最先进的3D运动模型在预测视障人士的运动时表现不佳，这表明需要对这些模型进行改进，以便它们能够更好地理解和预测视障人士的运动。

为了解决这些问题，论文介绍了一个名为BlindWays的新的多模态运动基准测试，专门针对视障人士在真实世界城市环境中的导航。这个基准测试包括使用可穿戴传感器收集的3D运动数据，以及丰富的文本描述，捕捉视障行人的独特运动特性及其与导航辅助工具和环境的互动。论文还评估了现有的3D人体预测模型在这一新任务上的性能，发现即使是最先进的方法也存在明显的性能不足。

论文如何解决这个问题？

论文通过以下几个关键步骤来解决3D运动模型在视障人士运动行为捕捉方面的不足：

1. 创建BlindWays数据集：
   • 论文介绍了BlindWays，这是一个专门针对视障人士在真实世界城市环境中导航的多模态3D人体运动数据集。数据集包括11名视障参与者在八个不同路线上导航的3D运动数据，以及2058个详细的、配对的高级别和低级别文本描述。
2. 使用可穿戴传感器收集数据：
   • 通过使用Xsens可穿戴传感器系统收集3D运动数据，确保了在多样化户外环境中的自然运动捕捉。同时，还收集了第三人称视角和第一人称视角的视频，以提供场景和动作的上下文。
3. 详细的文本描述：
   • 提供了详细的文本描述，包括高级别和低级别两种粒度，以捕捉视障行人的独特运动特性及其与导航辅助工具和环境的互动。这些文本描述是基于视频内容由人工注释者提供的，增强了数据集的多模态特性。
4. 基准测试现有模型：
   • 论文通过基准测试评估了现有的最先进的3D人体预测模型在视障人士运动预测任务上的性能。通过分析模型预训练和微调对运动预测的影响，揭示了现有数据集和模型在泛化到多样化和罕见人类属性时的基本限制。
5. 推动系统安全和可靠性：
   • 通过提供BlindWays数据集，论文旨在促进更健壮、准确和需求感知的行人行为预测模型的发展，这些模型能够有效地考虑与残疾相关的情境和行为，为自动驾驶和辅助系统提供支持。
6. 公开数据集和资源：
   • 为了促进未来的研究和开发，论文将BlindWays数据集公开，以便研究社区可以访问并利用这些数据来改进和测试他们的模型。

通过这些步骤，论文不仅识别了现有3D运动模型的不足，还提供了一个新的数据集和评估框架，以推动在视障人士运动建模方面的研究进展，并最终实现更安全、更可靠的人机交互系统。

论文做了哪些实验？

论文中进行了一系列实验来评估和讨论模型的泛化能力以及文本标签在视障人士运动建模中的作用。具体实验包括：

1. 文本到运动（Text-to-Motion）模型评估：
   • 运动检索精度（R Top1）：评估文本和运动匹配的准确性。
   • Frechet Inception Distance（FID）：评估生成运动的真实性。
   • 多样性（Diversity, DIV）：捕捉生成运动的变化。
   • 多模态性（Multi-Modality, MModality）：检查生成运动在每个文本描述中的变化。
   • 使用标准指标评估不同方法和训练数据集在BlindWays数据集上的表现。这些指标包括：
   • 对比了HumanML3D和MotionGPT这两种基于文本的运动生成基线模型。
2. 预训练的影响分析：
   • 分析了在Motion-X数据集上进行预训练对模型性能的影响。Motion-X是一个大规模的运动-语言数据集，虽然覆盖了广泛的人类运动，但缺乏残疾人运动的表示。
3. 特定关键点评估：
   • 对文本到运动任务中的模型性能进行了关键点级别的评估，特别关注在视障人士导航中具有独特运动分布的关节，如头部、手臂关节和辅助工具关节。使用的姿态空间精度指标包括平均偏差误差（ADE）和最终偏差误差（FDE）。
4. 基于运动的条件预测（Motion-Conditioned Prediction）：
   • 评估了基于运动条件的模型，这些模型在给定运动历史和文本描述的情况下预测未来的3D姿态。模型被训练为基于0.5秒的过去运动预测未来9.5秒的运动。实验中使用了包括CVAE、DLow和MDN在内的随机方法，并结合了文本嵌入。
   • 对比了不同方法的多样性（APD）和质量（ADE、FDE、NPSS和NDMS）指标。

这些实验结果表明，尽管最近取得了一些进展，但最先进的运动-语言模型在泛化到视障人士运动方面仍存在挑战。这些发现强调了BlindWays数据集的重要性，它支持更准确和多样化地表示视障人士的运动，推进了运动-语言建模领域的发展，并增强了现实世界中人机交互系统的安全性和可靠性。

论文的主要内容：

这篇论文的主要内容包括以下几个方面：

1. 问题识别：
   • 论文指出了现有3D运动模型在捕捉视障人士（如盲人）行为方面的不足，尤其是这些模型在预测和响应视障人士运动时的挑战。
2. 数据集创建：
   • 作者介绍了BlindWays数据集，这是首个专门针对视障人士在真实世界城市环境中导航的多模态3D人体运动基准测试。该数据集包括11名视障参与者的3D运动数据和2058个详细的文本描述。
3. 数据收集方法：
   • 使用Xsens可穿戴传感器系统收集3D运动数据，并结合第三人称和第一人称视角的视频，以提供场景和动作的上下文。
4. 文本描述的重要性：
   • 提供了高级别和低级别两种粒度的文本描述，以捕捉视障行人的独特运动特性及其与导航辅助工具和环境的互动。
5. 模型评估和基准测试：
   • 通过基准测试评估了现有的最先进的3D人体预测模型在视障人士运动预测任务上的性能，并发现这些模型存在明显的性能不足。
6. 实验结果：
   • 实验表明，尽管进行了预训练，模型在特定领域（如视障人士运动）上的表现仍有限制，这强调了需要专门的视障人士运动基准测试来支持安全有效的城市规划，例如在自动驾驶领域。
7. 贡献和资源公开：
   • 论文的贡献不仅在于识别现有模型的不足，还包括提供了一个新的数据集和评估框架，以推动视障人士运动建模的研究进展，并增强现实世界中人机交互系统的安全性和可靠性。此外，BlindWays数据集被公开，以便研究社区可以访问并利用这些数据来改进和测试他们的模型。
8. 未来研究方向：
   • 论文提出了未来研究的方向，包括扩大数据集规模、改进运动捕捉技术、增强模型泛化能力、多模态学习和融合、交互式应用开发等。

总的来说，这篇论文通过创建和分析一个新的多模态数据集，为视障人士的运动建模和预测提供了新的视角，并为未来的研究和应用开发奠定了基础。