每日学术速递11.20

CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理

Power by Kimi&苏神 编辑丨AiCharm

Subjects: cs.CV

1.Advancing Fine-Grained Visual Understanding with Multi-Scale Alignment in Multi-Modal Models

标题：通过多模态模型中的多尺度对齐促进细粒度视觉理解

作者：Wei Wang, Zhaowei Li, Qi Xu, Linfeng Li, YiQing Cai, Botian Jiang, Hang Song, Xingcan Hu, Pengyu Wang, Li Xiao

文章链接：https://arxiv.org/abs/2411.09691

项目代码：https://rl-at-scale.github.io/

摘要：

多模态大语言模型（MLLM）在一系列任务的细粒度视觉理解方面取得了显着的成功。然而，由于细粒度知识的协调不够，他们经常遇到重大挑战，这限制了他们准确捕捉局部细节和获得全面的全球感知的能力。虽然最近的进展集中在将对象表达与基础信息对齐，但它们通常缺乏对象图像的显式集成，对象图像包含超出单纯文本或坐标的丰富信息。为了弥补这一差距，我们引入了一种新颖的细粒度视觉知识对齐方法，该方法可以有效地对齐和集成对象的多尺度知识，包括文本、坐标和图像。这种创新方法以我们的多尺度细粒度增强数据合成管道为基础，该管道提供超过 300K 的基本训练数据来增强对齐并提高整体性能。此外，我们还推出了 TinyGroundingGPT，这是一系列针对高级对齐进行优化的紧凑模型。 TinyGroundingGPT 的参数规模约为 3B，在接地任务中取得了出色的结果，同时在复杂的视觉场景中提供了与大型 MLLM 相媲美的性能。

这篇论文试图解决什么问题？

这篇论文试图解决的问题是多模态大型语言模型（MLLMs）在细粒度视觉理解任务中遇到的挑战，尤其是在细粒度知识对齐方面的不足。这些挑战限制了模型准确捕捉局部细节和获得全面全局感知的能力。具体来说，论文指出现有方法在对齐对象文本和视觉特征（包括坐标和语义信息）时面临显著挑战，即缺乏细粒度对齐。视觉对象通常包含不同层次的多尺度表示，包括坐标、文本和图像，但大多数细粒度模型主要关注对象文本和坐标之间的对齐，往往忽略了与对象图像的直接交互。这种局限性可能导致幻觉和不足以接地的能力。

为了克服这些限制，论文介绍了一种新颖的细粒度视觉知识对齐方法，该方法有效地对齐和整合了对象的多尺度知识，包括文本、坐标和图像。此外，论文还提出了一个多尺度细粒度增强数据合成管道，以生成超过300K的必要训练数据来增强对齐和提高整体性能。最后，论文提出了TinyGroundingGPT，一系列针对高级对齐优化的紧凑模型，在接地任务中取得了出色的结果，同时在复杂视觉场景中提供与更大MLLMs相当的表现。

论文如何解决这个问题？

论文通过以下几个关键步骤解决多模态大型语言模型（MLLMs）在细粒度视觉理解中的问题：

1. 细粒度视觉知识对齐方法

论文提出了一种细粒度视觉知识对齐方法，该方法有效地对齐和整合了对象的多尺度知识，包括文本、坐标和图像。这个方法包括三个训练阶段：

1. 对象和关系感知预训练：模型学习理解多模态输入，识别图像中的对象及其相互关系。
2. 多尺度细粒度局部知识对齐：模型通过对齐对象文本、坐标和图像来实现细粒度视觉理解和多尺度对象知识的共享。
3. 详细全局知识对齐：通过整合细粒度知识，模型进一步对齐和整合单个图像输入中的多个对象，增强全局知识学习。

2. 多尺度细粒度增强数据合成管道

为了支持上述方法，论文提出了一个多尺度细粒度增强数据合成管道。这个管道从局部和全局视角生成多尺度对齐数据集，具体步骤包括：

• 对象识别：使用专家模型或MLLMs进行对象检测，生成识别对象列表。
• 对象接地：利用接地模型为列表中的每个对象获得边界框坐标。
• 关系提取：使用GPT-4V提取对象之间的潜在关系。
• QA生成：基于上述信息，使用特定任务提示为GPT生成不同类型的数据集。
• 过滤：排除有问题的QA，例如对象图像区域过大或过小，或者对象置信度低的情况。

3. TinyGroundingGPT模型

论文提出了TinyGroundingGPT，这是一个系列的紧凑模型（1.5B和3B参数），在多模态理解和接地能力方面表现出色，与更大的7B MLLMs相比，在多个基准测试中实现了可比的性能。模型架构支持多尺度视觉编码器，并能够处理不同对象表示的查询。

4. 实验验证

通过在多个基准测试上的实验，论文验证了所提出方法和数据集的有效性。实验结果表明，TinyGroundingGPT在细粒度视觉理解任务中取得了显著的性能提升，特别是在接地任务中。

综上所述，论文通过提出新的对齐方法、数据合成管道和紧凑模型，有效地解决了MLLMs在细粒度视觉理解中的挑战。

论文做了哪些实验？

论文中进行了一系列实验来评估提出的方法和模型的性能，具体实验包括：

1. 图像接地评估（Image Grounding Evaluation）：
   • 在参考表达理解（REC）任务上评估TinyGroundingGPT的图像接地能力，使用了RefCOCO、RefCOCO+和RefCOCOg三个数据集。
   • 与多个基线模型进行比较，包括端到端的多模态模型和基于LLM的模型。
   • 使用统一的提示格式化“Output the coordinate of < exp >”来评估模型。
2. 图像理解评估（Image Understanding Evaluation）：
   • 在七个基准上评估TinyGroundingGPT，以全面评估其性能。
   • 与使用动态高分辨率或丰富训练数据的模型（如MiniCPM-V-2和InternVL-2）进行比较。
   • 与具有相似微调数据的模型（如LLaVA-1.5、GroundingGPT、TinyLLaVA和LLaVAPhi）比较。
3. 对象幻觉评估（Object Hallucination Evaluation）：
   • 使用POPE基准测试评估MLLMs的对象幻觉。
   • 通过准确度和F1分数以及较低的“Yes”指标来评估性能。
4. 消融研究（Ablation Study）：
   • 对额外的多尺度细粒度接地数据集进行消融研究，以评估在第二阶段使用这些数据集的效果。
   • 对全局接地数据集进行消融研究，以评估在第三阶段使用这些数据集的效果。
   • 对使用更大参数模型（Qwen2.5-7B）进行消融研究，以评估所提方法的有效性和泛化能力。
5. 讨论（Discussion）：
   • 评估了细粒度知识对齐方法对全面图像理解的影响。
   • 通过注意力图可视化了模型输出和输入图像之间的对齐情况，以增强模型的可解释性。

这些实验旨在验证论文提出的方法和模型在细粒度视觉理解任务中的有效性，并与现有的一些模型进行比较，以展示其优越性。实验结果支持了论文的主张，即通过细粒度视觉知识对齐和多尺度数据增强，可以有效提升MLLMs在相关任务中的表现。

论文的主要内容：

论文的主要内容可以总结如下：

1. 问题陈述：
   • 论文指出多模态大型语言模型（MLLMs）在细粒度视觉理解任务中面临挑战，尤其是由于缺乏细粒度知识对齐，限制了模型准确捕捉局部细节和获得全面全局感知的能力。
2. 方法论：
   • 论文提出了一种新颖的细粒度视觉知识对齐方法，有效对齐和整合对象的多尺度知识，包括文本、坐标和图像。
   • 方法基于三个训练阶段：对象和关系感知预训练、多尺度细粒度局部知识对齐、详细全局知识对齐。
3. 数据合成管道：
   • 提出了一个多尺度细粒度增强数据合成管道，生成超过300K的训练数据以增强对齐和提高性能。
4. 模型提出：
   • 论文介绍了TinyGroundingGPT，一系列紧凑的模型（1.5B和3B参数），在多模态理解和接地任务中表现出色，与更大的MLLMs相比具有可比性。
5. 实验验证：
   • 通过一系列实验，包括图像接地评估、图像理解评估、对象幻觉评估和消融研究，验证了提出方法和模型的有效性。
6. 讨论与结论：
   • 论文讨论了细粒度知识对齐方法对全面图像理解的增强效果，并通过注意力图可视化展示了模型输出和输入图像之间的对齐情况，增强了模型的可解释性。
   • 最后，论文得出结论，提出的细粒度视觉知识对齐方法能够有效提升MLLMs在细粒度视觉理解任务中的表现，并为MLLMs的实际应用提供了贡献。

整体而言，论文聚焦于提升MLLMs在细粒度视觉理解任务中的性能，通过提出新的方法、数据合成管道和紧凑模型，有效地解决了现有模型在这一领域的局限性。

2.CropCraft: Inverse Procedural Modeling for 3D Reconstruction of Crop Plants

标题：CropCraft：作物 3D 重建的逆过程建模

作者：Albert J. Zhai, Xinlei Wang, Kaiyuan Li, Zhao Jiang, Junxiong Zhou, Sheng Wang, Zhenong Jin, Kaiyu Guan, Shenlong Wang

文章链接：https://arxiv.org/abs/2411.09693

项目代码：https://github.com/THUDM/ImageReward

摘要：

根据图像自动构建植物 3D 数字孪生的能力在农业、环境科学、机器人技术和其他领域有着无数的应用。然而，由于严重遮挡和复杂的几何形状，当前的 3D 重建方法无法恢复植物的完整形状。在这项工作中，我们提出了一种基于通过逆过程建模优化植物形态参数模型的农作物 3D 重建的新方法。我们的方法首先通过拟合神经辐射场来估计深度图，然后采用贝叶斯优化来估计植物形态参数，从而获得一致的深度渲染。由此产生的 3D 模型是完整的并且在生物学上是合理的。我们在农田真实图像数据集上验证了我们的方法，并证明重建可用于各种监测和模拟应用。

这篇论文试图解决什么问题？

这篇论文试图解决的问题是如何从图像自动构建植物的三维数字孪生模型，特别是在农业领域中对农作物进行三维重建的问题。具体来说，论文中提到现有的三维重建方法由于植物之间严重的遮挡和复杂的几何结构，无法恢复植物的完整形状。为了克服这些挑战，论文提出了一种新颖的方法，通过逆向过程建模（Inverse Procedural Modeling）优化植物形态的参数化模型，从而实现对农作物的三维重建。这种方法结合了数据驱动的神经重建方法的灵活性和程序化模型中的稳健基础知识，以生成完整且生物学上可信的三维模型，这些模型可以用于田间分析应用，如模拟光合作用等重要生理过程。

论文如何解决这个问题？

论文通过以下步骤解决从图像自动构建植物三维数字孪生模型的问题：

1. 深度图估计：
   • 使用神经辐射场（NeRF）技术估计场景中可见表面几何形状的深度图。
   • 应用RANSAC算法估计植物行的位置，并确定一个标准相机姿态，以便渲染深度图。
2. 逆向过程建模：
   • 结合数据驱动的神经重建方法的灵活性和程序化模型中的稳健基础知识，通过优化程序化植物形态模型的参数来实现。
   • 首先从NeRF和程序化生成模型渲染深度图，然后使用贝叶斯优化来最小化与程序化模型参数相关的损失函数。
3. 损失函数设计：
   • 设计基于深度图直方图统计的损失函数，优化一个高度紧凑的参数集，以确保关键的作物覆盖特征被准确捕捉，而不是适应无关的细节。
   • 损失函数包括深度轮廓项、侧面轮廓项、深度导数项和掩膜区域项，综合这些项以获得用于场级分析应用的有用三维重建。
4. 贝叶斯优化：
   • 由于程序化生成模型直接添加新的网格面来创建不同拓扑结构的植物，从参数到生成形状的转换不是可微的。
   • 因此，使用贝叶斯优化方法，这是一种通常用于超参数调整的黑盒优化方法，通过高斯过程回归创建代理目标函数，并优化一个获取函数来决定下一个采样位置。
5. 数据集验证：
   • 收集真实农业领域中作物的多视图图像数据集，并与手动测量的关键形态变量（如叶面积和叶角度）配对。
   • 验证所提出方法能够成功地重建不同生长阶段的真实作物覆盖，并与基线方法相比，更准确地估计关键覆盖结构变量。
6. 光合作用模拟：
   • 将重建的三维作物覆盖直接用于辐射传输建模软件，以提供光合速率的准确预测，从而突出显示从相机图像直接监测作物生产力的潜力。

通过这种方法，论文成功地展示了如何从一系列图像中重建出完整的、可解释的和生物学上可信的大规模作物植物领域的三维形态模型，并为基于图像的作物生产力量化提供了一个框架，使得可扩展的碳交换监测成为可能。

论文做了哪些实验？

论文中进行了一系列实验来验证所提出方法的有效性，具体实验包括：

1. 数据集收集：
   • 作者收集了美国中西部真实农作物田地的多视图图像数据集，并与手动测量的关键形态变量（如叶面积和叶角度）配对。这些数据集包括大豆和玉米在不同生长阶段的图像。
2. 评估指标：
   • 以叶面积指数（LAI）和叶角度分布为中心的评估指标。LAI是衡量植被表面属性的常用指标，而叶角度对地表属性有显著影响。
3. 定性结果：
   • 展示了在相同地理位置不同生长阶段的大豆的重建结果，验证了所提方法能够捕捉植物冠层随时间的变化，并估计出不可见（被遮挡）部分的形状。
   • 对于玉米，尽管NeRF的质量较低，但所提方法仍然能够产生合理的冠层重建。
4. 定量结果：
   • 提供了大豆和玉米冠层重建的定量结果，包括LAI误差（LAIE）、LAI百分比误差（LAIPE）、平均角度误差（AME）和角度标准差误差（ASDE）等指标。
   • 与多种基线方法（包括泊松表面重建、多层感知器、信任域方法和随机采样）进行比较，验证了所提方法在所有指标上（除了ASDE）均获得最高性能。
5. 损失函数消融研究：
   • 对损失函数的各个组成部分进行了消融研究，观察每个组成部分对产生更准确重建的贡献。
6. 光合作用模拟：
   • 使用Helios软件框架对所重建的大豆冠层进行辐射传输模拟，预测光合速率，并与前一年同一地点的通量塔实测数据进行比较，验证了重建管道用于大规模监测作物生产力的潜力。
7. 限制讨论：
   • 讨论了方法的一些限制，包括对NeRF重建性能的依赖、程序化生成模型无法模拟某些细节（如受损叶片和非叶器官）以及RANSAC行拟合方法对超参数的敏感性。

这些实验全面地验证了所提方法在实际农业田地中重建作物三维结构的能力，并展示了其在作物监测和生产力评估方面的应用潜力。

论文的主要内容：

这篇论文提出了一种新颖的方法，名为CropCraft，用于从图像自动构建农作物的三维数字孪生模型。该方法基于逆向过程建模，优化植物形态的参数化模型，以克服现有三维重建方法在处理植物时由于严重遮挡和复杂几何结构导致的不完整性问题。以下是论文的主要内容概述：

1. 问题陈述：
   • 农业植物的三维重建对于农业、环境科学和机器人等领域具有重要应用，但现有技术难以恢复植物的完整形状。
2. 方法介绍：
   • 该方法首先使用神经辐射场（NeRF）技术估计可见表面几何形状的深度图。
   • 然后利用贝叶斯优化技术，根据一致性深度渲染结果来估计植物形态参数。
3. 关键技术创新：
   • 结合数据驱动的神经重建方法和程序化模型中的稳健知识，确保重建的植物模型完整且生物学上可信。
   • 通过优化一组紧凑的参数来捕获决定作物生产力的关键冠层特征，而不是拟合无关细节。
4. 实验验证：
   • 作者收集了真实的农业领域图像数据集，并与手动测量的叶面积和叶角度等形态变量配对。
   • 所提出的方法能够成功重建不同生长阶段的作物冠层，并估计关键冠层结构变量，准确性优于基线方法。
   • 重建的三维冠层可以直接用于辐射传输建模软件，以预测光合速率，显示出从相机图像直接监测作物生产力的潜力。
5. 贡献总结：
   • 提出了一种新颖的方法，用于从图像重建大规模农作物植物领域的完整三维形态模型。
   • 引入了第一个基于图像的作物生产力量化框架，为可扩展的碳交换监测提供了可能。
6. 未来工作：
   • 论文讨论了方法的一些限制，并提出了未来可能的改进方向，包括引入植物生长先验、优化模型以支持更详细的形态特征重建等。

总体而言，这篇论文在农业植物三维重建领域提供了一种创新的解决方案，通过结合最新的神经渲染技术和传统的程序化建模方法，为农业监测和模拟应用开辟了新的可能性。

3.Dream2Real: Zero-Shot 3D Object Rearrangement with Vision-Language Models(CVPR 2023)

标题：MagicQuill: An Intelligent Interactive Image Editing System

作者：MagicQuill：智能交互式图像编辑系统

文章链接：https://arxiv.org/abs/2411.09703

项目代码：https://magic-quill.github.io/

摘要：

图像编辑涉及各种复杂的任务，需要高效、精确的操作技术。在本文中，我们介绍了 MagicQuill，一个集成的图像编辑系统，可以快速实现创意。我们的系统具有精简但功能强大的界面，允许以最少的输入进行编辑操作（例如，插入元素、擦除对象、更改颜色）。这些交互由多模式大语言模型 (MLLM) 监控，以实时预测编辑意图，无需显式提示输入。最后，我们应用强大的扩散先验，并通过仔细学习的两分支插件模块进行增强，以精确控制处理编辑请求。实验结果证明了 MagicQuill 在实现高质量图像编辑方面的有效性。请访问此 https URL来试用我们的系统。

这篇论文试图解决什么问题？

这篇论文介绍了一个名为MagicQuill的智能交互式图像编辑系统，旨在解决数字图像编辑中的精确性和效率问题。具体来说，该系统试图解决以下几个关键挑战：

1. 用户需求多样性：图像编辑面临着广泛的用户需求，这要求系统能够轻松应对各种编辑任务。
2. 直观交互界面的缺失：现有的图像编辑工具通常缺乏直观的界面，用户难以精确控制编辑区域的形状、颜色和其他细节。
3. 模型对细粒度控制的支持不足：尽管扩散模型和控制增强方法取得了进展，但在实现细粒度和精确编辑时仍面临困难。
4. 编辑工作流程的中断：用户在编辑过程中需要频繁输入文本提示，这破坏了编辑工作流程的连续性，增加了操作的复杂性。

为了解决这些问题，MagicQuill提供了一个集成的图像编辑系统，它通过以下三个核心模块来支持用户快速实现创意：

• Editing Processor：负责高质量、可控的编辑生成，准确反映用户的编辑意图。
• Painting Assistor：通过减少输入文本提示的重复过程，增强系统预测和解释用户编辑意图的能力。
• Idea Collector：提供一个直观的界面，使用户能够快速轻松地输入他们的创意，显著提高编辑效率。

总的来说，MagicQuill的目标是开发一个健壮、开源、交互式的精确图像编辑系统，使用户能够轻松高效地进行图像编辑。

论文如何解决这个问题？

论文通过开发MagicQuill系统来解决精确和高效的图像编辑问题，该系统综合了以下几个关键组件：

1. Editing Processor（编辑处理器）

• 控制条件生成：将用户的笔触信号转换为编辑掩码、边缘条件和颜色条件，以精确控制编辑区域。
• 可控图像修复：采用UNet架构，结合掩码图像特征和降采样掩码，实现基于文本提示的内容感知填充。
• 双分支架构：包括用于内容感知逐像素指导的修复分支和提供结构指导的控制分支，以实现精确的基于笔触的图像编辑。

2. Painting Assistor（绘画助手）

• 即时意图预测：通过多模态大型语言模型（MLLM）分析用户笔触，基于图像上下文自动推断编辑意图，并生成相关文本提示，减少了用户输入文本提示的需求。
• Draw&Guess任务：一个新颖的任务，通过模拟真实编辑场景来微调MLLM，使其更准确地理解用户意图。

3. Idea Collector（创意收集器）

• 用户友好界面：提供了一个直观的界面，允许用户使用不同的笔刷进行绘制、操作笔触，并轻松进行连续编辑。
• 跨平台支持：作为一个模块化的ReactJS组件库，支持与Gradio和ComfyUI等多种平台集成，使用户可以在不同平台上进行图像编辑。

综合评估

• 通过定性和定量分析，论文展示了MagicQuill系统在执行详细图像编辑方面的精度和效率都显著优于现有方法。
• Editing Processor在边缘对齐和颜色保真度方面优于基线方法。
• Painting Assistor在用户意图解释能力方面优于其他MLLMs。
• 用户研究表明Idea Collector在系统可用性的各个方面都显著优于基线界面。

通过这种方式，MagicQuill利用先进的生成模型和以用户为中心的设计，显著减少了执行详细图像编辑所需的时间和专业知识，推进了数字图像处理领域的技术发展，并为用户提供了更丰富、功能更强的创意表达工具。

论文做了哪些实验？

论文中进行了三个主要部分的实验来评估MagicQuill系统的性能：

1. Controllable Generation（可控生成）

• 目的：评估Editing Processor的可控生成能力，特别是边缘对齐和颜色保真度。
• 方法：与四个代表性基线进行比较，包括SmartEdit、SketchEdit、BrushNet以及BrushNet和ControlNet的组合。
• 结果：通过视觉结果比较和定量分析（LPIPS、PSNR、SSIM指标），MagicQuill在所有关键指标上均优于基线，显示出更好的可控生成性能。

2. Prediction Accuracy（预测准确性）

• 目的：评估Painting Assistor的语义预测准确性。
• 方法：与三个最先进的MLLMs（LLaVA-1.5、LLaVA-Next、GPT-4o）在490张测试图像上进行比较，使用BERT、CLIP和GPT-4相似度分数作为评估指标。
• 结果：MagicQuill的Painting Assistor在所有测试的MLLMs中实现了最高的预测准确性，表明其能够更准确地捕获和预测用户的绘图意图。

3. Idea Collection Effectiveness and Efficiency（创意收集的有效性和效率）

• 目的：评估Idea Collector的用户界面在操作效率、一致性、易用性和总体满意度方面的表现。
• 方法：与基线系统（定制的ComfyUI工作流）进行用户研究，比较两个系统在上述四个维度上的用户评分。
• 结果：MagicQuill在所有维度上的用户评分均显著高于基线系统，表明Idea Collector在用户界面的有效性和效率方面的优势。

这些实验全面评估了MagicQuill系统的各个组成部分，并与现有技术进行了比较，从而证明了其在精确和高效图像编辑方面的优越性能。

论文的主要内容：

这篇论文介绍了一个名为MagicQuill的智能交互式图像编辑系统，旨在解决数字图像编辑中的精确性和效率问题。以下是论文的主要内容总结：

1. 系统介绍：
   • MagicQuill是一个集成的图像编辑系统，支持用户通过简单的笔触快速实现创意。
   • 系统包括三个核心模块：Editing Processor（编辑处理器）、Painting Assistor（绘画助手）和Idea Collector（创意收集器）。
2. Editing Processor：
   • 实现了基于笔触的两种引导机制：涂鸦引导用于结构修改，颜色引导用于颜色属性修改。
   • 采用了双分支架构，包括用于内容感知像素级指导的修复分支和提供结构指导的控制分支，以实现精确的编辑控制。
3. Painting Assistor：
   • 利用多模态大型语言模型（MLLM）来预测用户的编辑意图，减少用户输入文本提示的需求。
   • 通过一个称为Draw&Guess的任务，MLLM分析用户笔触并自动生成编辑提示。
4. Idea Collector：
   • 提供了一个直观的用户界面，允许用户轻松绘制、操作笔触，并进行连续编辑。
   • 支持跨平台使用，包括Gradio和ComfyUI等。
5. 实验评估：
   • 通过定性和定量分析，论文展示了MagicQuill系统在执行详细图像编辑方面的精度和效率都显著优于现有方法。
   • 对比了Editing Processor、Painting Assistor和Idea Collector与现有技术的优越性。
6. 未来工作：
   • 论文提出了几个可以进一步探索的方向，包括增加编辑类型、实现分层图像生成、增强排版支持等。

总体而言，MagicQuill通过结合先进的生成模型和用户中心设计，显著减少了执行详细图像编辑所需的时间和专业知识，为用户提供了一个更丰富、功能更强的创意表达工具。