每日学术速递1.7

1.Bring Metric Functions into Diffusion Models

标题：将度量函数引入扩散模型

作者：Jie An, Zhengyuan Yang, Jianfeng Wang, Linjie Li, Zicheng Liu, Lijuan Wang, Jiebo Luo

文章链接：https://arxiv.org/abs/2401.02414

项目代码：https://rl-at-scale.github.io/

摘要：

我们引入了级联扩散模型（Cas-DM），它通过在训练中有效地结合额外的度量函数来改进去噪扩散概率模型（DDPM）。诸如 LPIPS 损失之类的度量函数已被证明在从分数匹配得出的一致性模型中非常有效。然而，对于扩散对应物，添加额外度量函数的方法和功效仍不清楚。一个主要挑战是 DDPM 在每一步预测的噪声与度量函数运行良好的所需干净图像之间的不匹配。为了解决这个问题，我们提出了 Cas-DM，这是一种级联两个网络模块的网络架构，可以有效地将度量函数应用于扩散模型训练。第一个模块与标准 DDPM 类似，学习预测添加的噪声，并且不受度量函数的影响。第二个级联模块学习预测干净图像，从而促进度量函数计算。实验结果表明，所提出的扩散模型主干能够有效利用 LPIPS 损失，从而在各种既定基准上实现最先进的图像质量（FID、sFID、IS）。

2.DiffusionLight: Light Probes for Free by Painting a Chrome Ball

标题：DiffusionLight：通过绘制铬球免费进行光探针

作者：Pakkapon Phongthawee, Worameth Chinchuthakun, Nontaphat Sinsunthithet, Amit Raj, Varun Jampani, Pramook Khungurn, Supasorn Suwajanakorn

文章链接：https://arxiv.org/abs/2312.09168

项目代码：https://diffusionlight.github.io/

摘要：

我们提出了一种简单而有效的技术来估计单个输入图像中的光照。当前的技术严重依赖 HDR 全景数据集来训练神经网络，将有限视野的输入回归到完整的环境地图。然而，由于数据集的多样性和大小有限，这些方法常常难以应对现实世界中不受控制的设置。为了解决这个问题，我们利用在数十亿张标准图像上训练的扩散模型将铬球渲染到输入图像中。尽管很简单，但这项任务仍然具有挑战性：扩散模型经常插入不正确或不一致的对象，并且无法轻松生成 HDR 格式的图像。我们的研究揭示了铬球的外观与初始扩散噪声图之间的惊人关系，我们利用它来持续生成高质量的铬球。我们进一步使用 LoRA 微调 LDR 扩散模型（Stable Diffusion XL），使其能够执行曝光包围以进行 HDR 光估计。我们的方法可以在不同的环境中产生令人信服的光估计，并展示出对野外场景的卓越泛化能力。

3.SIGNeRF: Scene Integrated Generation for Neural Radiance Fields

标题：SIGNeRF：神经辐射场的场景集成生成

作者：Jan-Niklas Dihlmann, Andreas Engelhardt, Hendrik Lensch

文章链接：https://arxiv.org/abs/2401.01647

项目代码：https://signerf.jdihlmann.com/

摘要：

图像扩散模型的进步最近导致高质量图像生成的显着改进。与神经辐射场 (NeRF) 相结合，它们为 3D 生成带来了新的机遇。然而，大多数生成 3D 方法都是以对象为中心的，将它们应用于编辑现有的逼真场景并非易事。我们提出了 SIGNeRF，这是一种用于快速、可控 NeRF 场景编辑和场景集成对象生成的新颖方法。新的生成更新策略可确保编辑图像的 3D 一致性，而无需迭代优化。我们发现深度条件扩散模型本质上具有通过请求图像网格而不是单个视图来生成 3D 一致视图的能力。基于这些见解，我们引入了修改图像的多视图参考表。我们的方法根据参考表一致地更新图像集，并用新生成的图像集一次性完善原始 NeRF。通过利用图像扩散模型的深度调节机制，我们可以对编辑的空间位置进行精细控制，并通过选定区域或外部网格强制执行形状引导。