每日学术速递1.13
1.A Survey on 3D Gaussian Splatting
标题：3D 高斯泼溅综述
作者：Guikun Chen, Wenguan Wang
文章链接：https://arxiv.org/abs/2401.03890
摘要：
3D 高斯分布 (3D GS) 最近作为显式辐射场和计算机图形领域的一项变革性技术而出现。这种创新方法的特点是利用了数百万个 3D 高斯函数，它与神经辐射场 (NeRF) 方法有很大不同，神经辐射场 (NeRF) 方法主要使用隐式的基于坐标的模型将空间坐标映射到像素值。3D GS 凭借其明确的场景表示和可微的渲染算法，不仅保证了实时渲染功能，而且还引入了前所未有的控制和可编辑性水平。这使得 3D GS 成为下一代 3D 重建和表示的潜在游戏规则改变者。在本文中，我们首次系统概述了 3D GS 领域的最新发展和关键贡献。我们首先详细探讨 3D GS 出现背后的基本原理和驱动力，为理解其重要性奠定基础。我们讨论的一个焦点是 3D GS 的实际适用性。通过促进实时性能，3D GS 开辟了从虚拟现实到交互式媒体等众多应用程序。对此进行了补充，对领先的 3D GS 模型进行了比较分析，并在各种基准任务中进行了评估，以突出其性能和实用性。该调查最后确定了当前的挑战并提出了该领域未来研究的潜在途径。通过这项调查，我们的目标是为新手和经验丰富的研究人员提供宝贵的资源，促进在适用和明确的辐射场表示方面的进一步探索和进步。
2.FaceChain: A Playground for Human-centric Artificial Intelligence Generated Content
标题：FaceChain：以人为本的人工智能生成内容的游乐场
作者：Yang Liu, Cheng Yu, Lei Shang, Yongyi He, Ziheng Wu, Xingjun Wang, Chao Xu, Haoyu Xie, Weida Wang
文章链接：https://arxiv.org/abs/2308.14256
项目代码：https://github.com/modelscope/facechain
摘要：
个性化图像生成的最新进展揭示了预先训练的文本到图像模型在从肖像图像集合中学习身份信息方面的有趣能力。然而，现有的解决方案在生成真实细节方面很脆弱，并且通常存在一些缺陷，例如（i）生成的面部表现出其自己独特的特征，即面部形状和面部特征定位可能与输入的关键特征不相似，并且（ ii) 合成的脸部可能包含扭曲、模糊或损坏的区域。在本文中，我们提出了 FaceChain，一个个性化的肖像生成框架，它结合了一系列定制的图像生成模型和丰富的人脸相关感知理解模型（例如人脸检测、深度人脸嵌入提取和人脸属性识别） ），以应对上述挑战并生成真实的个性化肖像，只需少量肖像图像作为输入。具体来说，我们在生成过程中注入了多个SOTA人脸模型，与之前的解决方案（例如DreamBooth ~\cite{ruiz2023dreambooth} 、 InstantBooth ~\cite{ ）相比，实现了更高效的标签标记、数据处理和模型后处理。shi2023instantbooth} ，或其他仅 LoRA 的方法 ~\cite{hu2021lora} 。此外，我们在FaceChain的基础上，进一步开发了虚拟试穿、2D头戴式等多种应用，为更好地展示其价值搭建了更广阔的游乐场。我们希望它能够不断发展，以满足社区不断增长的需求。请注意，这是一项正在进行的工作，将不断完善和改进。
3.MOTO: Offline Pre-training to Online Fine-tuning for Model-based Robot Learning(CoRL 2023 )
标题：MOTO：基于模型的机器人学习的离线预训练到在线微调
作者：Rafael Rafailov, Kyle Hatch, Victor Kolev, John D. Martin, Mariano Phielipp, Chelsea Finn
文章链接：https://arxiv.org/abs/2401.03306
项目代码：https://sites.google.com/view/mo2o
摘要：
我们研究现实机器人任务背景下的高维观察强化学习的离线预训练和在线微调问题。最近的离线无模型方法成功地使用在线微调来提高代理在数据收集策略上的性能或适应新任务。与此同时，基于模型的强化学习算法在样本效率和可解决任务的复杂性方面取得了显着进步，但在微调设置中仍未得到充分利用。在这项工作中，我们认为，由于分布变化、非动态数据和非平稳奖励等问题，现有的基于模型的离线强化学习方法不适合高维领域的离线到在线微调。我们提出了一种基于策略模型的方法，可以通过基于模型的价值扩展和策略正则化有效地重用先验数据，同时通过控制认知不确定性来防止模型被利用。我们发现我们的方法成功地解决了 MetaWorld 基准测试中的任务，以及完全从图像中解决 Franka Kitchen 机器人操作环境的任务。据我们所知，MOTO 是第一个从像素角度解决该环境问题的方法。