WonderJourney：用文本和图像创造虚拟3D世界的旅程

引言

WonderJourney是斯坦福大学和谷歌联合开发的一个项目，它能够根据用户提供的文本或图片自动生成一系列连续的3D场景。

主要功能特点

• 个性化起点设定： 用户可以通过上传图片或描述来确定起始场景，如森林或城市景观。
• 持续的3D场景生成： 基于起始点，生成一系列多样化的3D场景，形成长时间的虚拟旅程。
• 多样化的目的地： 从同一起点出发，生成不同终点的旅程，如山脉或海滩。

1. 用户引导旅程： 用户通过文本描述如诗歌或故事摘要来指导旅程的生成。

工作原理

• 场景描述生成： 使用大型语言模型（LLM）自动生成场景的文本描述。
• 文本驱动的视觉生成： 根据LLM描述，使用文本驱动的视觉生成模块创建彩色点云的3D场景。
• 视觉验证： 利用视觉语言模型（VLM）确保生成场景的连贯性和视觉效果。

结语

WonderJourney为用户提供了一种全新的探索虚拟世界的方式，通过技术创新将文本和图像转化为引人入胜的3D旅程体验。

项目及演示：https://kovenyu.com/wonderjourney/

论文：https://arxiv.org/pdf/2312.03884.pdf

github:https://github.com/KovenYu/WonderJourney

----------伟大的分割线-----------

PHP饭米粒(phpfamily) 由一群靠谱的人建立，愿为PHPer带来一些值得细细品味的精神食粮！

饭米粒只发原创或授权发表的文章，不转载网上的文章

所发的文章，均可找到原作者进行沟通。

本文由 桶哥 授权 饭米粒 发布，转载请注明本来源信息