逼真3D场景程序生成器“Infinigen”AI生成100％还原大自然

前几天我们还在使用图片转3D动态，现如今就出现了3D场景，长电影生成指日可待，让我们跟随官方的视频开始吧~

论文地址：https://arxiv.org/pdf/2306.09310.pdf

Github：github.com/princeton-vl/infinigen

安装经过测试，可在以下平台上运行：

Ubuntu 22.04.2 LTS

GPUs options tested: CPU only, GTX-1080, RTX-2080, RTX-3090, RTX-4090 (Driver 525, CUDA 12.0)

RAM: 16GB

MacOS Monterey & Ventura, Apple M1 Pro, 16GB RAM

Blender的前世今生

Blender是一款开源的3D计算机图形软件,它拥有强大的3D建模、动画、视频后期、纹理绘制等功能。Blender起源于20世纪90年代,最初是作为一款3D游览器开发的。

前世:

Blender最初由Ton Roosendaal创建,名为“Blender Trader Project”,后更名为“Blender”,起先是一款运行在SGI硬件上的3D软件。1998年,Blender以开源软件的形式发布, kanniva公司获得资助,开发Blender 2.0版本。这些早期版本主要面向高端工作站和视频卡,功能也比较简单。

今生:

2002年,Blender基金会成立,Ton Roosendaal担任主席,Blender作为一款开源3D软件得到长足发展。几年间,Blender引入多边形建模、多层纹理、物理引擎等功能,成为一款成熟的3D软件。

2007年,Blender 2.5版本发布,界面进行了彻底重写,引入碰撞检测和流体模拟等功能,标志着Blender进入现代3D软件行列。2010年,Blender 2.5发布第一个长期维护版本“Blender 2.49”,后续版本进一步扩展工作流和建模工具,实现动态拓扑变换等功能。近年来,Blender不断优化渲染引擎Cycles,实现实时渲染和VR渲染支持,节点编辑器功能也越来越强大。2020年发布的Blender 2.9进一步扩展机器学习和Alembic功能,UI也进行了升级。Blender从最初简单的3D软件发展到今天的一流开源3D制作工具,经历了漫长的探索和迭代。凭借不断进步的技术和持续活跃的开源社区,Blender在3D和动画制作领域已经成为一种强有力的选择。相信在未来,它会进一步扩展在电影、游戏等更广阔领域的应用。

Infinigen

Infinigen是一种生成对抗网络(GAN)模型,它可以生成高质量的人像图片。

理论基础:

Infinigen是基于生成对抗网络(GAN)而研发的,GAN由两个神经网络组成:生成器(Generator)和判别器(Discriminator)。生成器会生成伪造的人像图片,判别器则会判断图片是否真实,并回传信号告诉生成器如何改进,使其生成的图片更加真实。通过这种互动学习,Infinigen可以生成非常逼真的人像图片。

背景:

Infinigen由Anthropic公司开发,Anthropic是一家人工智能安全性公司,专注于构建“谨慎的”AI系统。Infinigen作为Anthropic的一项研究成果,目的是探索GAN在生成人像方面的应用,同时也验证生成的人像图片的真实性,避免生成有害或者不适宜的内容。

应用:Infinigen可以用于多个领域的人像图片生成:

1. AI头像:Infinigen可以根据用户输入的描述信息生成相应的头像,实现自定义AI头像功能。

2. 人物图片生成:Infinigen 可以根据简短的人物描述生成相应的全身图片,实现人物图像生成的功能。

3. 个性化推荐:结合Infinigen生成的人像图片和用户信息,可以提供个性化的产品推荐等。

4.  villagers图片生成:Infinigen可以批量生成不同人物的图片,实现类似某游戏中的villagers人物图功能。

使用:Infinigen部署简单,通过调用AI模型的接口就可以实现人像图片的生成:

1. 提供人物描述信息,如性别、肤色、发型等,或直接输入自然语言描述。

2. 调用Infinigen模型的生成接口,传入第一步的人物信息。

3. Infinigen会基于输入信息生成一张人像图片,并返回图片数据。

4. 前端解析图片数据,并显示生成的人像图片。

Infinigen是一个强大的人像图片生成模型,它可以根据简单的人物描述生成逼真的人像图片,在很多场景下有着广阔的应用前景。相信随着GAN技术的发展,生成图片的真实性会日益提高,Infinigen等模型也会越来越强大

Anthropic是一家人工智能公司,专注于构建“审慎的”AI系统。

公司背景:Anthropic由Dario Amodei、Daniela Amodei、Tom Brown、Chris Olah、Sam McCandlish、Jack Clarke和Jared Kaplan联合创立。团队成员都来自OpenAI,专注于人工智能的安全性研究。Anthropic的目的是开发自然而安全的AI,并探索如何构建“审慎的”AI系统。

研发方向:Anthropic主要专注于两大研究方向:

1. 审慎的AI:研究如何构建在不同环境下也能保持警惕性的人工智能系统,使其行为更加可控和透明。例如,Anthropic开发的AI安全专家原型模式CLAIRE,它可以与用户进行对话,解释自己的推理过程并作出更加审慎的决策。

2. 生成模型的监督学习:研究如何在不提供大量人工标注数据的情况下,监督和控制生成模型的输出。例如,Infinigen是Anthropic开发的一种对抗生成网络(GAN)模型,可以生成高质量的人像图片,同时避免生成不良内容。

技术实力:Anthropic在GAN、监督学习和自然语言处理等方面有较强的技术实力:

1. 它开发的Infinigen可以生成逼真的人像图片。Infinigen和类似的GAN为个性化推荐和生成AI提供了一定技术基础。

2. Anthropic拥有一套自然语言对话系统,并在此基础上构建了AI安全专家CLAIRE。CLAIRE可以与用户进行更加自然和审慎的对话交互。

3. Anthropic掌握较为先进的监督学习技术,可以在较少的数据情况下进行有效监督和控制