英伟达GauGAN2 AI：用户输入文本字符，AI就会实时生成图景

英伟达的GauGAN2 AI现在可以使用简单的书写短语来生成相应的逼真图像。该深度学习模型仅用三四个单词就能够生成不同的场景。

GauGAN是英伟达开发的AI软件，用于在2019年将简单的涂鸦变成逼真的杰作，这项技术最终在今年早些时候变成了英伟达Canvas应用程序。现在英伟达进一步完善了这项AI技术，只需要简短的描述就可以生成“照片”。

英伟达表示，GauGAH背后的深度学习模型让任何人都可以生成漂亮的场景，而且现在比以往任何时候更容易实现。用户只需要输入“海滩日落”之类的短语，该AI就会在添加每个单词时实时生成场景。添加一个修饰性的形容词，比如“岩石海滩的日落”，或者将“日落”换成“午后”或“雨天”，模型就会基于所谓的生成式对抗网络（GAN）来修改照片。

英伟达表示：“用户只需要按一下按钮，就可以生成一张分割图，这是一个大致的轮廓，显示了场景中各人物或物体的位置。之后，用户可以改而绘图，使用天空、树木、岩石和河流之类的标签，借助粗略的草图以调整场景，让智能画笔可以将这些涂鸦融入到异常逼真的图像中。”

这是用户输入短语“雾天中高大的树木环绕的宁静湖泊”后AI生成的图像。

英伟达表示，演示版在业内率先在单单一个GAN网络中结合了多种模态（modality），比如文本、语义分割、草图和风格。GauGan2在单单一个模型中结合了分割图、图像修复以及文本到图像生成，英伟达表示，这使其成为一种功能强大的工具，让用户可以通过结合单词和图画即可创作逼真的艺术作品。目的是更快捷、更轻松地将艺术家的奇思妙想转化为AI生成的高质量图像。英伟达表示，与其他专门用于文本到图像或分割图到图像等应用的最先进模型相比，GauGAN2可以生成一系列图像，种类更多、质量更高。

GauGAN2背后的AI模型在1000万个高质量的风景图像上使用英伟达Selene超级计算机加以训练，这个英伟达DGX SuperPOD系统跻身全球功能最强大的十大超级计算机行列。研究人员使用的神经网络可以学习单词与所对应画面之间的关系，比如“冬天”、“浓雾”或“彩虹”。

英伟达表示：“用户不需要绘制所想象的场景中的每个元素，只需输入一个简短的短语，就可以迅速生成图像的关键特征和主题，比如白雪皑皑的山脉。随后可以用草图定制这个起点，使某一座山更高耸，或者在前景中添加几棵树，或在空中添加几朵云。”

这是用户输入短语“俯瞰一座白色沙滩的热带岛屿”后AI生成的图像。

虽然生成逼真的图像可能最令人印象深刻，但GauGAN2并不仅限于这种娱乐。艺术家们还可以使用演示版来描绘超凡脱俗的虚构风景。英伟达展示了这样一个场景：该场景重现了类似《星球大战》中虚构的塔图因星球的场景，其中的沙漠场景最初由模型生成，但之后添加了第二个太阳。

这是用户输入短语“晴天里一望无际的高山”后AI生成的图像。

“这是一个迭代过程，用户在文本框中输入的每个单词都为AI生成的图像赋予了更多的元素。”

文本到图像功能可以在英伟达AI演示版上进行测试，任何人都可以试着使用文本提示生成自定义场景，并使用快速草图进一步调整场景，以获得更精美的效果。