新智元报道
来源:Nvidia
编辑:LRS
只需要简单画两笔涂鸦,就能生成美丽的风景画?
装了这个app,人人都是艺术家!
英伟达最近发布了一个应用程序Nvidia Canvas,目前处于免费公开测试版,包含了基于 NVIDIA RTX 图形处理器的实时绘画工具 GauGAN 。
由 NVIDIA 研发团队开发的GauGAN使用深度学习模型能够将粗糙的涂鸦草图转化为令人惊叹的风景图,还获得了SIGGRAPH的最佳展示奖。
在GauGAN的基础上,NVIDIA Canvas让创作者通过材料而不是颜色来绘画。
更牛的是,这个程序能够实时现实绘画结果,而不需要等待完整的绘画。
安装这个软件的硬件要求是一块RTX的显卡,包括GeForce RTX, NVIDIA RTX, Quadro RTX, TITAN RTX。
随着国家对挖矿的打击,显卡的价格也是一落千丈,在以前,一块RTX显卡可是致命的要求!
输入设备可以使鼠标+键盘,触摸屏或者是平板电脑的笔。
软件要求是NVIDIA GeForce, Studio or Quadro Driver: 460.89 460.89和Windows 10。
用户首先用现实世界的材料,如草地或云彩,画出简单的形状和线条。人工智能模型然后立即填充屏幕显示停止的结果。四个快速的形状和一个惊人的山脉出现。再多几条线就会形成一片美丽的田野。
NVIDIA canvas也提供了多种材料可供使用。NVIDIA 画布有九种风格,修改的外观和感觉的绘画和15种不同的材料,从天空和山脉,河流和石头。在不同的图层上绘制,使元素保持分离。从头开始,或启动和修改应用程序的预制场景之一,以获得更完美的灵感提示。
在池塘里画画,附近的元素如树木和岩石就会出现在水中的倒影。换一种材料,把雪变成草,整个形象就从一个冬天的仙境变成了一个热带的天堂。
该工具允许艺术家使用样式过滤器,改变生成的图像,以采用特定的画家的风格。不仅仅是把其他图片拼接起来,或者剪切和粘贴纹理,而是创造全新的图像,就像艺术家一样。
一个现实的要求是,艺术家们希望把他们的数字化达芬奇提升到一个新的水平,可以把他们的作品保存为.psd文件并导入到 Adobe Photoshop 中以继续完善或结合其他艺术作品。
创作者可以在创作过程的早期阶段使用画布,然后轻松地将创作出的图像移动到其他创作工具中,如 Adobe Photoshop,以继续创作过程。
创造的可能性是无穷无尽的。NVIDIA 画布帮助艺术家迅速构思,在项目开始时,当面对一张空白画布时,如何开始画第一笔,绝对是一项艰巨的任务。
它还可以为一系列的创作者和设计者节省时间。想象一下,一位艺术家在时间紧迫的时候,需要在广告活动中提炼英雄作品,使用一幅风景画完成这个镜头。
使用 NVIDIA 画布,导演只需要几个点击生成几个漂亮的渲染图像。很快,这个工具就为客户提供了多种选择,相比传统的作画方式,能够节省大量的时间。
NVIDIA Canvas 使用了一种被称为生成式对抗性网络(GAN)的人工智能技术,它由一个生成器和一个判别器组成。
生成器的目的是将物质地图转换成图像。判别器知道真实的池塘和湖泊中都有反射倒影,并告诉生成器创建一个令人信服的图像模拟。为了给艺术家们提供真实的肖像,GAN 已经在 NVIDIA DGX 系统上训练使用了超过500万张图像。
NVIDIA Canvas是 NVIDIA Studio的一部分,NVIDIA Studio能够为创作者提供硬件和软件工具,帮助他们实现创作艺术的愿望。
GauGAN是背后的核心技术,这个网络的命名来自于印象派画家保罗 · 高更,他死后作品才开始名声大噪。他是印象派的代表人物,除去绘画之外,在雕塑、陶艺、版画和写作上也有一定的成就。他对色彩的使用导致了综合主义的产生,加上分隔主义的影响,也为原始主义的产生铺平了道路。
2019年3月,在加州圣何塞举行的GPU技术大会(GTC)上,Nvidia揭开了GauGAN的面纱,这是一种生成对抗性AI系统,可以让用户创建实际并不存在的逼真风景图像。GauGAN测试版在Playground平台上发布后的第一个月,就已经生成了50万张图片,包括电影、视频游戏等概念艺术领域均有应用。
Nvidia表示,GauGAN已经被一家医疗保健组织用于探索性治疗工具使用,动画建模师Colie Wertz也在使用GauGAN,他的作品包括《星球大战》、《变形金刚》和《复仇者联盟》等。
GauGAN是英伟达开发的“扭曲现实”的AI工具之一,英伟达曾开发了StyleGAN这样的深度学习技术应用,可以生成完全不存在的逼真人脸图像。去年9月,英伟达研究人员在一篇论文中描述了一种能够制作脑癌合成扫描的系统。12月,英伟达详细介绍了一种能够使用真实世界视频创建虚拟环境的生成模型。
GauGAN的首次亮相先于GANPaint Studio,这是一种公开的人工智能工具,可让用户上传任何照片并编辑所描绘的建筑物,植物群和固定装置的外观。在其他地方,生成机器学习模型已被用于通过观看YouTube剪辑,从自然语言标题创建图像和故事板,以及使用包含人类语音的音频剪辑来动画和同步面部运动来生成逼真的视频。
参考资料:
https://blogs.nvidia.com/blog/2021/06/23/studio-canvas-app/