NVIDIA推出Jetson Generative AI Playground：在Jetson Orin上玩转AI生成式模型

近年来，AI生成模型的发展，如Stable Diffusion和ChatGPT，正深刻影响着各行各业。在自然语言理解领域，生成AI被用来开发新的聊天机器人和虚拟助手，它们能更自然地理解和回应人类语言。内容生成正受益于最新的进展，创造出逼真的图像、文字和音乐。在创意艺术方面，这项技术被用来创作新形式的艺术和设计。在问题解决领域，生成技术被用来开发更高效解决复杂问题的新算法。

起初，生成AI算法庞大，需要大量计算资源。这些早期模型虽然在能力上开创性地超越，但伴随着重大操作挑战。训练和运行它们需要超级计算机或专门的高性能计算集群，这对于除了最大型组织和研究机构以外的其他人来说都是昂贵得难以承受的。与这些计算需求相关的巨大成本限制了人们对这项技术的接触，并妨碍了许多爱好者和研究人员的实验。

然而，随着时间的推移，这一趋势发生了显著变化。AI研究和工程方面的进展导致了更高效的算法和模型架构的开发。此外，优化技术和硬件创新在使生成AI更加易于访问方面发挥了关键作用。

如今，我们正在见证强大的生成AI模型的涌现，它们可以在更小、更便宜的硬件平台上运行。这些模型旨在更节省资源，同时保持或甚至超越了早期更大模型的质量。

图片

图片

这些最新的发展促使NVIDIA创建了Jetson Generative AI Playground，旨在使在边缘计算硬件上运行尖端生成算法变得简单。只需花费几百美元购置硬件，生成AI游乐场就可以让任何人在本地运行基于LLM的聊天机器人或图像生成模型。也许我们终于可以告别旧的“我们正在经历异常高的需求”消息了。

图片

这些教程针对NVIDIA Jetson开发套件的Orin一代，因此使用它将非常顺畅。您也可以尝试将其他Jetson板子工作，但可能会在使用过程中遇到一些问题。目前有三个教程可用，分别是文本生成、图像生成和知识蒸馏。文本和图像生成都相对容易理解——这些指南将帮助您创建自己的聊天机器人或文本到图像的流水线。知识蒸馏是一种更通用的技术，旨在将大型“教师”模型中包含的知识压缩到更适合在边缘硬件上运行的较小“学生”模型中。

图片

即使有了逐步教程，在本地硬件上运行尖端生成AI模型听起来可能会让人感到沮丧。不用担心，NVIDIA已经为我们打包了Docker容器中的软件，所以只需要运行一些命令来下载容器和模型（如LLaMA），然后可能需要优化操作环境。

图片

模型将可供本地使用，甚至有一个漂亮的基于Web的用户界面可供聊天机器人和图像生成器使用。

图片

Jetson Generative AI Playground可以在GitHub上找到：https://nvidia-ai-iot.github.io/jetson-generative-ai-playground/index.html（或者点击阅读原文）。探索未来，玩转AI生成式模型，现在开始吧！