Podman Lab帮助开发者开启GenAI

与许多用于构建生成式 AI 应用程序的工具不同，Podman AI Lab 是专门为开发者而非数据科学家构建的。

译自 Red Hat Podman 'Lab' Gets Developers Started on GenAI，作者 Joab Jackson。

Podman，Red Hat 的 桌面工具，用于 管理容器 Pod，已获得扩展职责，即为开发者提供一个工作空间来构建基于生成式 AI 的应用程序。

与许多用于构建生成式 AI 工具的工具不同，Red Hat 断言，此工具是专门为开发者构建的，而不是为数据科学家构建的。这里对训练模型的支持不多。相反，用户需要围绕已通过 API 提供并打包为 微服务 的开源模型构建代码。

Podman AI 实验室 为开发者提供了在本地计算机上构建生成式 AI 应用程序的能力，并在准备就绪后将其发送到 OpenShift/ Kubernetes 在一组容器中部署。

Red Hat 首席技术官办公室的数据科学家 Michael Clifford 上周在丹佛举行的红帽峰会上的一次会议上表示：“能够在自己的笔记本电脑上构建和测试应用程序，‘让您作为一名开发者拥有速度、自由和安全性，可以立即开始破解一些东西’”。AI 实验室“让事情非常容易地适应人们已经熟悉的现有开发范例。并且让将事物放入云中变得更加容易”。

与 Docker Desktop 类似，Podman 本身提供了一种方法，可以轻松地将代码从本地开发环境（例如 VS Code）移到 Kubernetes/OpenShift 操作环境中。因此，对于 Red Hat 来说，这是一个推出 AI 应用程序的自然平台。

为了让开发人员的工作变得更加轻松，AI 实验室有一个示例应用程序的配方目录，其中包括：

• 聊天机器人
• 文本摘要
• 代码生成器
• 对象检测
• 音频转文本转录

这些都是功能非常强大的模板，尽管它们并非设计为按原样使用。源代码可用于检查和针对其进行自定义。每个配方都是从现有模型构建的，并具有用于交互的 API。Red Hat 希望围绕这些配方形成一个社区，并且随着时间的推移会创建更多配方。

该项目源于客户要求，即为开发目的找到一种在台式机上运行 LLM 的方法。

Clifford 解释说，过去几年中的一项不错的 AI 进步是，您不再需要为某些特定用途训练自己的模型。相反，您可以在通用模型周围构建应用程序。

当然，有流行的商业模型，例如 OpenAI，但也有越来越多的开源模型（Clifford 在最近的统计中统计了超过 90,000 个 公开可用的语言模型）。

Stevan Le Meur 解释了开发人员 AI 工作流以及它如何与 Podman 配合使用。

开始使用 Podman AI 实验室

Podman AI 实验室界面提供了一个开源模型目录供下载，其中包括大多数开源模型，例如 GGUF、Pytorch 或 Tensorflow。用户还可以导入自己的模型。

在 Podman 中下载模型。

这些模型不包含在容器中。相反，它们在运行时通过单独挂载存储卷来添加。这允许您在运行时交换模型。

Red Hat 首席产品经理 Stevan Le Meur 在自己的峰会演讲中解释说，所有这些构思和原型制作都需要一些工作，“我需要找到合适的模型来完成我的应用程序”，“哪种模型最适合我的用例？”

一旦选择了一个模型，用户就可以在自己的计算机上启动一个推理服务器。所有模型服务器都构建在 Linux 通用基础映像（UBI）为基础，以实现最大的兼容性。许多服务都包含了对硬件加速器的支持，例如 Llama.cpp、Nvidia 和 AMD。

该扩展还提供了一个测试不同模型的游乐场，允许开发人员在不同任务上尝试不同的模型。

这些食谱展示了可以从这些模型中整理出什么样的功能。“我们尝试提供一些示例，激发你对在自己的应用程序中可以做什么的灵感，”Le Meur 说。

人工智能的未来

人工智能实验室是 Podman Desktop 的众多扩展之一，它本身基于 符合 OCI 的 Podman 容器引擎。还有用于在本地运行 K8s 的 minikube 副本、OpenShift 的本地主机以及用于制作 可引导容器 的扩展。

然而，Podman AI 与红帽的整体人工智能战略非常契合，该战略旨在支持构建人工智能应用程序的各种方法。

人工智能的未来“不会由单一供应商使用单一模型构建。它将是开源的，” 红帽首席执行官 Matt Hicks 在峰会上发表主题演讲时 说。