如何在 NVIDIA Jetson 开发板上运行类似 ChatGPT 的 LLM

语言模型彻底改变了自然语言处理领域，使计算机能够理解和生成与人类相似的文本。其中一个强大的语言模型是由OpenAI开发的ChatGPT。当前市场上有许多AI玩家，包括ChatGPT、Google Bard、Bing AI Chat等等。然而，所有这些模型都需要您与其进行互动时连接互联网。此外，对于在边缘设备（如单板电脑）上运行类似模型以进行离线和低延迟应用的需求不断增长。

本文作者Nurgaliyev Shakhizat受到Nick Bild在他的Hackster帖子中的开创性工作的启发，他探索了VoiceGPT的概念，这是一个利用先进的ChatGPT在Raspberry Pi上的语音助手。

于是在本文中，作者将使用Nvidia Jetson开发板代替Raspberry Pi。Nvidia Jetson开发板以其强大的GPU和紧凑的外形而闻名，为运行复杂的语言模型提供了出色的平台。通过在Nvidia Jetson开发板上运行类似ChatGPT的语言模型，您可以享受到网络延迟降低、增强隐私保护以及在资源受限环境中无需依赖互联网连接使用模型的好处。这就是迈向新境界的实力演进！

原文教程：https://www.hackster.io/shahizat/how-to-run-a-chatgpt-like-llm-on-nvidia-jetson-board-41fd79

概述

想象一下，在NVIDIA Jetson开发板上运行类似ChatGPT的语言模型（LLM）。你可能会问，如何实现呢？嗯，看看下面的硬件示意图，主演们包括Respeaker USB麦克风阵列、强大的NVIDIA Jetson单板计算机以及迷人的蓝牙扬声器。

奇迹就在眼前展开：麦克风阵列轻松捕捉到你的声音，而Jetson开发板则展示其计算能力，对音频数据进行处理。然后，欢呼雀跃！Jetson开发板释放出类似ChatGPT的语言模型，为你的问题瞬间呈现出文字回复。但我们的魔力还未止步，哦不！文字回复还将展开一段激动人心的旅程，通过蓝牙扬声器神奇地转化为声音。

现在，妙不可言的部分来了。整个过程——捕捉音频、生成文字和转换为语音——全部在边缘设备上完成，无需互联网连接。就像拥有你自己的私人AI助手，确保你的隐私，同时避免了发送数据到远程服务器的转折。

还有一点小小的惊喜，看看下方的图片，展示了我设置的精彩演示：强大的Nvidia Jetson开发板、棒呆的麦克风阵列和迷人的蓝牙扬声器。准备好大开眼界了！

语音助手的机器学习管道

让我们揭开语音助手背后的神奇机器学习流程。准备好了吗？我们将一步步解析这个过程，来看看软件图示吧：

• 麦克风输入：我们的冒险从用户的声音通过可靠的麦克风捕捉开始。就像语音助手的耳朵，专心倾听。
• 唤醒检测：现在，我们分析捕捉到的音频，以确定用户是否发出了神奇的唤醒指令。如果检测到指令，就是出发的时候！语音助手焕发活力。但如果没有，它会耐心等待，就像一个卷起的弹簧准备蓄势待发。
• 自动语音识别（ASR）：一旦确认了唤醒指令，音频数据就开始了一段变幻莫测的旅程。它经过自动语音识别（ASR）的神秘领域，将口语转化为书面文字。就像解密一种秘密语言。
• 大型语言模型：ASR赋予的文字是打开Chatbot大型语言模型之门的关键。在这里，被识别的文本进入了强大的语言模型的领域，就像一位擅长对话的大师，准备理解和回应。
• 文本到语音（TTS）：Chatbot语言模型施展魔法，生成了以文本形式呈现的回复。但等等，冒险还没有结束！我们需要将这些文字变成声音。因此，文本回复穿越到了神奇的文本到语音（TTS）系统。经过一点点魔法，文字转化为口语，准备在空中舞动起来。

这就是它！语音助手的机器学习流程中的奇幻之旅，口语变为理解的文字，文字转化为口语。准备好迎接奇迹般的世界了！

如何在 Nvidia Jetson 板上运行大型语言模式

在这个项目中，我们将探索 FastChat 存储库的特性和功能。要在 Nvidia Jetson Xavier NX 板上部署 FastChat 模型(https://github.com/lm-sys/FastChat)，

请执行以下步骤：使用 pip 包管理器安装 Fastchat 库。执行以下命令：

pip3 install fschat

使用 pip 包管理器安装 Fastchat 库。执行以下命令：

python3 -m fastchat.serve.cli --model-path lmsys/fastchat-t5-3b-v1.0

最后，测试的视频如下：

http://mpvideo.qpic.cn/0bc3a4aacaaajyacn4erqvsfab6daedqaaia.f10002.mp4?

代码在 Jetson 板上执行，无需将任何数据传输到云端。尽管该视频演示了初始模型加载和令牌生成的缓慢性能，但我们将探索各种技术来增强您的 Jetson 板的性能。

项目整合

对于这个项目，我使用 Vosk API 集成了唤醒词检测和自动语音识别。然后，使用了 Piper 文本转语音组件。它是使用 FastAPI 实现的，FastAPI 是一个用于快速构建 API 的 Web 框架。当聊天机器人生成响应时，文本将发送到 TTS 模块。FastAPI 接收文本数据，对其进行处理，并将其合成为听起来自然的语音。然后将生成的音频作为响应返回给用户，允许系统通过语音与用户交互。

这是最终结果的演示视频：

http://mpvideo.qpic.cn/0bc3saaaaaaa7uacpzurrnsfbegdaciaaaaa.f10102.mp4?

总的来说，这种语音助手的实现允许理解口头命令和语音，使用聊天机器人处理它们，并生成口头响应，为在 NVIDIA Jetson 板上使用类似 ChatGPT 的大型语言模型的用户提供对话体验。

结论

今天就到这里！我探索了如何在 NVIDIA Jetson 上设置和运行类似 ChatGPT 的大型语言模型，使您能够在本地拥有对话式 AI 功能。这个故事中引用的所有代码都可以在Github 存储库中找到。

https://github.com/shahizat/jetsonGPT

更多项目

利用TensorRT的视觉辅助设备为盲人和视力受损者提供帮助