GPT4All 3.0版 ：66.5K 星星！最简单的本地 LLM 前端 - 无需 API 调用或 GPU、本地&私人

Aitrainee | 公众号：AI进修生

🌟GPT4All：在任何设备上与本地 LLM 聊天。

https://github.com/nomic-ai/gpt4all/

Hi，这里是Aitrainee，欢迎阅读本期新文章。

在人工智能领域，一年的时间可以带来巨大的变化。如果一个项目能存活超过一个月，那么它必定具有某些独特的优势。GPT4All 已经运行了一整年，仍然是 GitHub 上最受欢迎的项目之一。

在本文中，我将重新审视 GPT4All，尤其是其最新发布的版本 3，这个版本不仅使用简单，还具备丰富的功能。我们将本地安装它，并进行一些操作演示。顺便提一下，GPT4All 有两个版本：桌面应用程序和 Python SDK。在本文中，我们将展示桌面应用程序。

GPT4All 是完全私密的桌面应用程序。去年，我对它进行了评测，当时我对它的表现非常满意。它不仅在 Linux 和 Mac 上运行顺畅，在 Windows 上也表现出色。

如今，一年过去了，它仍然可以在任何操作系统和设备上运行。当我们说“任何设备”时，指的是任何计算机。虽然你可以在 CPU 上运行 GPT4All，但为了获得更好的性能，特别是在进行推理或检索增强生成时，建议使用 GPU。

版本 3 支持数千个模型，并适用于所有主流操作系统。它的用户界面和用户体验得到了显著改进。此外，它采用 MIT 许可证，允许你使用 Nomic Embed 提供的本地文档聊天功能。

这一版本标志着 GPT4All 项目一周年，带来了全面的界面和本地文档用户体验的重新设计。当前，它已经拥有 25 万月活跃用户，6.6 万个 GitHub 星标，以及 7 万次 Python SDK 下载，足以证明它的持久魅力。

要安装 GPT4All，只需访问其 GitHub 仓库或官方网站，根据你的操作系统选择相应的安装文件。

我正在使用 Ubuntu，所以我选择了相应的运行文件。下载完成后，打开下载的文件夹，双击运行文件，按照提示完成安装。整个安装过程大约需要 30 到 40 秒。安装完成后，可以通过终端或桌面快捷方式启动应用程序。

启动后，你可以选择安装一个模型，例如 Llama 3 instruct。下载完成后，你可以开始与模型进行本地聊天，这不需要互联网连接。你可以调整应用程序的主题、字体大小，并根据需要配置其他设置。

GPT4All 还支持本地文档功能，即你可以与自己的文档进行对话。这背后的技术是检索增强生成（RAG），它使用 Nomic Embed 模型将文档索引为文本片段，并生成向量以便进行语义匹配。

你可以创建一个文档集合，并将自己的文档添加到其中，应用程序会自动进行索引和嵌入。之后，你可以通过 GPT4All 与这些文档进行对话。

总的来说，GPT4All 是一个非常易用且界面友好的本地大型语言模型前端。它的隐私性和多功能性使其成为许多用户的首选。

下面提供官方的文档介绍、相关资源、部署教程等，进一步支撑你的行动，以提升本文的帮助力。

安装 GPT4All Python

gpt4all 通过我们的 Python 客户端提供对 LLM 的访问，该客户端基于 llama.cpp 实现。

Nomic 致力于开源项目，如 llama.cpp，以确保 LLM 对所有人都可用且高效。

pip install gpt4all

from gpt4all import GPT4All
model = GPT4All("Meta-Llama-3-8B-Instruct.Q4_0.gguf") # 下载并加载一个 4.66GB 的 LLM
with model.chat_session():
    print(model.generate("如何在我的笔记本电脑上高效运行 LLM？", max_tokens=1024))

集成

:parrot::link: Langchain :card_file_box: Weaviate 向量数据库 - 模块文档 :telescope: OpenLIT (OTel-native Monitoring) - 文档

版本历史

• • 2024年7月2日：V3.0.0 版本发布
  • • 聊天应用程序 UI 全新设计
  • • 改进了 LocalDocs 的用户工作流程
  • • 扩展了更多模型架构的访问
• • 2023年10月19日：GGUF 支持发布
  • • 添加了 Mistral 7b 基础模型，gpt4all.io 上的新模型，以及多个本地代码模型，包括 Rift Coder v1.5
  • • Nomic Vulkan 支持 GGUF 中的 Q4_0 和 Q4_1 量化
  • • 支持离线构建以运行旧版本的 GPT4All 本地 LLM 聊天客户端
• • 2023年9月18日：Nomic Vulkan 发布，支持在 NVIDIA 和 AMD GPU 上进行本地 LLM 推理
• • 2023年7月：稳定支持 LocalDocs，允许私密本地数据聊天
• • 2023年6月28日：发布基于 Docker 的 API 服务器，允许通过 OpenAI 兼容的 HTTP 端点进行本地 LLM 推理

在 Python 代码中使用 GPT4All 在本地管理 LLM：
https://www.youtube.com/watch?v=ghMrvVaCta4