Jan：20.5K星星！将你的电脑变成AI计算机，使用 OpenAI 端点在本地 100% 运行开源 LLM

Aitrainee | 公众号：AI进修生

🌟Jan 是 ChatGPT 的开源替代品，可在您的计算机上 100% 离线运行。多引擎支持（llama.cpp、TensorRT-LLM）

Github：https://github.com/janhq/jan?tab=readme-ov-file

Hi，这里是Aitrainee，欢迎阅读本期新文章。

今天我们要讨论的是 Jan，这是一款桌面应用程序，可以让你在本地运行开源模型。你还可以连接 OpenAI 或 Groq API 密钥，与在线模型进行对话。简而言之，Jan 可以将所有的 AI 模型集中在一个地方，方便你进行对话。这个应用完全开源，且非常易于使用，只需一键安装，无需终端操作、编码或配置多个文件。你可以在几秒钟内启动并运行。

Jan 的主要功能之一是支持本地运行 AI 模型，如 Llama 或 Mistral，这样可以提高隐私性，不需要互联网连接。如果你需要讨论敏感内容，本地运行模型更为安全。例如，在需要保密的项目中，Jan 的本地模型功能可以确保对话的私密性和安全性。

如果你不需要本地模型，Jan 也可以连接到远程模型，如 OpenAI、Gro 或 Mistral API，这样你就不需要高级硬件来访问这些模型的功能。这种灵活性特别有用，当你需要在线模型的能力但仍希望在必要时切换到本地模型。所有对话内容都存储在本地。此外，Jan 跨平台支持 Mac、Linux 和 Windows，极大地提升了可访问性。

Jan 还提供了 API 端点，方便你在自定义应用程序或其他 AI 应用中使用，这些 API 端点与 OpenAI 兼容，所以你可以与任何支持 OpenAI 模型的应用程序一起使用。你还可以通过扩展选项设置其他功能，例如添加自定义插件以增强 Jan 的功能或将其与其他工具和服务集成。它支持处理 PDF、文档等任何可以解析的文本文件。Jan 有两个内置引擎用于推理：Llama CPP 和 Tensor RT LM，默认使用 Llama CPP。双引擎的设计为模型推理提供了更多的灵活性和选择。你还可以将 Jan 连接到 LM Studio 或 AMA 的端点。

现在让我们安装并试用一下。首先，访问 Jan 的网站并点击下载按钮，选择你的操作系统并下载安装文件。

安装完成后，你会看到界面，看起来非常酷。

你可能会看到提示没有本地模型，点击“Explore the Hub”选项，你会看到多个模型选项，你还可以粘贴 Hugging Face 链接来自动下载模型。我将安装 Llama 3 模型，只需点击下载按钮即可。

下载完成后，点击“Use”按钮，回到聊天页面，你会看到 Llama 3 模型已选中。发送一条“Hello”消息，模型会初始化并生成响应，非常酷。你还可以重命名对话线程，修改助手的指令，并在这里选择不同的模型。此外，还可以在推理设置中调整模型的高级设置，如温度和最大 tokens。

你可以创建新线程，安装更多模型，查看哪些模型适合你的系统。通过粘贴 Hugging Face 链接来设置模型也很方便。Jan 提供了本地 API 服务器，可以通过它公开模型的 API 端点并检查日志，还可以更改 API 端点 URL。

现在教你如何启用 RAG 功能。首先进入设置，打开高级设置，启用实验功能。回到聊天选项，点击附件图标，启用检索功能，附加文件并提出问题，这对想要快速启动模型而无需终端或复杂配置的人来说非常方便。

Jan 允许你在一个地方设置所有的 LLM 提供商，无论是 Gemini、OpenAI、Gro 还是本地模型，只需在下拉菜单中切换模型即可，真是太棒了。我非常喜欢这个应用。

下面提供官方的文档介绍、相关资源、部署教程等，进一步支撑你的行动，以提升本文的帮助力。

Jan 是一个完全离线运行的开源 ChatGPT 替代品。

Jan 兼容任何硬件。 从普通 PC 到多 GPU 集群，Jan 支持多种架构：

• • NVIDIA GPU（速度快）
• • Apple M 系列（速度快）
• • Apple Intel
• • Linux Debian
• • Windows x64

快速链接

Jan

• • Jan 网站
• • Jan GitHub
• • 用户指南
• • 开发者文档
• • API 参考
• • 规格说明

Nitro

Nitro 是一个高效的 C++ 推理引擎，适用于边缘计算。它轻量且可嵌入，可以单独在你的项目中使用。

• • Nitro 网站
• • Nitro GitHub
• • 文档
• • API 参考

故障排除

由于 Jan 仍在开发中，你可能会遇到一些问题。

重置安装方法：

1. 使用以下命令移除任何挂起的后台进程：

ps aux | grep nitro

查找类似 "nitro" 和 "nitro_arm_64" 的进程，并逐一终止：

kill -9 <PID>

2. 从应用程序菜单重新启动 Jan。

更多帮助，请访问 常见问题。

运行要求

Windows

最低要求：

• • Windows 10 x64 或更高版本
• • 8GB 内存
• • 500MB 磁盘空间

推荐要求：

• • NVIDIA GPU，支持 CUDA 10+ 驱动

Mac

最低要求：

• • MacOS 12.6 或更高版本
• • 8GB 内存
• • 500MB 磁盘空间

推荐要求：

• • Apple M 系列芯片

Linux

最低要求：

• • Debian-based 发行版
• • 8GB 内存
• • 500MB 磁盘空间

推荐要求：

• • NVIDIA GPU，支持 CUDA 10+ 驱动

在 Docker 中运行 Jan

运行步骤

1. 克隆仓库：

git clone https://github.com/janhq/jan.git
cd jan

2. 构建 Docker 镜像：

docker build -t jan .

3. 运行容器：

docker run -it jan

4. 访问 Jan：在浏览器中打开 http://localhost:8000 以开始使用 Jan。

视频教程

https://www.youtube.com/watch?v=10DUZA4KEvg&t=5s