cortex
Cortex 是一个与 OpenAI 兼容的本地 AI 服务器,开发人员可以使用它来构建大型语言模型(LLM)应用。它附带一个受 Docker 启发的命令行界面和一个 Typescript 客户端库。它可以作为一个独立的服务器使用,也可以作为一个库导入。
Github地址
https://github.com/janhq/cortex
Cortex 目前支持两种推理引擎:
• Llama.cpp
• TensorRT-LLM
在开始安装 Cortex 之前,需要确保已经安装了以下依赖:
• Node.js:需要 18 版或以上的版本来运行安装程序。
• NPM:用于管理包。
• CPU 指令集:可以从 Cortex GitHub Releases 页面下载。
此外,还需要确保你的系统满足以下运行 Cortex 的要求:
• 操作系统:MacOSX 13.6 或更高、Windows 10 或更高、Ubuntu 12.04 或更高。
• 内存(CPU 模式):8GB 可以运行高达 3B 的模型,16GB 可以运行高达 7B 的模型,32GB 可以运行高达 13B 的模型。
• 显存(GPU 模式):6GB 可以加载 3B 模型(int4),8GB 可以加载 7B 模型(int4),12GB 可以加载 13B 模型(int4)。
• 磁盘:至少需要 10GB 的空间用于应用和模型的下载。
要安装 Cortex CLI,可以按照以下步骤操作:
1. 全局安装 Cortex NPM 包:npm i -g @janhq/cortex
2. 从 Hugging Face 下载 GGUF 模型:cortex pull llama3
3. 加载模型:cortex models start llama3:7b
4. 开始与模型聊天:cortex chat tell me a joke
要从源代码安装 Cortex,可以按照以下步骤操作:
1. 克隆 Cortex 仓库。
2. 导航到 cortex-js 文件夹。
3. 打开终端并运行以下命令来构建 Cortex 项目:npx nest build
4. 使 command.js 可执行:chmod +x '[path-to]/cortex/cortex-js/dist/src/command.js'
5. 全局链接包:npm link
要卸载 Cortex,可以运行以下命令:npm uninstall -g @janhq/cortex
领取专属 10元无门槛券
私享最新 技术干货