本地运行Llama 2的三大开源工具指南

文章正文markdown格式数据

本地运行Llama 2的综合指南

我们已经讨论了很多如何在某机构上运行和微调Llama 2。但你也可以在M1/M2 Mac、Windows、Linux甚至手机上本地运行Llama。本地运行Llama 2的一个很酷的地方在于，你甚至不需要互联网连接。

以下是一个使用本地运行的Llama 2来快速创建一个关于羊驼为何很酷的网站的例子：

Llama 2发布仅几天，就已经有了一些在本地运行它的技术。在这篇博客中，将介绍三种可以在你自己的设备上运行Llama 2的开源工具：

• Llama.cpp (Mac/Windows/Linux)
• Ollama (Mac)
• MLC LLM (iOS/Android)

Llama.cpp (Mac/Windows/Linux)

Llama.cpp是Llama的C/C++移植版本，这使得在Mac上使用4位整数量化本地运行Llama 2成为可能。当然，Llama.cpp也支持Linux/Windows。

以下是在你的M1/M2 Mac上安装的一行命令：

curl -L "https://replicate.fyi/install-llama-cpp" | bash

这行命令执行的操作是：

#!/bin/bash

# 克隆 llama.cpp 仓库
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp

# 构建项目。`LLAMA_METAL=1` 允许在GPU上执行计算
LLAMA_METAL=1 make

# 下载模型
export MODEL=llama-2-13b-chat.ggmlv3.q4_0.bin
if [ ! -f models/${MODEL} ]; then
    curl -L "https://huggingface.co/TheBloke/Llama-2-13B-chat-GGML/resolve/main/${MODEL}" -o models/${MODEL}
fi

# 设置提示词
PROMPT="Hello! How are you?"

# 以交互模式运行
./main -m ./models/llama-2-13b-chat.ggmlv3.q4_0.bin \
  --color \
  --ctx_size 2048 \
  -n -1 \
  -ins -b 256 \
  --top_k 10000 \
  --temp 0.2 \
  --repeat_penalty 1.1 \
  -t 8

以下是在你的Intel Mac或Linux机器上的一行命令。与上面相同，但不包含LLAMA_METAL=1标志：

curl -L "https://replicate.fyi/install-llama-cpp-cpu" | bash

以下是在Windows的WSL上运行的一行命令：

curl -L "https://replicate.fyi/windows-install-llama-cpp" | bash

Ollama (Mac)

Ollama是一个开源的macOS应用程序（适用于Apple Silicon），它让你可以通过命令行界面运行、创建和共享大型语言模型。Ollama已经支持Llama 2。

要使用Ollama CLI，请在ollama.ai/download下载macOS应用程序。安装完成后，无需注册账户或加入任何等候列表即可下载Lllama 2。在你的终端中运行：

# 下载 7B 模型 (3.8 GB)
ollama pull llama2

# 或者下载 13B 模型 (7.3 GB)
ollama pull llama2:13b

然后你可以运行模型并与之对话：

ollama run llama2
>>> hi
Hello! How can I help you today?

注意：Ollama建议至少拥有8 GB RAM来运行3B模型，16 GB运行7B模型，32 GB运行13B模型。

MLC LLM (在手机上运行Llama)

MLC LLM是一个开源项目，它使得在各种设备和平台（包括iOS和Android）上本地运行语言模型成为可能。

对于iPhone用户，App Store上有一个MLC聊天应用程序。MLC现在已经支持Llama 2的7B、13B和70B版本，但它仍处于测试阶段，尚未上线Apple Store版本，因此你需要安装TestFlight来试用。查看此处安装测试版的说明。

后续步骤

• 在Twitter X上关注我们，获取来自Llamaverse的最新消息。
• 很乐意看到你构建的项目。加入我们的Discord并与社区分享。
• 某机构让你在云端运行机器学习模型。在某机构上通过API运行Llama 2。
• 在某机构上微调Llama 2

祝你玩得开心！🦙FINISHED