Ollama+GGUF离线加载本地模型

一般在使用Ollama下载模型时，都是从Ollama官方仓库下载（使用ollama run命令），但一些环境下，受限于网速等原因使用这种方式可能会非常慢甚至无法下载，所以我们可以选择使用Huggingface上的GGUF文件，在Ollama仓库里的模型都可以在Huggingface上找到，因此我们可以使用Ollama+GGUF文件离线加载模型。

一、获取GGUF模型文件

GGUF文件是大模型训练的结果文件，在Huggingface上有官方或个人上传，我们可以登录到Huggingface进行搜索，例如搜索Qwen2，可以在Files and versions栏看到许多版本的gguf文件，它们大小不同，说明对应的模型效果也不同，一般会在README.md中有对各个版本的解释。

上述gguf文件列表中，选择其中一个自己想要的文件下载即可。文件越小，运行时，响应速度越快，精度也就越低。

二、创建Modelfile文件

下载好gguf文件后，再自己创建一个Modelfile文件，文件内容写一句话即可，主要为表示gguf模型文件的路径，路径根据自己的实际情况写。

FROM ./your-model-path.gguf

比如我放在了同一个文件夹内，写成下面这样即可

三、Ollama创建模型

进行完上面的配置，就可以再Ollama中创建本地模型了，可以打开终端运行下面命令，model-name自行决定，-f后指定刚刚创建Modelfile的路径

ollama create model-name -f Modelfile

创建成功后可以使用下面命令检查Ollama中是否已有模型。

Ollama list

四、Ollama运行模型

创建模型成功后就可以在运行起来了

ollama run model-name