Ollama Windows preview：羊驼更新Windows预览版，一条命令行就能本地跑llama2

引言：

大型语言模型（LLMs）已经成为研究和商业应用的热点，Ollama，作为一个创新的AI工具，现在推出了Windows预览版，为Windows用户提供了一个全新的本地化体验。

用户能够在原生的Windows环境中拉取、运行和创建大语言模型。该版本支持英伟达的GPU，并需要CPU支持AVX和AVX2等指令集。Ollama利用NVIDIA GPU和现代CPU指令集来加速模型运行，无需额外的配置或虚拟化。目前该版本还在开发中，计划未来支持AMD GPU。如果用户有能力，也可以直接从源码构建支持AMD GPU的版本。Windows版的Ollama包括内置的GPU加速、访问完整的模型库，以及包括OpenAI兼容性在内的Ollama API。

本文将详细介绍Ollama on Windows Preview的运行使用。

项目地址：

https://github.com/ollama/ollama?tab=readme-ov-file

功能详情：

1.硬件加速与兼容性：

Ollama利用NVIDIA GPU和现代CPU指令集（如AVX和AVX2）来加速模型运行，无需额外配置或虚拟化。这使得Ollama在Windows上的运行效率大大提高。同时，Ollama的API设计允许与OpenAI的现有工具兼容，为用户提供了更多的灵活性。

2.完整的模型库：

Ollama为用户提供了完整的模型库，包括视觉模型。这意味着用户可以在Windows上运行如LLaVA 1.6等视觉模型，并通过拖放图片的方式将图像添加到消息中。

3.常驻API：

Ollama的API在后台自动运行，服务地址为`http://localhost:11434`。

这使得工具和应用程序可以无需额外设置即可连接到API。

如何使用：

1.下载安装Ollama：

首先，下载Windows 上的 Ollama。

双击安装程序OllamaSetup.exe

安装完成后，系统右下角要有“羊驼”logo，如果没有请运行它。

2.本地模型下载运行：

然后，我们可以直接“Win+R”运行“cmd”命令行，

或者启动“Windows PowerShell ”打开命令行终端工具。

随后，我们可以通过简单的命令行操作来运行本地模型。

我们运行名为`llama2`的模型，只需在终端中输入：

“ollama run llama2” 终端会自动下载llama2模型并运行。

下次我们启动依然需要运行“ollama run llama2”加载模型。

下载完成后，我们就可以直接在命令行工具中进行对话了。

速度非常快，但我发现llama2对中文的支持并不友好。

对此我修改下载的模型为中文微调模型“ollama run llama2-chinese”

下次我们启动依然需要运行“ollama run llama2-chinese”加载模型。

下面是支持的模型列表，和中文微调模型，大家可以自行选择下载。

官方提示注意：运行 7B 机型至少需要 8GB 内存，运行 13B 机型至少需要 16GB 内存，运行 33B 机型至少需要 32GB 内存。

3.PowerShell API调用：

用户还可以通过PowerShell发送API请求，例如，使用以下命令来调用Ollama的API：

(Invoke-WebRequest -method POST -Body '{"model":"llama2", "prompt":"Why is the sky blue?", "stream": false}' -uri http://localhost:11434/api/generate ).Content | ConvertFrom-json

这将发送一个包含模型名称、提示信息和流设置的JSON对象到Ollama的API，并接收响应。

总结：

Ollama on Windows Preview的推出，为Windows用户带来了在本地运行大型语言模型的便利。它的硬件加速功能、完整的模型库和常驻API为用户提供了强大的支持。同时，与OpenAI的兼容性使得现有的工具和应用程序能够无缝集成。尽管目前Ollama还在预览阶段，但它已经展现出了巨大的潜力和应用前景。随着技术的不断进步和社区的积极参与，Ollama有望成为AI领域的一个重要工具。我们期待看到更多开发者和研究者利用Ollama创造出令人兴奋的AI应用。

完over.