傅盛说:”AI本质上是个平权工具,它让更多以前离技术很远的人能够很快地用上技术成果“。想要平权,得先用上AI才行。今天给大家介绍一个本地运行大模型的工具ollama,能够让我们方便地运行各种大模型,Open Webui 界面化的管理使用各种大模型。
ollama是专为在Docker容器中部署LLM而设计的,简化了部署和管理流程,目前它支持的模型如下:
Model | Parameters | Size | Download |
---|---|---|---|
Llama 2 | 7B | 3.8GB | ollama run llama2 |
Mistral | 7B | 4.1GB | ollama run mistral |
Dolphin Phi | 2.7B | 1.6GB | ollama run dolphin-phi |
Phi-2 | 2.7B | 1.7GB | ollama run phi |
Neural Chat | 7B | 4.1GB | ollama run neural-chat |
Starling | 7B | 4.1GB | ollama run starling-lm |
Code Llama | 7B | 3.8GB | ollama run codellama |
Llama 2 Uncensored | 7B | 3.8GB | ollama run llama2-uncensored |
Llama 2 13B | 13B | 7.3GB | ollama run llama2:13b |
Llama 2 70B | 70B | 39GB | ollama run llama2:70b |
Orca Mini | 3B | 1.9GB | ollama run orca-mini |
Vicuna | 7B | 3.8GB | ollama run vicuna |
LLaVA | 7B | 4.5GB | ollama run llava |
Gemma | 2B | 1.4GB | ollama run gemma:2b |
Gemma | 7B | 4.8GB | ollama run gemma:7b |
也就是说,我们安装了ollama之后,可以轻松地使用这些开源的大模型,ollama也强调了,想要运行这些大模型的硬件要求。
注意:应该至少有8GB的可用内存来运行7B模型,16GB的可用内存来运行13B模型,以及32GB的内存来运行33B模型。
注意:应该至少有8GB的可用内存来运行7B模型,16GB的可用内存来运行13B模型,以及32GB的内存来运行33B模型。
注意:应该至少有8GB的可用内存来运行7B模型,16GB的可用内存来运行13B模型,以及32GB的内存来运行33B模型。
安装ollama特别简单,直接从官网下载,然后执行安装即可
地址:https://ollama.com/
点击下载,然后进行安装即可
下载,根据提示进行安装即可,安装完成之后,执行
ollama -v
显示版本号,代表安装成功
运行以下命令即可
ollama run gemma:7b
如果报错,没有模型,先拉取模型,拉取完成之后再执行。
ollama pull gemma:7b
然后再执行上面命令,显示下面内容代表模型gemma已经运行了,可以开始对话了
我们测试一下:
docker-desktop:https://www.docker.com/products/docker-desktop/
直接下载安装,然后重启,执行docker -v 显示版本代表安装成功。
访问http://127.0.0.1:11434/ 查看ollama的运行状态,显示下图代表运行中,如果不是,执行ollama serve命令。
执行docker命令安装
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
安装完成后,您可以通过http://localhost:3000访问 Open WebUI
至此安装完成
界面如下
依次选择模型,选择对应的模型后,在3处输入内容即可。
openwebui: https://docs.openwebui.com/getting-started/ ollama github: https://github.com/ollama/ollama ollama官方网站:https://ollama.com/ docker 安装包下载地址:https://www.docker.com/products/docker-desktop/