通过ollama+open webui可视化运行gemma
通过ollama+open webui可视化运行gemma
傅盛说：”AI本质上是个平权工具，它让更多以前离技术很远的人能够很快地用上技术成果“。想要平权，得先用上AI才行。今天给大家介绍一个本地运行大模型的工具ollama，能够让我们方便地运行各种大模型，Open Webui 界面化的管理使用各种大模型。
1.安装ollama
1.1 什么是ollama
ollama是专为在Docker容器中部署LLM而设计的，简化了部署和管理流程，目前它支持的模型如下：
Model | Parameters | Size | Download |
|---|---|---|---|
Llama 2 | 7B | 3.8GB | ollama run llama2 |
Mistral | 7B | 4.1GB | ollama run mistral |
Dolphin Phi | 2.7B | 1.6GB | ollama run dolphin-phi |
Phi-2 | 2.7B | 1.7GB | ollama run phi |
Neural Chat | 7B | 4.1GB | ollama run neural-chat |
Starling | 7B | 4.1GB | ollama run starling-lm |
Code Llama | 7B | 3.8GB | ollama run codellama |
Llama 2 Uncensored | 7B | 3.8GB | ollama run llama2-uncensored |
Llama 2 13B | 13B | 7.3GB | ollama run llama2:13b |
Llama 2 70B | 70B | 39GB | ollama run llama2:70b |
Orca Mini | 3B | 1.9GB | ollama run orca-mini |
Vicuna | 7B | 3.8GB | ollama run vicuna |
LLaVA | 7B | 4.5GB | ollama run llava |
Gemma | 2B | 1.4GB | ollama run gemma:2b |
Gemma | 7B | 4.8GB | ollama run gemma:7b |
也就是说，我们安装了ollama之后，可以轻松地使用这些开源的大模型，ollama也强调了，想要运行这些大模型的硬件要求。
注意：应该至少有8GB的可用内存来运行7B模型，16GB的可用内存来运行13B模型，以及32GB的内存来运行33B模型。
注意：应该至少有8GB的可用内存来运行7B模型，16GB的可用内存来运行13B模型，以及32GB的内存来运行33B模型。
注意：应该至少有8GB的可用内存来运行7B模型，16GB的可用内存来运行13B模型，以及32GB的内存来运行33B模型。
1.2 安装ollama
安装ollama特别简单，直接从官网下载，然后执行安装即可
地址：https://ollama.com/
点击下载，然后进行安装即可
下载，根据提示进行安装即可，安装完成之后，执行
ollama -v显示版本号，代表安装成功
1.3 ollam运行gemma
运行以下命令即可
ollama run gemma:7b如果报错，没有模型，先拉取模型,拉取完成之后再执行。
ollama pull gemma:7b然后再执行上面命令，显示下面内容代表模型gemma已经运行了，可以开始对话了
我们测试一下：
2.安装Open Webui
2.1 安装Docker
docker-desktop：https://www.docker.com/products/docker-desktop/
直接下载安装，然后重启，执行docker -v 显示版本代表安装成功。
2.2 查看ollama运行状态
访问http://127.0.0.1:11434/ 查看ollama的运行状态，显示下图代表运行中，如果不是，执行ollama serve命令。
2.3 安装Open Webui
执行docker命令安装
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main安装完成后，您可以通过http://localhost:3000访问 Open WebUI
至此安装完成
3.Open Webui 运行模型
界面如下
依次选择模型，选择对应的模型后，在3处输入内容即可。
openwebui: https://docs.openwebui.com/getting-started/ ollama github: https://github.com/ollama/ollama ollama官方网站：https://ollama.com/ docker 安装包下载地址：https://www.docker.com/products/docker-desktop/