llama3&open-webui快速实现本地模型搭建

前言

最近工作生活中经常使用一些人工智能来提升效率，用处最多的感觉还是写一些工具类，就算写的不如意，自己稍微调整也可以很快支持；再就是一些命令，有时长时间不用会淡忘，这时候有ai模型去提示感觉效率很高；

准备工作

本机参数

运行机器参数

ollama下载

下载地址：https://ollama.com/

ollama下载

下载后直接一直无脑下一步就好，完成后访问http://localhost:11434/

看到此图就表示成功了

成功访问看到running就表示运行成功了

docker桌面下载

下载地址：https://www.docker.com/products/docker-desktop/

docker下载会自动识别你的系统

下载完成后启动运行，可以看到如下界面

docker桌面

搜索框搜open-webui tag:找ollama版本即可，直接按照我图里的无脑搞就行

安装好open-webui 有界面更友好

安装好镜像后，可以启动容器了

容器启动 接口可以自己指定下 我这里从容器的8080指定到本地的3000端口

其他参数我没有修改，启动只是映射了下端口，容器启动成功后可以访问指定的3000端口：http://localhost:3000/

open-webui界面展示

到这步基本准备工作就完成了大部分，但这里还只是一个空壳，没有模型还不能开始问答

模型下载

ollama提供了很充足的模型下载

模型下载地址

点击这里可以找到很多有用的模型

可以搜索自己想要的模型测试，不过新出的llama3对中文支持还不是太好，大家可以直接搜索

llama3-8b-chinese-chat-ollama-q8

这个模型是对llama3进行了中文微调后的模型，相对对中文比较友好

模型名称粘贴在这里后点击下载 等待下载完成后即可开始聊天

一般小型模型也得几个G，下载需要一会时间等待，下载完成在webui首页就可以选择开始使用了；

本地模型使用

勾选已经下载好的模型

可以看到首页下拉框中可以选择我们已经下载好的模型

写一个冒泡

开始本地模型测试，断网后也可以离线使用了，完全不用担心信息外泄，不过一般个人电脑也仅仅是运行起来，速度比较慢，只能满足下自己日常的好奇心，真正要投入生产还是需要一个不错的机器才行，自己也可以下一些响应速度更快的mini模型测试

接口调用的使用方式

以上展示了使用open-webui和Ollama联动使用的示例；

Ollama也提供接口直接调用的方式使用，方便二次开发：

curl http://localhost:11434/api/generate -d '{
  "model": "phi3",
  "prompt":"你好，写个冒泡"
}'

总结

本地模型搭建基本能满足自己日常工作需求，只是速度相对比较慢，但胜在免费使用，如果公司有接口需求，也好扩展使用