正文共:1127字 15图 预计阅读时间:3分钟
▼
【导读】 谷歌最近发布了新一代开源AI模型Gemma,本期为大家介绍如何在自己电脑上安装运行(需要对Docker使用有一定的基础)
功能介绍
此次发布的 Gemma 相比自家的 Gemini 更加轻量级,模型权重也一并开源。不仅可以在笔记本电脑上运行,而且还免费可商用,支持中文。运行速度飞快。具体细节可以参考其他博主的介绍文章
工具安装
这里我以苹果MacbookPro 为基础来介绍,Windows安装过程类似。
这里使用Ollama+Open-webui的方式快速安装,两个项目的地址
https://github.com/jmorganca/ollama
https://github.com/open-webui/
直接下载对应平台的安装包,安装完成后启动应用。
ollama中提供了大量的模型供下载。可以看到gemma排第一个
这里我们使用7b参数版本,把下面这条命令复制到你的终端,回车,运行即可,等待模型下载完毕,系统就会自动运行了,然后你可以在终端输入你的提示词进行和大模型交互了
ollama run gemma:7b
终端中使用毕竟不方便,我们可以使用open-webui来进行可视化操作,下面来安装
open-webui
安装需要docker,Docker的安装方式可以参考其他文章,项目主页中也有对应介绍
把下面这条命令复制到你的终端,启动open-webui容器,启动完成后,就可以在浏览器中通过http://localhost:3000/ 来访问了
最上方可以选择模型类型,选择gemma7b后就可以愉快的本地聊天了!
测试一下中文,目前支持的不是很好。但是好在速度飞快
后面如果想要再次启动,只需双击启动Ollama,然后再启动Docker容器就可以了
总结
Gemma本地就可以运行,不需要上传至云端处理,全部离线本地就可以操作完成。不用担心隐私问题。速度很快,很旧的电脑都能跑起来。2b版本在手机端也可以运行。
项目地址
https://github.com/jmorganca/ollama
https://github.com/open-webui/
领取专属 10元无门槛券
私享最新 技术干货