首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

【谷歌Gemma】新一代开源AI模型快速本地安装教程

正文共:1127字 15图   预计阅读时间:3分钟

导读】 谷歌最近发布了新一代开源AI模型Gemma,本期为大家介绍如何在自己电脑上安装运行(需要对Docker使用有一定的基础)

功能介绍

此次发布的 Gemma 相比自家的 Gemini 更加轻量级,模型权重也一并开源。不仅可以在笔记本电脑上运行,而且还免费可商用,支持中文。运行速度飞快。具体细节可以参考其他博主的介绍文章

工具安装

这里我以苹果MacbookPro 为基础来介绍,Windows安装过程类似。

这里使用Ollama+Open-webui的方式快速安装,两个项目的地址

https://github.com/jmorganca/ollama

https://github.com/open-webui/

直接下载对应平台的安装包,安装完成后启动应用。

ollama中提供了大量的模型供下载。可以看到gemma排第一个

这里我们使用7b参数版本,把下面这条命令复制到你的终端,回车,运行即可,等待模型下载完毕,系统就会自动运行了,然后你可以在终端输入你的提示词进行和大模型交互了

ollama run gemma:7b

终端中使用毕竟不方便,我们可以使用open-webui来进行可视化操作,下面来安装

open-webui

安装需要docker,Docker的安装方式可以参考其他文章,项目主页中也有对应介绍

把下面这条命令复制到你的终端,启动open-webui容器,启动完成后,就可以在浏览器中通过http://localhost:3000/ 来访问了

最上方可以选择模型类型,选择gemma7b后就可以愉快的本地聊天了!

测试一下中文,目前支持的不是很好。但是好在速度飞快

后面如果想要再次启动,只需双击启动Ollama,然后再启动Docker容器就可以了

总结

Gemma本地就可以运行,不需要上传至云端处理,全部离线本地就可以操作完成。不用担心隐私问题。速度很快,很旧的电脑都能跑起来。2b版本在手机端也可以运行。

项目地址

https://github.com/jmorganca/ollama

https://github.com/open-webui/

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OJcxQ8U2OyVFXaIN4Sf_wuXw0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券