前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >使用ollama本地部署开源大模型

使用ollama本地部署开源大模型

作者头像
yichen
发布2024-03-05 14:54:09
2.2K0
发布2024-03-05 14:54:09
举报
文章被收录于专栏:陈冠男的游戏人生

chatGPT 刚出来没多久的时候,openai 时不时的限制使用频率,当时我想要是能本地部署一个大模型,无限制的使用该多好哇。后来有很多团队/公司陆陆续续在 github 开源了他们自己训练的大模型,但是部署使用的操作门槛比较高,曾经试图部署过一个,报了几个错也没时间折腾就放弃了

前几天我发现了一个叫 ollama 的项目,根据介绍,一条命令就能跑起来一个大模型,因此实际体验了一下,项目地址:

https://github.com/ollama/ollama

先说一下使用体验,极其丝滑,完全没有报错,感觉就像是刚开始学 web 安全,需要自己搭漏洞复现环境的我,遇到了 vulhub 这个项目哈哈哈哈

接下来是部署指南:

首先去 github 的 release 页面下载一个编译好的程序并安装

https://github.com/ollama/ollama/releases

安装好之后直接在命令行执行ollama run llama2就会自动去下载并运行 llama2 这个模型,下载甚至不需要挂代理,很舒适:

等模型下载结束后会自动进入命令行的交互模式,此时就已经部署结束了

可以在:https://ollama.com/library 找到更多的模型

但是在命令行中直接交互里很多格式解析不出来,看起来怪怪的,可以使用 chatbot-ollama 这个项目部署一个 webUI,这样就可以在聊天框里面调用模型对话了,项目地址:

https://github.com/ivanfioravanti/chatbot-ollama

这个项目部署起来也很简单,只要电脑上装有 npm(直接安装 nodejs,会附带安装 npm),然后下载 chatbot-ollama 项目到本地,在文件夹中依次执行这两条命令即可:

代码语言:javascript
复制
npm ci
npm run dev

此时会自动打开一个 127.0.0.1:3000 的网页,然后愉快的使用吧!

此外,你还可以配合翻译插件进行本地AI翻译,openai-translator 这个项目原本是使用在线模型的 API 进行翻译的,但目前也支持了 ollama,项目地址:

https://github.com/openai-translator/openai-translator

直接去 release 下载安装包后运行,在设置中选择本地大模型,并选择 API 模型为你已经下载好的本地模型保存即可

使用效果:

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2024-02-29,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 陈冠男的游戏人生 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档