部署教程
这篇文章前几天写过,分享个教程:免费部署DeepSeek,支持调用!还有个免费文生图【基于flux底模】的网站
不过有朋友问是否可以安装个 webui ,通过网页来使用。
我就写一下,前面部分一样,如果有遗漏可以看看上一篇文章。
1.注册腾讯云(如果没有就注册,有就跳过)
传送门:https://curl.qcloud.com/tA0CERrX
2.开通免费 GPU
传送门:https://ide.cloud.tencent.com/dashboard/gpu-workspace
3.进入之后,新建-AI模板-ollama,官方现在有 deepseek 的模板,但是没有 UI 界面,还需要自己安装,所以建议您安装 ollama 。
4.等待大约2-3分钟,点击图标进入
apt install sudo
ollama list
ollama rm llama3
ollama run deepseek-
5.复制粘贴以上命令
等待大约 5 分钟下载模型
6.这个时间可以去 cloudflare 去注册个账号,顺便做一下域名绑定(你要有个域名先,没有就先搞个)
https://dash.cloudflare.com/
你需要先将域名设置好,这块我就不多说了,如果有域名这块都明白。
不用做解析,就先添加到 cf 即可。
7.左侧菜单-Zero Trust-网络-Tunnes
先复制命令,一会粘贴到终端
这里的下一步需要滑块往下滑(有人找不到)
需要注意的是:
6339 是 ollama 调用的端口(API)
6889 是 chatbot 的端口(webui)
可以根据自己的需要来设置,比如上一篇文章我就用的 6889 来做 API 调用。
返回看看模型是否已经下载完成,看我上图中出现 success 就是 OK 了
然后,下面已经出现了对话,这时候需要退出对话。
/bye
8.然后把你刚才复制的 cf 代码粘贴到终端
出现这个提示就是 OK 了
是不是很简单。
现在你已经可以访问你刚才设置的域名了。
如果不能访问去 CF 看看,你的域名是不是绿色的。
好了,点赞吧,兄弟们!
如果还有问题可以留言。
总结一下:1.这个免费额度是 10000 分钟/月,一天大约5小时。2.需手动关机,每天 2 点自动关机。3.官方技术说会在小程序中加入管理功能(什么加不确定)。4. CF 会有延迟,只能说够用。5.模型我装过 14B,可以跑起来,但是会卡。我现在用的是 8B 。
在未来的技术旅程中,腾讯云 Cloud Stuio携手腾讯云 AI 代码助手同行,为你提供免费的 GPU 空间和编码神器,腾讯云 AI 代码助手也将近期支持多模型接入,强烈安利你提前在 IDE 插件市场搜索腾讯云 AI 代码助手,即先下载这款神器——腾讯云 AI 代码助手。下载 Visual Studio Code 在插件市场搜索—腾讯云 AI 代码助手,秒安装,微信秒登录
本文分享自 腾讯云CloudStudio 微信公众号,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!