1登录腾讯云
https://cloud.tencent.com/ 右上角免费注册,如图1所示。
搜索输入:HAI,或直接登录https://cloud.tencent.com/product/hai 如图2所示。
点击图3高性能应用服务的立即使用。
弹出图4的算力管理,新建或者1元体验均可
新建是购买高性能的服务(依据自己的需求购买),如图5所示。
图6为1元体验。
建议先进行1元体验,知道操作流程了,然后再进行购买。购买后注意不使用的时候云上要关机。
2、系统安装与整理
新建购买或者1元体验deepseek ,大约等待5分钟左右,会出现系统,如图7所示,东京代表服务器存放地址,运行中代表系统正运行,点击图7箭头指向处即可。
在弹出的界面中点击图8的终端连接,第一次进行终端连接请先重置密码
弹出新的界面,此时输入 ollama list 查看有deepseek-r1:1.5b,7b,8b。
进行deepseek-r1:14b安装需输入 ollama run deepseek-r1:14b 然后安装时间大概7分钟左右。
安装好后,查询 再次输入ollama list,如图10所示,此时出现了deepseek-r1:14b说明安装成功。
由于安装了deepseek-r1:14b,其他的3个可以删除,如图11所示,删除命令为:
(base) root@VM-0-16-ubuntu:~# ollama rm deepseek-r1:1.5b
(base) root@VM-0-16-ubuntu:~# ollama rm deepseek-r1:7b
(base) root@VM-0-16-ubuntu:~# ollama rm deepseek-r1:8b
查询后只有deepseek-r1:14b了。
回到算力管理 界面点击 ChatbotUI,如图12所示。
启动等待1分钟左右,模型有deepseek-r1:14b了
此时在对话框中输入问题即可进行推理测试。
3、本地调用大模型
到Chatbox官网https://chatboxai.app/zh下载安装相应版本。如图16下载
然后安装好后,点击设置,模型选择OLLAMA API,API域名填写公网IP,然后输入:6399,注意冒号是英文状态输入,如图17 18所示。
点击保存后,右下角出现deepseek-r1:14b,即选择了deepseek-r1:14b版本,对话框输入查询内容即可,如图19所示。
4、感想
整个流程较流畅,特别是安装deepseek-r1:14b版本,本地API接入运行也较流畅。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。