部署DeepSeek模型,进群交流最in玩法!
立即加群
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >基于腾讯云HAI的高效部署与优化:本地API运行DeepSeek-R1:14B模型

基于腾讯云HAI的高效部署与优化:本地API运行DeepSeek-R1:14B模型

原创
作者头像
大明者省
修改2025-03-23 21:09:02
修改2025-03-23 21:09:02
700
举报

1登录腾讯云

https://cloud.tencent.com/ 右上角免费注册,如图1所示。

图1 登录腾讯云
图1 登录腾讯云

搜索输入:HAI,或直接登录https://cloud.tencent.com/product/hai 如图2所示。

图2 输入HAI 进行搜索
图2 输入HAI 进行搜索

点击图3高性能应用服务的立即使用。

图3 高性能应用服务
图3 高性能应用服务

弹出图4的算力管理,新建或者1元体验均可

图4 高性能应用服务建立
图4 高性能应用服务建立

新建是购买高性能的服务(依据自己的需求购买),如图5所示。

图5 购买服务
图5 购买服务

图6为1元体验。

图6 1元体验
图6 1元体验

建议先进行1元体验,知道操作流程了,然后再进行购买。购买后注意不使用的时候云上要关机。

2、系统安装与整理

新建购买或者1元体验deepseek ,大约等待5分钟左右,会出现系统,如图7所示,东京代表服务器存放地址,运行中代表系统正运行,点击图7箭头指向处即可。

图7 系统运行
图7 系统运行

在弹出的界面中点击图8的终端连接,第一次进行终端连接请先重置密码

图8 登录终端连接
图8 登录终端连接

弹出新的界面,此时输入 ollama list 查看有deepseek-r1:1.5b,7b,8b。

进行deepseek-r1:14b安装需输入 ollama run deepseek-r1:14b 然后安装时间大概7分钟左右。

图9 安装deepseek-r1:14b
图9 安装deepseek-r1:14b

安装好后,查询 再次输入ollama list,如图10所示,此时出现了deepseek-r1:14b说明安装成功。

图10 安装成功deepseek-r1:14b
图10 安装成功deepseek-r1:14b

由于安装了deepseek-r1:14b,其他的3个可以删除,如图11所示,删除命令为:

(base) root@VM-0-16-ubuntu:~# ollama rm deepseek-r1:1.5b

(base) root@VM-0-16-ubuntu:~# ollama rm deepseek-r1:7b

(base) root@VM-0-16-ubuntu:~# ollama rm deepseek-r1:8b

图11 删除多余
图11 删除多余

查询后只有deepseek-r1:14b了。

回到算力管理 界面点击 ChatbotUI,如图12所示。

图 12 点击 ChatbotUI
图 12 点击 ChatbotUI

启动等待1分钟左右,模型有deepseek-r1:14b了

图13  Chatbot ollama
图13 Chatbot ollama

此时在对话框中输入问题即可进行推理测试。

图15 推理测试
图15 推理测试

3、本地调用大模型

到Chatbox官网https://chatboxai.app/zh下载安装相应版本。如图16下载

图16 下载chatbox
图16 下载chatbox

然后安装好后,点击设置,模型选择OLLAMA API,API域名填写公网IP,然后输入:6399,注意冒号是英文状态输入,如图17 18所示。

图17 填写公网IP
图17 填写公网IP
图18 公网IP查询
图18 公网IP查询

点击保存后,右下角出现deepseek-r1:14b,即选择了deepseek-r1:14b版本,对话框输入查询内容即可,如图19所示。

图 19 内容测试
图 19 内容测试
图20 测试结果
图20 测试结果

4、感想

整个流程较流畅,特别是安装deepseek-r1:14b版本,本地API接入运行也较流畅。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档