首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >免费+数据安全!手把手教你在PC跑DeepSeek-R1大模型,小白也能秒变AI大神!

免费+数据安全!手把手教你在PC跑DeepSeek-R1大模型,小白也能秒变AI大神!

作者头像
JavaEdge
发布2025-06-01 11:59:52
发布2025-06-01 11:59:52
16000
代码可运行
举报
文章被收录于专栏:JavaEdgeJavaEdge
运行总次数:0
代码可运行

0 为啥本地部署?

在本地运行 AI 模型具有以下优势:

  • 隐私:你的数据保留在你的机器上 — — 不存在共享敏感信息的风险
  • 成本: DeepSeek R1 可免费使用,无需订阅费或使用费
  • 控制:无需外部依赖即可进行微调和实验
  • 稳定:完全离线,服务稳定,无网络延迟
  • 可调教:可以自由调整和定制模型参数

1 使用Ollama

1.1 下载并运行应用程序

直达官网

1.2 选择你的平台
MacOS、windows

直接下载,找到对应操作系统的软件到本地:

点击安装即可:

1.3 命令行下载指定模型

如:

代码语言:javascript
代码运行次数:0
运行
复制
ollama pull deepseek-r1:8b

系统会自动下载。 下载速度,看网速,我的网速不好,等了20分钟左右。 完成下载后,模型即可运行。

官网支持的模型

LiveCodeBench评分,DeepSeek V3得分42.2,蒸馏模型Qwen 14B得分53.1,具有相当的性能,而且尺寸相对来说属于桌面级能跑,推荐用14B:

1.4 运行

浏览器:

2 可视化软件

如Chatbox/cherry studio等工具,设置简单,内置功能丰富,与本地模型集成,免费畅享各种大模型且注重数据安全。

2.1 使用Chatbox

Chatbox 可很好地连接到 Ollama 服务,让你在使用本地模型时可以获取 Chatbox 提供的更多强大功能,比如 Artifact Preview、文件解析、会话话题管理、Prompt 管理等。

运行本地模型对你的电脑配置有一定要求,包括内存、GPU 等。如果出现卡顿,请尝试降低模型参数。

官网

安装完成后,打开左下角设置:

  • 将 API 主机设置为:http://127.0.0.1:11434
  • 选择 DeepSeek R1 作为活动模型
  • 保存

开始激聊:

PC软件连接本地大模型成功,后续即可根据自己需求训练DeepSeek,将DeepSeek训练成自己的私有专家。

2.2 遗留问题

现成 GUI 软件虽好,也不是菩萨,只是给你最基本聊天功能,想使用更高级的多模态功能,依旧需要付费,因此最终大招还是自己开发。

图片识别受限:

联网搜索受限:

3 本地大模型代码调用

本地部署完了,来看咋调用?

代码语言:javascript
代码运行次数:0
运行
复制
from langchain_community.llms import Ollama

llm = Ollama(model="qwen2:0.5b")
llm.invoke(input="你是谁?")
使用流式
代码语言:javascript
代码运行次数:0
运行
复制
#使用流式
from langchain.callbacks.manager import CallbackManager
from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler

llm = Ollama(
    model="qwen2:0.5b", callback_manager=CallbackManager([StreamingStdOutCallbackHandler()])
)
llm.invoke(input="第一个登上月球的人是谁?")

本文已收录在Github关注我,紧跟本系列专栏文章,咱们下篇再续!

  • 🚀 魔都架构师 | 全网30W+技术追随者
  • 🔧 大厂分布式系统/数据中台实战专家
  • 🏆 主导交易系统亿级流量调优 & 车联网平台架构
  • 🧠 AIGC应用开发先行者 | 区块链落地实践者
  • 🌍 以技术驱动创新,我们的征途是改变世界!
  • 👉 实战干货:编程严选网
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2025-02-10,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 0 为啥本地部署?
  • 1 使用Ollama
    • 1.1 下载并运行应用程序
    • 1.2 选择你的平台
      • MacOS、windows
    • 1.3 命令行下载指定模型
    • 1.4 运行
  • 2 可视化软件
    • 2.1 使用Chatbox
    • 2.2 遗留问题
  • 3 本地大模型代码调用
    • 使用流式
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档