首页
学习
活动
专区
圈层
工具
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

告别服务器卡顿!零基础本地部署DeepSeek大模型,Windows/Mac双系统保姆级教程!

一、准备工作:安装Ollama

1. Windows系统

步骤1:访问Ollama官网(https://ollama.com),下载Windows版安装包

步骤2:双击安装包,默认设置完成安装。安装后,右下角托盘会显示Ollama图标(确保服务已启动)。

验证安装:按Win+R输入cmd打开命令行,输入ollama -v,若显示版本号(如0.5.7)则安装成功。

ollama -v

2. Mac系统

步骤1:打开终端,使用Homebrew安装:

brew install ollamabrew services start ollama

或直接下载macOS安装包双击安装。

步骤2:安装完成后,终端输入ollama -v验证版本。

二、下载DeepSeek模型

根据显卡显存选择模型版本(以 7B量化版 为例,显存需求约5GB):

Windows/Mac通用命令:

ollama run deepseek-r1:7b-qwen-distill-q4_K_M

等待下载完成(进度条显示100%即成功)。

常见版本推荐

三、配置ChatBox可视化界面

1. 下载安装ChatBox

访问官网(https://chatboxai.app/zh),下载对应系统的安装包(Windows为exe,Mac为dmg)。

双击安装包完成安装,首次打开需设置语言(默认中文)。

2. 连接Ollama本地模型

步骤1:点击ChatBox右下角 设置 模型提供商 选择 Ollama API。

【为了获得更直观的操作体验,您可以使用开源的 ChatboxAI 工具。前往 Chatbox 官方网站(htps:/chatboxai.app/zh)或其GitHub 页面,下载并安装适用于您的版本。安装完成后,打开 Chatbox,选择模型提供方为“OLLAMAAP!”,然后选择您之前下载的 DeepSeek模型(例如 deepseek-r1:32b)设置完成后,您即可通过图形界面与 DeepSeek 进行交互】

步骤2:输入API地址 http://localhost:11434,选择已下载的DeepSeek模型(如deepseek-r1)。

步骤3:点击保存,返回主界面即可输入问题对话!

四、常见问题解答

Q1:模型下载失败怎么办?

检查网络是否畅通,或尝试更换量化版模型(如q4_K_M后缀)减少下载体积。

Q2:显存不足如何解决?

选择更低参数的模型(如1.5B),或在命令中添加--num-gpu 1限制GPU使用。

Q3:如何离线使用?

五、硬件配置参考

    根据官方信息DeepSeek R1 可以看到提供多个版本,包括完整版(671B 参数)和蒸馏版(1.58 到 708 参数)。完整版性能强大,但需要极高的硬件配置;蒸馏版则更适合普通用户,硬件要求较低

完整版(671B):需要至少 350GB 显存/内存,适合专业服务器部署

蒸馏版:基于开源模型(如 QWEN 和 LLAMA)微调,参数量从 1.5B 到 70B 不等,适合本地硬件部署

蒸馏版与完整版的区别

我们正常本地部署使用蒸馏版就可以,可根据下表配置选择使用自己的模型

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OdI732a2x25um_pMnlU7cGxA0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券