一、准备工作:安装Ollama
1. Windows系统
步骤1:访问Ollama官网(https://ollama.com),下载Windows版安装包
步骤2:双击安装包,默认设置完成安装。安装后,右下角托盘会显示Ollama图标(确保服务已启动)。
验证安装:按Win+R输入cmd打开命令行,输入ollama -v,若显示版本号(如0.5.7)则安装成功。
ollama -v
2. Mac系统
步骤1:打开终端,使用Homebrew安装:
brew install ollamabrew services start ollama
或直接下载macOS安装包双击安装。
步骤2:安装完成后,终端输入ollama -v验证版本。
二、下载DeepSeek模型
根据显卡显存选择模型版本(以 7B量化版 为例,显存需求约5GB):
Windows/Mac通用命令:
ollama run deepseek-r1:7b-qwen-distill-q4_K_M
等待下载完成(进度条显示100%即成功)。
常见版本推荐:
三、配置ChatBox可视化界面
1. 下载安装ChatBox
访问官网(https://chatboxai.app/zh),下载对应系统的安装包(Windows为exe,Mac为dmg)。
双击安装包完成安装,首次打开需设置语言(默认中文)。
2. 连接Ollama本地模型
步骤1:点击ChatBox右下角 设置 模型提供商 选择 Ollama API。
【为了获得更直观的操作体验,您可以使用开源的 ChatboxAI 工具。前往 Chatbox 官方网站(htps:/chatboxai.app/zh)或其GitHub 页面,下载并安装适用于您的版本。安装完成后,打开 Chatbox,选择模型提供方为“OLLAMAAP!”,然后选择您之前下载的 DeepSeek模型(例如 deepseek-r1:32b)设置完成后,您即可通过图形界面与 DeepSeek 进行交互】
步骤2:输入API地址 http://localhost:11434,选择已下载的DeepSeek模型(如deepseek-r1)。
步骤3:点击保存,返回主界面即可输入问题对话!
四、常见问题解答
Q1:模型下载失败怎么办?
检查网络是否畅通,或尝试更换量化版模型(如q4_K_M后缀)减少下载体积。
Q2:显存不足如何解决?
选择更低参数的模型(如1.5B),或在命令中添加--num-gpu 1限制GPU使用。
Q3:如何离线使用?
五、硬件配置参考
根据官方信息DeepSeek R1 可以看到提供多个版本,包括完整版(671B 参数)和蒸馏版(1.58 到 708 参数)。完整版性能强大,但需要极高的硬件配置;蒸馏版则更适合普通用户,硬件要求较低
完整版(671B):需要至少 350GB 显存/内存,适合专业服务器部署
蒸馏版:基于开源模型(如 QWEN 和 LLAMA)微调,参数量从 1.5B 到 70B 不等,适合本地硬件部署
蒸馏版与完整版的区别
我们正常本地部署使用蒸馏版就可以,可根据下表配置选择使用自己的模型
领取专属 10元无门槛券
私享最新 技术干货