在本地运行 AI 模型具有以下优势:
直达官网:
直接下载,找到对应操作系统的软件到本地:
点击安装即可:
如:
ollama pull deepseek-r1:8b
系统会自动下载。 下载速度,看网速,我的网速不好,等了20分钟左右。 完成下载后,模型即可运行。
按LiveCodeBench评分,DeepSeek V3得分42.2,蒸馏模型Qwen 14B得分53.1,具有相当的性能,而且尺寸相对来说属于桌面级能跑,推荐用14B:
浏览器:
如Chatbox/cherry studio等工具,设置简单,内置功能丰富,与本地模型集成,免费畅享各种大模型且注重数据安全。
Chatbox 可很好地连接到 Ollama 服务,让你在使用本地模型时可以获取 Chatbox 提供的更多强大功能,比如 Artifact Preview、文件解析、会话话题管理、Prompt 管理等。
运行本地模型对你的电脑配置有一定要求,包括内存、GPU 等。如果出现卡顿,请尝试降低模型参数。
官网:
安装完成后,打开左下角设置:
开始激聊:
PC软件连接本地大模型成功,后续即可根据自己需求训练DeepSeek,将DeepSeek训练成自己的私有专家。
现成 GUI 软件虽好,也不是菩萨,只是给你最基本聊天功能,想使用更高级的多模态功能,依旧需要付费,因此最终大招还是自己开发。
图片识别受限:
联网搜索受限:
本地部署完了,来看咋调用?
from langchain_community.llms import Ollama
llm = Ollama(model="qwen2:0.5b")
llm.invoke(input="你是谁?")
#使用流式
from langchain.callbacks.manager import CallbackManager
from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler
llm = Ollama(
model="qwen2:0.5b", callback_manager=CallbackManager([StreamingStdOutCallbackHandler()])
)
llm.invoke(input="第一个登上月球的人是谁?")
本文已收录在Github,关注我,紧跟本系列专栏文章,咱们下篇再续!