笔记本上跑小参数模型的实用场景实测

我笔记本是三年前买的，RTX 3060，6G 显存。一直觉得本地跑模型是服务器上的事，直到上个月出差，高铁上没网，想用 AI 查点资料，突然意识到云端模型再强，没网就是零。

回来之后我认真折腾了几天本地小模型，想搞清楚一件事，在一台普通笔记本上，小参数模型到底能干哪些正经活。

跑得动什么

先说结论，6G 显存的机器，7B 的模型量化后能跑，速度大概每秒二十来个字，聊天完全可用。14B 也能塞进去，但要压缩到 4bit 以下，质量打折明显，感觉像跟一个刚睡醒的人聊天。

我装的是 Ollama，模型选了 Qwen 的 7B 小杯。装的过程没什么可说的，一条命令的事，真正花时间的是试它到底能干什么。

实测四类任务

第一类，文本整理。会议录音转的文字稿丢给它，让它提取待办和结论。这项表现意外地好，7B 模型做摘要是够用的，错别字多也不太影响。现在成了我每天用的功能。

第二类，写代码。让它写一个五十行的数据处理脚本，写是写出来了，能跑，但有两处边界处理是错的。让它改 bug 也一样，简单的能改，绕两层的逻辑就瞎编变量名。我的结论是本地小模型只适合写一次性小脚本和正则，正经开发还是交给云端大模型。

第三类，翻译和润色。中英互译够用，比我预想强。让它润色中文就露馅了，改出来的东西一股翻译腔，像新人写的工作汇报，每个字都对，读着没劲。

第四类，涉及私有数据的问答。把内部文档塞给它做简单的检索问答，小模型容易答非所问，同样的问题换大模型就正常。这块是硬伤，参数量在那摆着。

那它图什么

出差路上、飞机上、客户现场不让联网的地方，它能兜底。再就是隐私敏感的内容，工资表、人事材料、未公开的财务数据，丢给云端我总归不踏实，本地跑虽然笨，但东西不出门。

还有个意外收获，电费和 API 费都是零。我把它当成一个笨但是随叫随到的备胎，主力还是云端模型，断网和敏感活儿才轮到它。

如果你的机器也是这个档次，我的建议别贪大，7B 量化版就是甜点位。想清楚你要它干摘草稿和翻译这类粗活，它就是好用的。想要它像广告里那样无所不能，那是在为难 6G 显存。