API 用得多了总有点不踏实,一是账单,二是敏感数据往外传。我家里有张用了四年的 3060,一直想试试本地跑个小模型当 Agent 引擎行不行。这两周认真折腾了一把,结论先给:能用,但只能用在该用的地方。
3060 12G,跑的是 7B 级别的开源模型,量化到 4bit,推理框架用 Ollama。对照组是常用的云端旗舰 API。任务还是老三样:代码脚本生成、日志分析归类、文档摘要提炼。
文档摘要和日志归类,本地模型干得出乎意料地好。每天晚上把我当天的工作流水账压成三行、把系统日志按类型归类打标,这类任务模式固定、容错率高,7B 模型的输出和云端模型放一起,我基本分不出区别。速度上本地反而更快,没有网络往返,短任务几秒出结果。
这些"高频率、低难度、要隐私"的杂活,正是本地模型的主场。我的工作流水账里有些东西确实不适合发给任何云,现在全在本地消化。
代码生成差距就拉开了。同一个"写个带重试的下载脚本"任务,云端模型一次过,本地模型生成了三次:第一次用了废弃的库版本,第二次重试逻辑写成了死循环,第三次勉强能用但异常处理是摆设。Agent 任务里模型是要自主试错的,本地模型每轮试错的"智力储备"不够,三轮之后就开始原地打转。
工具调用(Function Calling)的稳定性也差一截。给它三个工具,云端模型选错的概率大概十次里一次,本地模型十次里三次,还偶尔编造不存在的参数。Agent 是靠工具吃饭的,这一项不及格就当不了主力。
现在的分工是两层:敏感数据、高频杂活走本地 7B,一天到晚地跑,电费忽略不计;真正要动脑的代码任务和关键判断走云端 API,用得少而精。一个月下来 API 账单降了六成,而产出几乎没变。
别信"本地小模型取代云模型"这种话,至少 7B 这个量级别信。但也别走另一个极端觉得它没用——你的工作流里一定有大量"不值得动用旗舰模型"的杂活,那正是它蹲着的地方。该省的省,不能省的认,两层架构搭起来,这才是普通人用本地模型的正确姿势。