如何选择合适的端侧大模型？需要考虑哪些因素？

选择端侧大模型需要综合考虑硬件配置、任务复杂度、精度要求和部署成本等因素。

1. 按硬件配置选型

2. 按任务需求选型

简单分类、提取、短文本生成等轻量任务适合 1B—3B 小模型；文档分析、代码辅助、多轮对话等中等复杂度任务推荐 4B—8B 模型；长文本处理、复杂推理等高难度任务建议 8B—32B 模型配合长上下文优化。

3. 量化与精度权衡

优先选择 INT4（Q4_K_M）作为默认量化档位，在精度和速度之间取得最佳平衡。对精度要求极高的场景可选用 INT8 或 FP16；对资源极度受限的场景可考虑 INT2/2-bit 量化，但需接受更大的精度损失。

4. 框架与生态考量

llama.cpp 提供最广泛的硬件兼容性和量化选项，适合技术用户和嵌入式部署；Ollama 适合快速原型开发和跨平台应用；ExecuTorch 适合移动端 App 集成。选择框架时应考虑目标硬件的原生支持情况和社区生态成熟度。