问题不在模型，在推理引擎。transformers 是训练调试用的，生产推理直接换 vLLM 或 SGLang，30B-A3B 是 MoE 结构，激活才 3B，vLLM 跑在 A100 80G 上吞吐比 transformers 高一个数量级很正常。一行命令就能起：vllm serve 模型路径，自带 OpenAI 兼容接口。另外你的用法也在拖后腿：20 页文档应该按段落切开并发请求，batch 一起跑，而不是单条排队串行。长输入记得开 chunked prefill，翻译这种固定前缀的场景 prefix caching 也有收益。这套改完，25 分钟压到一两分钟是合理预期，能追上在线 API 的体感。... 展开详请

在 Django 中使用“大模型”（通常指数据量大、计算复杂或涉及机器学习/深度学习模型的场景）需要结合 Django 的特性和系统设计原则，确保性能、可维护性和扩展性。 如果“大模型”指的是 Django 中存储大量数据的模型（如千万级记录的表），需关注查询优化和数据库设计。如果“大模型”涉及复杂计算（如统计、聚合），需避免在请求中直接处理。如果“大模型”指 ML/DL 模型（如 TensorFlow/PyTorch 模型），需注意部署和调用方式。 核心原则是：​​将计算密集型或 IO 密集型操作与 Django 请求解耦​​，保证 Web 层的响应速度。... 展开详请