Mistral AI与NVIDIA 合作推出的128K长上下文大模型Mistral NeMo

Mistral AI 与 NVIDIA 最近合作推出了一个名为 Mistral NeMo 的新型 AI 大语言模型。该模型具有 120 亿参数和 128K token 的上下文窗口，主要设计用于企业环境，使企业能够在不依赖大量云资源的情况下，本地部署和运行 AI 解决方案。

Mistral NeMo 以其扩展的上下文窗口为特点，这使得模型能够处理和理解的文本量超过许多竞争者。这种扩展的能力特别适合于处理冗长的文档、复杂的分析或编码任务，可能减少了频繁刷新上下文的需求，从而产生更连贯一致的输出。

此外，Mistral NeMo 使用了一个新的基于 Tiktoken 的分词器 Tekken，它经过 100 多种语言的训练，能够更有效地处理自然语言文本和源代码。这使得模型在多语言任务上表现优异，尤其是在处理包括英语、法语、德语、西班牙语、意大利语、葡萄牙语、中文、日语、韩语、阿拉伯语和印地语等语种时。

Mistral NeMo 还经过了高级的微调和对齐阶段，进一步增强了模型遵循精确指令、推理、处理多轮对话和生成代码的能力。模型的基础版本和经过指令微调的版本权重都已托管在 HuggingFace 平台上，便于开发者进行试用和调整。

整体而言，Mistral NeMo 的设计目的是提供一个可以在本地硬件上高效运行的模型，解决企业在数据隐私、延迟和高成本等方面的担忧。这款模型的发布可能会改变企业采用 AI 的方式，尤其是对于那些资源有限的小型企业而言，可以利用这种本地部署的模型来提高其业务的 AI 能力。