微软发布Orca2 LLM大模型 共有70亿和130亿两种尺寸

微软研究院最近发布了一则新闻稿，宣布推出了比主流语言模型更小的Orca2 LLM。这款新模型不仅尺寸更小，而且能够回答一些复杂问题。

Orca2模型有两种尺寸可供选择，分别是70亿和130亿。微软在设计这些模型时，部分融合了Llama2 LLM参数，并通过定制的高质量合成数据提供更准确、更优秀的合成数据。

据微软介绍，Orca2模型采用了扩展的、高度定制的合成数据集进行训练。它支持多种推理技术，包括分步处理、回忆然后生成、回忆-原因-生成、提取-生成和直接回答，并且可以根据不同的任务选择不同的解决方案策略。

与Llama2和WizardLM等大型语言模型相比，Orca2在痛苦理解、常识推理、多步推理、数学问题解决和阅读理解等方面表现更为优秀。

微软表示：“我们的初步结果表明，Orca2的性能明显优于类似尺寸的模型。它还展示了为较小模型配备更好推理能力的潜力，并达到了与至少大10倍的模型相似或更好的性能水平。”

总的来说，微软研究院发布的Orca2 LLM模型在尺寸较小的情况下展现出了出色的性能，通过定制的合成数据和多种推理技术，它在各个领域的表现都超越了同尺寸的其他模型。