首页
学习
活动
专区
圈层
工具
发布

22岁小伙逆推Mythos,AI大模型圈又炸锅了!

本报讯 近日,人工智能领域传来一则令人瞩目的消息:一位年仅22岁的年轻人将业界关注的"Mythos架构"成功"逆推"并开源,为开源AI社区注入了新的活力。

据悉,这位名叫Kye Gomez的年轻人是Swarms智能体框架的创始人。他所做的将Mythos架构开源为"OpenMythos",整合了公开研究和主流技术推测。这一举动在技术圈内引发了广泛关注。

技术突破在哪里?

此次开源的核心技术是带有混合专家(MoE)路由机制的循环深度Transformer(RDT)。与传统大模型不同,RDT采用了一种更加高效的设计思路——同一组权重最多反复运行16遍,但每次激活的是不同的专家路径。这意味着它可以在不增加参数量的情况下,实现更强的模型表达能力。

在MoE架构设计上,该模型借鉴了DeepSeek的技术思路,采用大量细粒度的路由专家和少量共享专家的组合模式。此外,项目还引入了LTI稳定循环注入技术,有效保证了循环推理过程的稳定性。

效果如何?

从实验数据来看,这一架构展现出了令人惊喜的性能表现。在参数量减半的情况下,770M参数的模型性能可以追平1.3B参数的模型。这证明了其"堆循环"而非"堆参数"的高效推理思路是切实可行的。

除了参数效率的提升,OpenMythos还展现出了系统性的泛化能力和深度外推能力,这对于未来AI模型的发展具有重要意义。

对行业意味着什么?

在AI大模型参数越来越大的背景下,如何提升模型的效率成为行业关注的焦点。OpenMythos的开源为技术社区提供了一种新思路:通过循环迭代和MoE架构设计,可以在控制参数量的同时提升模型能力。

这一开源项目也为研究人员和开发者提供了一个宝贵的参考样本,有助于推动AI架构研究的进一步发展。随着更多技术细节的公开和讨论,相信这一技术路径将得到进一步的验证和完善。

业内人士表示,此类"逆推"开源项目的出现,标志着AI技术社区正在形成一种良性竞争与合作并存的生态,最终受益的将是整个行业以及普通用户。

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OZEoGTMD0KzrjspcEn6y_g0w0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

领券