首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Open LLM榜单再次刷新,比Llama 2更强的「鸭嘴兽」来了

最近,Open LLM 榜单的排行又发生了新的变化,一个名叫 Platypus(鸭嘴兽)的模型登上了榜首。 概括地说,Platypus 同样是基于 Llama 2 微调。...在一篇论文中,作者对 Platypus 进行了详细的介绍: 论文地址:https://arxiv.org/abs/2308.07317 本文的贡献主要有以下几点: Open-Platypus 是一个小规模的数据集...Open-Platypus 数据集 目前,作者在 Hugging Face 上发布了 Open-Platypus 数据集: 污染问题 本文方法优先考虑防止基准测试问题泄漏到训练集中,以避免仅通过记忆产生结果偏差...结果 作者将 Platypus 与其他的 SOTA 模型进行了比较。...Platypus 在其主要领域之外可能存在局限性,因此用户应谨慎行事,并考虑进行额外的微调以获得最佳性能。用户应确保 Platypus 的训练数据与其他基准测试集之间没有重叠。

31250
您找到你想要的搜索结果了吗?
是的
没有找到

英特尔CPU曝出漏洞:监视功耗就能轻松获取数据

直击RAPL的Platypus 问题,便是出在RAPL上。 RAPL,表示的是运行时平均功率限制,是允许固件或软件应用程序监控CPU和DRAM功耗的一个组件。...而这种攻击方法,被研究者命名为Platypus,是「漏电攻击:针对你受保护的用户机密」(Power Leakage Attacks: Targeting Your Protected User Secrets...首先,Platypus的攻击在Linux系统上是最有效的,这是因为Linux内核附带了PowerCap框架。 PowerCap是一个通用驱动程序,其用于与RAPL接口和其他功率限额API进行交互。...首先是英特尔及其芯片制造商,其紧急发布了一项微代码(CPU固件)更新,用以防止Platypus或其他经由RAPL的攻击。.../platypus.pdf — 完 —

71940

波士顿大学「鸭嘴兽-70B」登顶Hugging Face大模型排行榜!高效数据集+独特LoRA微调是关键

Hugging Face上的开源大模型排名榜又更新了,这次荣登榜一的是:鸭嘴兽(Platypus 2-70B)!...多快好省的鸭嘴兽 鸭嘴兽主要是通过在一个小而强大的数据集Open-Platypus上使用参数高效调整(PEFT)和LoRA中对非注意力部分的微调来改进模型的性能。...开源数据集 研究团队通过Hugging Face向公众开放了鸭嘴兽的数据集Open-Platypus: Open-Platypus由11个开源数据集组成,主要由人为设计的问题组成,只有大约10%的问题由...为此,研究团队开发了以下启发式方法,用于指导人工筛选来自 Open-Platypus 的、与任何基准问题相似度大于 80% 的问题。 研究团队将潜在问题分为三类:重复、灰色区域和相似但不同。...鸭嘴兽排名第一 截止到今天的Hugging Face开源LLM排行榜数据,Platypus2-70B依旧稳坐第一,而它的变体也在众多LLM中排名前列。

33420
领券