首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

ACL2022 | 清华大学、DeepMind等指出现有小样本学习方法并不稳定有效,提出评价框架

机器之心专栏 清华大学、DeepMind等 以 GPT-3 为代表的预训练语言模型的发展,引发对小样本自然语言理解任务的极大关注。各种方法不断发展并展现出日渐强大的小样本自然语言理解性能。然而,来自清华大学、DeepMind 等团队的研究者近期的一项研究指出:相同基准再评估结果表明,现有小样本学习方法并不足够稳定有效,小样本自然语言理解发展尚面临巨大挑战! 评价准则的差异极大阻碍了已有小样本学习方法基于统一的标准公平比较,也无法客观评价该领域的真实进展。近期,来自清华大学、DeepMind 等团队研究者在论

03

ACL2022 | 清华大学、DeepMind等指出现有小样本学习方法并不稳定有效,提出评价框架

来源:机器之心本文约2200字,建议阅读5分钟本文介绍了清华大学、DeepMind等团队在小样本学习方法的最新进展。 以 GPT-3 为代表的预训练语言模型的发展,引发对小样本自然语言理解任务的极大关注。各种方法不断发展并展现出日渐强大的小样本自然语言理解性能。然而,来自清华大学、DeepMind 等团队的研究者近期的一项研究指出:相同基准再评估结果表明,现有小样本学习方法并不足够稳定有效,小样本自然语言理解发展尚面临巨大挑战! 评价准则的差异极大阻碍了已有小样本学习方法基于统一的标准公平比较,也无法客观评

01

周志华教授《集成学习》中文版上市,李楠博士带你一起入门

最近10年,深度学习的崛起带来的AI新一波的浪潮,语音识别、计算机视觉、机器翻译等领域均取得巨大的技术突破。 同时,也因为过度炒作,使得一些人对深度学习之外的机器学习方法知之甚少。 但不得不说的是,集成学习方法,一直是整个机器学习领域的「常青树」,受到学界与业界的广泛关注。 近日,南京大学周志华教授的专著《集成学习:基础与算法》中文版上市,让我们能够有机会系统的学习这一经典的机器学习方法。 为了更好的帮助广大读者们学习、了解集成学习,博文视点学院联合机器之心,特邀《集成学习:基础与算法》一书译者李楠

02

【深度学习并非万能】全方位对比深度学习和经典机器学习

近年来,深度学习已成为大多数AI问题的首选技术,使得经典机器学习相形见绌。原因很明显,深度学习在语音、自然语言、视觉和游戏等许多任务上都表现出卓越的性能。然而,尽管深度学习具有如此好的性能,经典机器学习方法仍有一些优势,而且在一些特定情况下最好使用经典机器学习方法,例如线性回归或决策树,而不是使用一个大型深度网络。 本文将对比深度学习和经典机器学习,分别介绍这两种技术的优缺点以及它们在哪些问题/如何得到最佳使用。 深度学习优于经典机器学习 一流的性能:在许多领域,深度网络已经取得了远远超过经典ML方

06

每日论文速递 | AutoLoRA:通过meta learning学习LoRA最优秩

摘要:在各种 NLP 任务中,大规模预训练和针对特定任务的微调取得了巨大成功。由于对大型预训练模型的所有参数进行微调会带来巨大的计算和内存挑战,人们开发出了几种高效的微调方法。其中,低秩适应(Low-rank adaptation,LoRA)在冻结的预训练权重基础上对低秩增量更新矩阵进行微调,已被证明特别有效。然而,LoRA 在所有层中统一分配秩,并依赖穷举搜索来找到最佳秩,这导致了高计算成本和次优的微调性能。为了解决这些局限性,我们引入了 AutoLoRA,这是一种基于元学习的框架,用于自动识别每个 LoRA 层的最佳等级。AutoLoRA 将低秩更新矩阵中的每个秩-1 矩阵与一个选择变量相关联,该选择变量决定是否应丢弃秩-1 矩阵。我们开发了一种基于元学习的方法来学习这些选择变量。通过对这些变量的值进行阈值化处理,确定最佳秩。我们在自然语言理解、生成和序列标注方面的综合实验证明了 AutoLoRA 的有效性。

01

机器学习与神经影像:评估它在精神病学中的应用

精神疾病是复杂的,涉及不同的症状学和神经生物学,很少涉及单一的、孤立的大脑结构的破坏。为了更好地描述和理解精神疾病的复杂性,研究人员越来越多地将多元模式分类方法应用于神经成像数据,特别是监督机器学习方法。然而,监督机器学习方法也有独特的挑战和权衡,需要额外的研究设计和解释考虑。本综述的目的是提供一套评估机器学习应用于精神障碍的最佳实践。我们将讨论如何评估两种共同的努力:1)作出可能有助于诊断、预后和治疗的预测;2)询问精神病理学背后复杂的神经生理机制。我们在这里重点讨论机器学习应用于功能连接与磁共振成像,作为一个基础讨论的例子。我们认为,为了使机器学习分类对个体水平的预测具有转化效用,研究人员必须确保分类具有临床信息性,独立于混杂变量,并对性能和泛化性进行适当评估。我们认为,要想揭示精神疾病的复杂机制,需要考虑机器学习方法识别的神经成像特征(如区域、网络、连接)的独特效用、可解释性和可靠性。最后,我们讨论了大型、多站点、公开可用的数据集的兴起如何有助于机器学习方法在精神病学中的应用。

00

GEE案例——利用谷歌地球引擎的深度学习方法绘制哨兵 1 号地表水地图

卫星遥感在测绘地表水的位置和范围方面发挥着重要作用。绘制地表水地图有多种方法,但深度学习方法并不常见,因为它们 "数据饥渴",需要大量计算资源。不过,随着各种卫星传感器的出现和云计算的快速发展,遥感科学界正在采用现代深度学习方法。基于云计算的谷歌人工智能平台和谷歌地球引擎的新整合使用户能够大规模部署计算。在本文中,我们研究了两种自动数据标注方法:1. 联合研究中心(JRC)地表水地图;2. Edge-Otsu 动态阈值方法。我们部署了一个 U-Net 卷积神经网络来绘制哨兵-1 合成孔径雷达 (SAR) 数据中的地表水图,并使用不同的超参数调整组合测试了模型性能,以确定最佳学习率和损失函数。然后使用独立的验证数据集对性能进行评估。我们共测试了 12 个模型,发现使用 JRC 数据标签的模型性能更好,训练测试和验证工作的 F1 分数从 0.972 到 0.986 不等。此外,我们还使用了一个独立采样的高分辨率数据集来进一步评估模型性能。通过这一独立验证工作,我们发现利用 JRC 数据标签的模型产生了 0.9130.922 的 F1 分数。通过不同的输入数据、学习率和损失函数成分对模型进行配对比较,发现 JRC 调整二元交叉熵骰模型与其他 66 个模型组合在统计上有所不同,并显示出最高的相对评估指标,包括准确率、精确度得分、科恩卡帕系数和 F1 分数。这些结果与许多传统方法处于同一范围。我们注意到,谷歌人工智能平台与谷歌地球引擎的集成可以成为大规模部署深度学习算法的有力工具,自动数据标注可以成为开发深度学习模型的有效策略,但是独立数据验证仍然是模型评估的重要步骤。

01

做时间序列预测有必要用深度学习吗?事实证明,梯度提升回归树媲美甚至超越多个DNN模型

来源:机器之心本文约2600字,建议阅读9分钟在时间序列预测任务上,你不妨试试简单的机器学习方法。 在深度学习方法应用广泛的今天,所有领域是不是非它不可呢?其实未必,在时间序列预测任务上,简单的机器学习方法能够媲美甚至超越很多 DNN 模型。 过去几年,时间序列领域的经典参数方法(自回归)已经在很大程度上被复杂的深度学习框架(如 DeepGIO 或 LSTNet 等)更新替代。这是因为传统方法可能无法捕获长期和短期序列混合传递的信息,而深度学习方法的思路是掌握数据中的跨时非线性依赖。从结果来看,这些深度学习

01
领券