近年来, 深度学习模型在众多领域取得了广泛成功. 现有的深度学习模型大多部署在静态环境下, 依赖提前收集好 的数据集进行离线训练, 模型一经确定, 便无法进一步更新. 然而, 现实中开放动态的环境往往存在以流形式不断到来的数据, 包括随时间演进不断产生的新类别数据. 因此, 理想的机器学习模型应能够从流式数据中不断学习新类, 从而增强自身的判别能力. 这样的学习范式被称作“类别增量学习”(class-incremental learning), 且近年来已成为机器学习领域的研究热点。扩展阅读:机器学习模型迭代方法(Python)
人类有终身不断获取、调整和转移知识的能力,虽然在我们的一生中,我们确实倾向于逐渐忘记之前学习过的知识,但只有在极少的情况下,对新知识的学习会灾难性地影响已经学到的知识,这样的学习能力被称为增量学习的能力。
今天给大家带来一篇剑桥大学有关增量学习的文章。从非平稳的数据流中渐进地学习新信息,被称为“持续学习”,是自然智能的一个关键特征,但对深度神经网络来说是一个具有挑战性的问题。近年来,许多用于持续学习的深度学习方法被提出,但由于缺乏共同的框架,很难比较它们的性能。为了解决这个问题,我们描述了持续学习的三种基本类型或“场景”:任务增量式学习、领域增量式学习和类增量式学习。每一种情况都有自己的挑战。为了说明这一点,作者通过根据每个场景执行Split MNIST和Split CIFAR-100协议,对目前使用的持续学习策略进行了全面的实证比较。作者证明了这三种情况在难度和不同策略的有效性方面存在实质性差异。提出的分类旨在通过形成清晰定义基准问题的关键基础来构建持续学习领域。
增量学习作为机器学习的一种方法,现阶段得到广泛的关注。在其中,输入数据不断被用于扩展现有模型的知识,即进一步训练模型,它代表了一种动态的学习的技术。对于满足以下条件的学习方法可以定义为增量学习方法:
“SFFAI142期来自美国西北大学的王礼旭同学推荐的文章主要关注于基础研究的动态联邦学习领域。”
目前的计算机视觉模型在进行增量学习新的知识的时候,就会出现灾难性遗忘的问题。缓解这种遗忘的最有效的方法需要大量重播(replay)以前训练过的数据;但是,当内存限制或数据合法性问题存在时,这种方法就存在一定的局限性。
元学习(Meta Learning)和增量学习(Incremental Learning)是目前机器学习理论中比较火热的研究方向。两位报告嘉宾为大家精选了近期元学习和增量学习领域的代表性文章,同时和大家一起交流分享自己最新的研究工作。
Github已添加含增量学习的代码,主要还是根据之前参考的代码修改,处理MNIST的结果也已经放在最后一节。已经很久不看这方面的内容。欢迎给原作者代码star(链接在4.1)。
这次介绍一种类似表征学习的训练方法,用于类别的增量学习,来自于CVPR2021的一篇文章"DER: Dynamically Expandable Representation for Class Incremental Learning"。
深度模型已经在解决各种单独的机器学习任务上取得了卓越的性能。然而,在实际应用中,训练数据通常是顺序接收的,而不是一次性全部可用。因此,为深度模型装备在动态环境中学习的能力是深度学习(DL)的一个长期目标。增量学习(IL)涉及跨不同任务动态学习深度模型,并且经常遭受对先前学习任务性能下降的问题,这被称为灾难性遗忘(CF)。最近,基于排练的方法可以通过在固定内存缓冲区中保留一些旧任务的代表性样本(即示例)有效地减轻IL中的遗忘。然而,在严格保护隐私和内存严重受限的情况下,这些方法无法奏效,因为旧任务的样本不可用,且内存缓冲区有限。在本文中,作者专注于无需示例和内存严重受限的增量学习(RFMCIL)的策略,该策略无需示例并且在内存严重受限的情况下训练深度模型。
常见的目标检测算法都针对特定的数据集进行训练,学习固定数量的类别,用于特定的场景。而论文则讨论一个更现实的场景,开放世界目标检测(Open World Object Detection)。在这个场景中,算法需要解决非目标误识别问题以及具备增量学习的能力。
从非平稳的数据流中渐进地学习新信息,被称为“持续学习”,是自然智能的一个关键特征,但对深度神经网络来说是一个具有挑战性的问题。近年来,许多用于持续学习的深度学习方法被提出,但由于缺乏一个通用的框架,它们的性能比较困难。为了帮助解决这个问题,作者描述了持续学习的三种基本类型或“场景”:任务增量学习、域增量学习和类增量学习。每一种情况都有自己的挑战。为了说明这一点,作者根据每个场景使用split MNIST和split CIFAR-100数据集,对目前使用的持续学习策略进行了全面的实证比较。作者展示了三种场景在难度和不同策略的有效性方面的显著差异。提出的分类旨在通过形成清晰定义基准问题的关键基础,来构建持续学习领域。
实践证明,基于梯度的元学习在学习模型初始化、表示形式和更新规则方面非常有效,该模型允许从少量样本中进行快速适应。这些方法背后的核心思想是使用快速适应和泛化(两个二阶指标)作为元训练数据集上的训练信号。但是,其他可能的二阶指标很少被关注。在本文中,研究者提出了一种不同的训练信号——对灾难性干扰的鲁棒性。与仅通过快速适应性最大化学习的表示相比,通过引导干扰最小化学习的表示更有利于增量学习。
除了上述这几大AI学术研究要点之外,还有宽度学习(BLS)网络也值得重点关注。宽度学习(BLS)自2018年由我们(陈俊龙教授及其团队)首次在学术界提出,便迅速在科研机构(中科院)、国内知名高校及企业展开了较为广泛的研究与应用。
每天给你送来NLP技术干货! ---- ©作者 | 回亭风 单位 | 北京邮电大学 研究方向 | 自然语言理解 来自 | PaperWeekly 论文标题: Few-Shot Class-Incremental Learning for Named Entity Recognition 收录会议: ACL 2022 论文链接: https://aclanthology.org/2022.acl-long.43 Abstract 之前的面向 NER 的类增量学习的工作都是基于新类有丰富的监督数据的情况,本文
首先基于一个现象:人类在对事物进行观察的时候,是能够检测到每个实例,并按照自己已知的知识来对每个实例进行分类,有认知的归属到对应类别,无认知的归属到未知(unknown),而过往的深度学习检测任务所完成的工作只能对已有认知的实例进行定位和分类,所以作者提出,能否使得检测算法达到更近似人类的认知体验?所以作者提出了“开放世界目标检测”任务。作者原文中对这个任务的解释如下:
论文链接:http://ieeexplore.ieee.org/document/7987745
字节跳动联合中科院自动化研究所提出新方法,用AI快速检测出视频中的高光片段,对输入视频的长度以及期望提取的高光长度都具有极高的灵活性,相关论文已被AAAI 2024收录。
title: 论文笔记系列--iCaRL: Incremental Classifier and Representation Learning
本文提出了一种基于宽度学习系统的在线学习算法,该算法可以有效地从大规模数据中学习函数逼近。通过使用宽度学习系统,可以在保持较高效的同时,从原始数据中学习复杂的函数映射关系,并将其泛化到新的数据集。实验结果表明,该算法在准确性和运行时间方面均优于现有的深度学习算法。
她立刻就打起了喷嚏,过敏使她的脸肿了起来,她难过了好几天,我也很难过(负回报/反馈)。
论文名称:Learning joint reconstruction of hands and manipulated objects
机器之心转载 作者:思悥 随着统计机器学习的逐渐成熟, 现在已经是时候打破孤立学习地传统模式,转而研究终身学习, 将机器学习推向崭新的高度。 一、什么是终身学习(Life-Long Machine Learning)? 终身机器学习(或称终身学习)是一种高级的机器学习范式, 它通过不断学习,从过去的任务当中积累知识,并用这些知识帮助未来的学习。在这样的过程中,学习者的知识越来越丰富,学习效率也越来越高。这种学习能力的特质是人类智力的重要标志。 然而, 当前主流的机器学习范式是孤立学习的:给定训练数据集, 算
综上所述,解决存量薄弱和增量缓慢的问题需要您采取综合措施,包括加强基础、优化流程、增加技术投入、建立人才培养计划和建立创新机制等。通过这些措施,您可以帮助公司提高效率和竞争力,实现更好的业务增长。
机器学习之路 系列 (一) 作者: 计算机魔术师 版本: 1.0 ( 2022.2.25) 注释:文章会不定时更新补充
尽管我会尽量减少数学术语的使用,但本文希望读者熟悉一些概念,如矩阵分解、嵌入空间以及基本的机器学习术语。这篇文章并不是推荐系统的介绍,而是对它们的增量变体的介绍。在任何情况下,本文的主要受众是机器学习和推荐系统领域的初学者。
AI 科技评论按:想必各位读者对深度神经网络及深度学习都不会感到陌生,不论是在数据处理或是应用层面,都取得了斐然的成绩。但囿于结构的复杂性及超参数的数量巨大,一方面带来了训练时间过多的困扰,另一方面,为了追求精度,深度模型需要持续增加层数及参数,反过来又给深度学习带来了进一步的训练难度。如何在保证效果的前提下极大地缩短神经网络系统的训练时间?学者们也做出了不少探索和尝试。
本文来自于《The Limits and Potentials of Deep Learning for Robotics》,该论文是从2016年的机器人技术大会(RSS)上的特邀演讲者和 "The Limits and Potentials of Deep Learning for Robotics "研讨会的组织者提供的想法和观点中整理的。
Brain-inspired replay for continual learning with artificial neural networks
决策树,聚类和线性回归算法之间的差异已经在很多文章中得到了说明(比如这个和这个)。但是, 在哪里使用这些算法并不总是很清楚。通过这篇博文,我将解释在哪里可以使用这些机器学习算法,以及根据你的需求选择特定算法时应考虑哪些因素。
本文为译文。原文链接https://dzone.com/articles/decision-trees-vs-clustering-algorithms-vs-linear。
Sedna基于KubeEdge提供的边云协同能力,实现AI的跨边云协同训练和协同推理能力。支持现有AI类应用无缝下沉到边缘,快速实现跨边云的增量学习,联邦学习,协同推理等能力,最终达到降低边缘AI服务构建与部署成本、提升模型性能、保护数据隐私等效果。
ERNIE: Enhanced Representation through Knowledge Integration(2019)
本文介绍由牛津大学的Dani Kiyasseh等人发表于Nature Communications的研究成果:在违反独立同分布假设的实例中训练的深度学习算法会受到破坏性干扰,作者为了减轻这种干扰,提出了一种持续学习策略CLOPS。在四个持续学习场景的三个场景中,CLOPS在泛化性能和后向转移两个方面都优于最先进的方法GEM和MIR。该框架有望为设计能够长期保持稳健的诊断系统铺平道路。
针对此类痛点,少样本学习被提出并进行了多个应用场景下的尝试。本届 NeurIPS 2019 也收录了近十篇关于少样本学习的文章,他们或是从数据增强的角度出发,或是从特征表征(Feature Representation)的加强提出了新的思路。本文涵盖了本届 NeurIPS 收录的少样本学习文章,着眼于工作的实用性,创新性以及延续性三个维度,详解分析了三篇笔者认为非常具有启发性和实用性的少样本学习文章,概述了其余几篇的贡献和亮点,以期给感兴趣的读者呈现关于该方向最新的研究进展,以及对后续研发的启示。
作者:Ji Feng、Yi-Xuan Xu、Yuan Jiang、Zhi-Hua Zhou
CVPR2022论文和代码整理:https://github.com/DWCTOD/CVPR2022-Papers-with-Code-Demo
笔者是一名软件工程在读研究生,同样是机器学习的爱好者,希望我所总结的内容能以简单直白的方式帮助读者们理解机器学习并了解如何利用Python来做机器学习。不需要走很多弯路,只需要准备好python的JupyterNotebook或Pycharm等,做好笔记。我很快带你入门。
这项工作解决了雾天基于激光雷达的三维目标检测的挑战性任务。在这种情况下收集和注释数据是非常费时费力的。在本文中,我们通过将物理上精确的雾模拟到晴好天气场景中来解决这个问题,从而可以将晴好天气中捕获的大量现有真实数据集重新用于我们的任务。我们的贡献有两个方面:1)我们开发了一种适用于任何激光雷达数据集的物理上有效的雾模拟方法。这释放了大规模雾天训练数据的获取,无需额外成本。这些部分合成的数据可用于提高几种感知方法的鲁棒性,例如对真实雾天数据的3D目标检测和跟踪或同时定位和映射。2)通过使用几种最先进的检测方法的大量实验,我们表明,我们的雾模拟可以显著提高雾存在时的3D目标检测性能。因此,我们第一个在透视雾数据集上提供强有力的3D目标检测基线。
选自techxplore 机器之心编译 编辑:杜伟 本文中,新加坡科技设计大学的研究团队设计了一个受人类大脑启发的 AI 模型,能够自然地进行持续学习,在没有存储数据的类增量学习场景中也表现得很好。 正如图像处理、智能医疗、自动驾驶汽车和智慧城市等各个 AI 领域的突破所展现的那样,深度学习无疑正在经历着黄金期。在未来十年左右,AI 和计算机系统将最终具备类人的学习和思考能力,以处理持续的信息流,与现实世界进行交互。 但是,当前的 AI 模型在连续进行新信息训练时会遭受性能损失。这是因为每当生成新数据时,
各位小伙伴们大家好,这几天弱弱的看了看老掉牙的支持向量机(Support Vector Machine, SVM)与支持向量回归(Support Vector Regression, SVR),发现知道的太少太弱了,基础知识要好好补一补。 SVM的原理参考 http://en.wikipedia.org/wiki/Support_vector_machine http://zh.wikipedia.org/wiki/%E6%94%AF%E6%8C%81%E5%90%91%E9%87%8F%E6%9C%BA
在数据科学和机器学习领域,理解数据的维度是至关重要的。Python作为一种强大而灵活的编程语言,提供了丰富的工具和库来处理各种维度的数据。本文将介绍Python中数据维数的概念,以及如何使用Python库来处理不同维度的数据。
业内顶尖人工智能专家推荐哪些研究文章?找出具体文章以及原因,然后一定要把每一篇都加入到阅读清单中去。
CLASSIC: Continual and Contrastive Learning of Aspect Sentiment Classification Tasks
在探讨了ChatGPT的技术实现、实际应用案例和未来发展方向后,接下来我们将深入探讨一些具体的进一步发展和研究方向,这些方向可能会塑造未来几年内的ChatGPT及其相关技术。
作者:Yibo Yang, Haobo Yuan, Xiangtai Li, Zhouchen Lin, Philip Torr, DaCheng Tao
根据训练期间接受的监督数量和监督类型,可以将机器学习分为以下四种类型:监督学习、非监督学习、半监督学习和强化学习。
https://www.ijcai.org/Proceedings/2020/0359.pdf
生成式模型和判别式模型的概念是机器学习领域非常重要的基础知识,但能准确区分开二者并不是一件非常容易的事情,笔者经常是看一遍忘一遍,为了巩固下知识点,我将从以下几个方面对两种模型进行介绍和对比。
领取专属 10元无门槛券
手把手带您无忧上云