首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

PRM 与 HRM 双剑合璧 | 增量式 Vision Transformer 的参数有效跨任务提示 !

深度模型已经在解决各种单独的机器学习任务上取得了卓越的性能。然而,在实际应用中,训练数据通常是顺序接收的,而不是一次性全部可用。因此,为深度模型装备在动态环境中学习的能力是深度学习(DL)的一个长期目标。增量学习(IL)涉及跨不同任务动态学习深度模型,并且经常遭受对先前学习任务性能下降的问题,这被称为灾难性遗忘(CF)。最近,基于排练的方法可以通过在固定内存缓冲区中保留一些旧任务的代表性样本(即示例)有效地减轻IL中的遗忘。然而,在严格保护隐私和内存严重受限的情况下,这些方法无法奏效,因为旧任务的样本不可用,且内存缓冲区有限。在本文中,作者专注于无需示例和内存严重受限的增量学习(RFMCIL)的策略,该策略无需示例并且在内存严重受限的情况下训练深度模型。

01
领券