首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

遗忘:深度学习中的双刃剑?最新《深度学习中的遗忘》的研究综述

「遗忘(Forgetting)是指之前获得的信息或知识的丢失或退化」。现有的关于遗忘的综述主要集中在持续学习上,然而,「遗忘也是深度学习的其他研究领域中普遍观察到的现象」。例如,遗忘在生成模型中由于生成器偏移而表现出来,在联邦学习中由于客户端之间数据分布异构而表现出来。解决遗忘包括几个挑战:平衡旧任务知识的保留与新任务的快速学习、管理具有冲突目标的任务干扰、以及防止隐私泄漏等。此外,大多数现有的关于持续学习的综述都默认遗忘总是有害的。相反,作者认为「遗忘是一把双刃剑,在某些情况下(如隐私保护场景)可能是有益的和可取的」。通过在更广泛的背景下探索遗忘,本综述旨在提供对这一现象的更细微的理解,并强调其潜在的优势。通过这项全面的综述,作者希望通过借鉴来自各种处理遗忘的领域的思想和方法来发现潜在的解决方案。通过超越传统的遗忘边界的分析,本综述希望在未来的工作中鼓励开发新的策略来减轻、利用甚至接受在实际应用中的遗忘。

02
您找到你想要的搜索结果了吗?
是的
没有找到

【综述专栏】北科大最新《分布变化下的图学习》综述,详述领域适应、非分布和持续学习进展

图学习在各种应用场景中发挥着关键作用,并且由于其在建模由图结构数据表示的复杂数据关系方面的有效性,已经获得了显著的关注,这些应用场景包括社交网络分析到推荐系统。实际上,现实世界中的图数据通常随着时间展现出动态性,节点属性和边结构的变化导致了严重的图数据分布偏移问题。这个问题由分布偏移的多样性和复杂性加剧,这些偏移可以显著影响图学习方法在降低的泛化和适应能力方面的性能,提出了一个对其有效性构成实质挑战的重大问题。在这篇综述中,我们提供了一个全面的回顾和总结,涵盖了解决图学习背景下分布偏移问题的最新方法、策略和见解。具体而言,根据在推断阶段分布的可观测性和在训练阶段充分监督信息的可用性,我们将现有的图学习方法分类为几个基本场景,包括图域适应学习、图离群分布学习和图持续学习。对于每个场景,都提出了详细的分类法,包括对存在的分布偏移图学习进展的具体描述和讨论。此外,我们还讨论了在分布偏移下图学习的潜在应用和未来方向,通过系统分析这一领域的当前状态。这篇综述旨在为处理图分布偏移的有效图学习算法的开发提供一般指导,并激发在这一领域的未来研究和进展。

01

『九个月实现破亿用户的可扩展架构』学习笔记

昨晚把美拍架构负责人洪小军在Qcon上的『九个月实现破亿用户的可扩展架构』分享看了一遍(其实那场QCon我也在现场,但是当时小军这个会场实在太多人了,而且当时北京还没开空调又热又闷,所以我就挑了个凉快的会场去听了哈哈),感觉有不少值得学习的地方,在这里记录一下,强烈建议大家把视频从头到尾看一遍,不要只看ppt。尤其是身在创业公司且公司业务发展速度比较快的同学。 总的一个中心思想是在不同阶段选择最适合自己的方案。这句话说起来简单,但是背后的各种辛酸泪以及血的教训只有亲历者才能理解了。下面我们从各个角度分别来看

05
领券