大家好，今天我们将开启全新的 MMDetection 系列文章，是时候带大家学习一些非典型操作技能啦。
前几天的一篇文章，给大家介绍了预训练模型的微调方法Prompt Tuning。《一文了解预训练模型 Prompt 调优》。今天再给大家介绍另外一种主流的预训练模型微调方法Adapter，并将Adapter与Prompt两种方法做了对比，希望能对你的论文写作有启发。
摘要：在各种 NLP 任务中，大规模预训练和针对特定任务的微调取得了巨大成功。由于对大型预训练模型的所有参数进行微调会带来巨大的计算和内存挑战，人们开发出了几种高效的微调方法。其中，低秩适应（Low-rank adaptation，LoRA）在冻结的预训练权重基础上对低秩增量更新矩阵进行微调，已被证明特别有效。然而，LoRA 在所有层中统一分配秩，并依赖穷举搜索来找到最佳秩，这导致了高计算成本和次优的微调性能。为了解决这些局限性，我们引入了 AutoLoRA，这是一种基于元学习的框架，用于自动识别每个 LoRA 层的最佳等级。AutoLoRA 将低秩更新矩阵中的每个秩-1 矩阵与一个选择变量相关联，该选择变量决定是否应丢弃秩-1 矩阵。我们开发了一种基于元学习的方法来学习这些选择变量。通过对这些变量的值进行阈值化处理，确定最佳秩。我们在自然语言理解、生成和序列标注方面的综合实验证明了 AutoLoRA 的有效性。
随着大型语言模型（LLM）在使用和部署方面的不断增加，打开黑箱并了解它们的内部工作原理变得越来越重要。更好地理解这些模型是如何做出决策的，这对改进模型和减轻其故障（如幻觉或推理错误）至关重要。
完整内容主要介绍使用TensorFlow开发的深度神经网络如何部署在NVIDIA Jetson上，并利用TensorRT加速到5倍。
多模态学习结合了多种数据模式，拓宽了模型可以利用的数据的类型和复杂性：例如，从纯文本到图像映射对。大多数多模态学习算法专注于建模来自两种模式的简单的一对一数据对，如图像-标题对，或音频文本对。然而，在大多数现实世界中，不同模式的实体以更复杂和多方面的方式相互作用，超越了一对一的映射。论文建议将这些复杂的关系表示为图，允许论文捕获任意数量模式的数据，并使用模式之间的复杂关系，这些关系可以在不同样本之间灵活变化。为了实现这一目标，论文提出了多模态图学习（MMGL），这是一个通用而又系统的、系统的框架，用于从多个具有关系结构的多模态邻域中捕获信息。特别是，论文关注用于生成任务的MMGL，建立在预先训练的语言模型（LMs）的基础上，旨在通过多模态邻域上下文来增强它们的文本生成。
我们的大脑是个不断进化的物体，一直在持续不断修改自身的结构，以保留新的信息，并根据我们与环境的互动去掉旧的信息。正如我们所知，人工神经网络及其激活网最初是仿照大脑建立的。然而，大多数人工神经网络在结构上是静态的，依赖于批量学习，在训练时它们被输入很多批独立同分布(IID)数据，并且学习到的参数在部署时被固定，这与我们大脑的学习方式不一样: 我们不是通过一次性处理随机批量的数据来学习，而是通过处理我们从感官接收到的关于我们周围环境的连续的相关信息流。
我将借鉴自己的经验，列出微调背后的基本原理，所涉及的技术，及最后也是最重要的，在本文第二部分中将分步详尽阐述如何在 Keras 中对卷积神经网络模型进行微调。
在自然语言处理领域，预训练语言模型（PLMs）扮演着至关重要的角色，它可以根据任务需求，可迁移至各种下游任务中。然而，PLMs在适应新语言时面临挑战，尤其是在数据和计算资源受限的情况下。本文提出了一种通过「主动遗忘机制」，可在预训练期间增强PLMs语言可塑性的方法。实验结果表明，采用该机制的预训练模型在低数据环境下表现出更快的收敛速度，并且相比标准PLMs准确率高出21.2%。
相关概念：灾难遗忘 (McCloskey＆Cohen, 1989; French, 1999) :一个模型忘记了它最初受过训练的任务
Attention is not explanation | Attention is not not explanation
摘要：参数高效微调（PEFT）是一种流行的方法，用于裁剪预训练的大型语言模型（LLM），特别是随着模型规模和任务多样性的增加。低秩自适应（LoRA）基于自适应过程本质上是低维的想法，即，显著的模型变化可以用相对较少的参数来表示。然而，与全参数微调相比，降低秩会遇到特定任务的泛化错误的挑战。我们提出了MELoRA，一个迷你合奏低秩适配器，使用较少的可训练参数，同时保持较高的排名，从而提供更好的性能潜力。其核心思想是冻结原始的预训练权重，并训练一组只有少量参数的迷你LoRA。这可以捕获迷你LoRA之间的显著程度的多样性，从而促进更好的泛化能力。我们对各种NLP任务进行了理论分析和实证研究。我们的实验结果表明，与LoRA相比，MELoRA在自然语言理解任务中的可训练参数减少了8倍，在指令跟随任务中的可训练参数减少了36倍，从而实现了更好的性能，这证明了MELoRA的有效性。
这是一篇长文教程，建议大家读不完的话一定要收藏，利用闲暇时光将其读完！更加欢迎将本文转发给同学、朋友、同事等。
无论是从剧情还是制作上这部电影都掀起了一阵舆论浪潮。影片中令人印象最深刻的无疑是几场“时间钳形大战”，高度还原了时间逆转的整个过程，而不是直接跳转到过去的某个时间点。
最近的一系列研究表明，纯解码器生成模型可以通过训练利用下一个 token 预测生成有用的表征，从而成功地生成多种模态（如音频、图像或状态 - 动作序列）的新序列，从文本、蛋白质、音频到图像，甚至是状态序列。
自从世界了解人工智能以来，有一个特别的用例已经被讨论了很多。它们是自动驾驶汽车。我们经常在科幻电影中听到、读到甚至看到这些。有人说，我们将在2010年拥有自动驾驶汽车，有人说到2020年，但我们在2021年就实现了，我们刚刚能够解决自动驾驶汽车给世界带来的变化的一角。自动驾驶汽车的一个基本特性，对象检测。
[1]吴恩达老师课程原地址: https://mooc.study.163.com/smartSpec/detail/1001319001.htm
本文主要尝试将大模型LLM用于多领域推荐模型，常见的多任务模型包含共享层和特定任务的层来训练模型。本文提出采用LLM来提取域不变特征，并使用门控融合各个特征，包括域不变特征，特定任务的特征以及其他ID特征等，从而得到查询和item的表征。并且，使用域自适应模块训练多个场景的样本，得到多领域基础模型，然后可以通过预训练微调的方式将多领域基础模型用于冷启动场景。
仅解码器的生成模型在文本、蛋白质、音频、图像和状态序列等多种模态中已经展示了它们能够通过下一个Token预测生成有用的表示，并成功生成新序列。然而，由于世界本质上是多模态的，最近的研究尝试创建能够同时在多个模态中生成输出的多模态模型。这通常通过在预训练或后续微调阶段进行某种形式的词汇扩展（将多模态表示转换为离散标记并将其添加到模型的基本词汇表中）来实现。虽然多模态预训练具有强大的性能优势，但也存在一些问题，如添加新模态后需要从头训练新的模型，并进行超参数搜索，以确定各模态之间的最佳训练数据比例，这使得这种解决方案不适合较小的模态。另一种方法是在预训练后进行词汇扩展，将未见过该模态的模型微调到该模态，但这会破坏原有模型的强大能力，仅能执行微调后的跨模态任务。
本文来自来自迪菲赫尔曼迪导（强烈推荐此导）：深度解析预训练权重的本质和作用：你真的了解它们吗？_预训练权重是干什么的-CSDN博客
迁移学习作为一种旨在利用已有知识解决新问题的机器学习技术，在面临小样本问题时展现出强大的适应力和有效性。本文将深入剖析迁移学习在小样本问题中的应用场景、核心策略、实战技巧，并通过Python代码示例详细展示如何在实际项目中运用迁移学习。同时，我们将探讨最佳实践和注意事项，以确保迁移学习在数据匮乏环境下的高效应用。
最近，人们对从单个图像而不是从大型数据集学习生成模型的潜力产生了兴趣。这项任务意义重大，因为它意味着生成模型可以用于无法收集大型数据集的领域。然而，训练一个能够仅从单个样本生成逼真图像的模型是一个难题。在这项工作中，我们进行了大量实验，以了解训练这些方法的挑战，并提出了一些最佳实践，我们发现这些实践使我们能够比以前的工作产生更好的结果。一个关键点是，与之前的单图像生成方法不同，我们以顺序的多阶段方式同时训练多个阶段，使我们能够用较少的阶段来学习提高图像分辨率的模型。与最近的最新基线相比，我们的模型训练速度快了六倍，参数更少，并且可以更好地捕捉图像的全局结构。
选自Miguel Blog 作者：Miguel González-Fierro 机器之心编译 参与：陈韵竹、刘晓坤 迁移学习（Transfer Learning）预期将成为图像分类领域机器学习商业成就的下一驱动力。对深度网络的再利用正影响着学界和业界的走向。本文介绍了迁移学习的基本概念，以及使用迁移学习的策略。本文使用 PyTorch 代码在多个数据集中进行了实验。 GitHub 地址：https://github.com/miguelgfierro/sciblog_support/blob/master/
看看这句话，是否有似曾相似的感觉？同样的话术，我们在低代码/无代码的各种业务场景中，已经反反复复看到或者听到，关键的内容就是“我们不需要编程”。没想到，这句豪言在23年前的一本书上看到了，这本书就是《特定领域应用框架：行业的框架经验》。
深度神经网络（DNN）在训练集和测试集共享相同分布时已经实现了最先进的表现。然而，域偏移，即训练集（源域）和测试集（目标域）之间的数据分布变化，会显著降低泛化能力。这一问题在多中心医学研究中尤为突出，不同的成像中心使用不同的扫描仪、协议和受试者群体。
SFT（Supervised Fine-Tuning）监督微调是指在源数据集上预训练一个神经网络模型，即源模型。然后创建一个新的神经网络模型，即目标模型。目标模型复制了源模型上除了输出层外的所有模型设计及其参数。这些模型参数包含了源数据集上学习到的知识，且这些知识同样适用于目标数据集。源模型的输出层与源数据集的标签紧密相关，因此在目标模型中不予采用。微调时，为目标模型添加一个输出大小为目标数据集类别个数的输出层，并随机初始化该层的模型参数。在目标数据集上训练目标模型时，将从头训练到输出层，其余层的参数都基于源模型的参数微调得到。
卷积神经网络新手指南之二 引言 本文将进一步探讨有关卷积神经网络的更多细节，注：以下文章中部分内容较为复杂，为了保证其简明性，部分内容详细解释的研究文献会标注在后。 步幅和填充 让我们看回之前的转换层
本文围绕一篇论文展开，探讨了 PyTorch DDP (torch.nn.parallel) 以及 Pipeline (torch. Distributed.Pipeline) 的加速混合。
本文分享论文『Incremental-DETR: Incremental Few-Shot Object Detection via Self-Supervised Learning』，由新国立&哈工大提出 Incremental-DETR 进行基于自监督学习的增量 Few-Shot 目标检测，性能SOTA！
本部分属该两部系列中的第二部分，该系列涵盖了基于 Keras 对深度学习模型的微调。第一部分阐述微调背后的动机和原理，并简要介绍常用的做法和技巧。本部分将详细地指导如何在 Keras 中实现对流行模型 VGG，Inception 和 ResNet 的微调。
2010年代初，当深度神经网络能够使用大规模图像或文本数据学习强大的表示时，深度学习在单领域任务（如图像分类或语言翻译）中取得了初步成功[5,10]。由于公开可用的规模化注释图像中缺少医学图像，因此广泛使用了迁移学习，其中网络使用从自然图像（如ImageNet[5]）预训练获得的权重进行初始化，并在特定领域的较小数据集上进一步微调[30]。
在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。
论文地址：https://arxiv.org/pdf/2305.17216.pdf
论文题目：TOAST: Transfer Learning via Attention Steering
LLM的问题就是权重参数太大，无法在我们本地消费级GPU上进行调试，所以我们将介绍3种在训练过程中减少内存消耗，节省大量时间的方法:梯度检查点，LoRA和量化。
GAN应用范围众多，涵盖图像增强、编辑，甚至是分类和回归任务，但在此之前，GAN必须要先收集大量图像。
时间序列数据在各个领域都普遍存在，使得时间序列分析变得至关重要。传统的时间序列模型是任务特定的，具有单一的功能和有限的泛化能力。最近，大型语言基础模型揭示了它们在跨任务迁移性、零次/少次学习和决策可解释性方面的出色能力。这一成功引发了人们探索基础模型以同时解决多个时间序列挑战的兴趣。
而且它不仅会听，只要给它一段文字和图片，它就会在理解图片意境之后，结合文字要求来创作：
在解决一个任务时，我会选择加载预训练模型并逐步fine-tune。比如，分类任务中，优异的深度学习网络有很多。
视觉语言定位旨在识别由自然语言描述的视觉内容中的区域或目标[7, 21]。它作为当前具身代理连接符号概念与可感知现实世界的重要桥梁，使得代理的智能可以从感知决策发展到认知决策[16, 5]。例如，代理可以根据来自大型语言模型的计划器提供的一系列原始指令，包括对目标目标的详细描述，来制作一杯咖啡。在这一过程中，视觉语言定位在将每步指令与物理观察到的目标连接起来方面发挥着关键作用[3, 36]。因此，与3D目标的视觉语言定位是使代理能够与真实世界互动的不可或缺手段。有限的、高质量的视觉-语言配对数据阻碍了视觉语言定位技术的发展，尤其是3D视觉语言定位。为了解决这个问题，现有工作尝试[9, 28, 38, 42]使用多视角感知或外部先验，这需要额外的数据成本以及由于在固定设置中预训练的特征编码器引起的现有领域差距。在本文中，作者从领域适应的角度对语言定位任务进行了探索，受到了大型语言模型参数高效调整的领域适应的启发。
迁移学习（Transfer Learning）作为机器学习的一个重要分支，通过将一个领域或任务中学得的知识应用到另一个领域或任务中，可以在数据稀缺或训练资源有限的情况下显著提升模型性能。本文将深入探讨迁移学习的基本原理、核心方法及其在实际中的应用，并提供代码示例以帮助读者更好地理解和掌握这一技术。
剪枝是深度神经网络 (DNN) 的主要压缩方法之一，从 DNN 模型中删除不太相关的参数以减少其内存占用。为了获得更好的最终精度，通常迭代地执行剪枝，在每一步中删除越来越多的参数，并对剩余的参数应用微调(即额外的训练周期），一直持续到达到目标压缩比。然而，这个过程可能非常耗时。若采取一次性剪枝（在一个步骤中修剪所有参数并进行一次微调）来缓解这个问题，又可能会带来较高的准确性损失。
Transformer架构已经横扫了包括自然语言处理、计算机视觉、语音、多模态等多个领域，不过目前只是实验效果非常惊艳，对Transformer工作原理的相关研究仍然十分有限。
机器之心报道 编辑：陈萍、杜伟 DeepMind 的这个模型，可以说是「看一眼」就学会了。 关于智能，其关键点是在得到一个简短的指令时快速学习如何执行新任务的能力。例如，一个孩子在动物园看到动物时，他会联想到自己曾在书中看到的，并且认出该动物，尽管书中和现实中的动物有很大的差异。 但对于一个典型的视觉模型来说，要学习一项新任务，它必须接受数以万计的、专门为该任务标记的例子来进行训练。假如一项研究的目标是计数和识别图像中的动物，例如「三匹斑马」这样的描述，为了完成这一任务，研究者将不得不收集数千张图片，并在每
LoRA模块化架构让研究人员们开始探索组合多个LoRA方法，旨在实现学习特征的联合生成，增强各种任务的性能。当前线性算术组合和参数调优组合都存在一定的缺陷，为了能够动态、高效地组合多个训练后的 LoRA，本文作者提出了LoRA专家混合方法：MOLE，不仅在LoRA组合中提升了性能，还节约了计算开销，保证了LoRA的灵活性。
生成预训练Transformer（Generative Pre-trained Transformer，GPT）系列模型的成功表明，如果在大规模数据上进行训练，大型语言模型在零样本和非可视域中的少量快照任务上的性能与最新技术相当。
现在主流的排序模型设计和使用方式是：离线训练模型，冻结参数，并将其部署到在线服务。但是实际上，候选商品是由特定的用户请求决定的，其中潜在的分布（例如，不同类别的商品比例，流行度或新商品的比例）在生产环境中彼此之间存在很大差异。经典的参数冻结推理方式无法适应动态服务环境，使得排序模型的表现受到影响。
凭借令人印象深刻的能力，对大型语言模型（如LLaMA 2，GPT-3.5 Turbo和Gemini）进行特定领域和功能的微调（例如模型对齐和指令调优）变得越来越受欢迎。为了减轻完全微调的高成本，参数高效微调（PEFT），特别是LoRA，通过调整少数参数并冻结其余参数，已成为一种轻量级解决方案。然而，随着模型规模的迅速扩大，对进一步提高参数效率的需求变得越来越迫切，特别是在多LoRA场景中。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
