首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

Domain Adaptation for Structured Output viaDiscriminative Patch Representations

预测语义分割等结构化输出依赖于昂贵的每像素注释来学习卷积神经网络等监督模型。然而,在没有模型调整注释的情况下,在一个数据域上训练的模型可能无法很好地推广到其他域。为了避免注释的劳动密集型过程,我们开发了一种域自适应方法,将源数据自适应到未标记的目标域。我们建议通过构建聚类空间来发现逐片输出分布的多种模式,从而学习源域中补丁的判别特征表示。以这种表示为指导,我们使用对抗性学习方案来推动聚类空间中目标补丁的特征表示更接近源补丁的分布。此外,我们还表明,我们的框架是对现有领域自适应技术的补充,并在语义分割方面实现了一致的改进。广泛的消融和结果在各种设置的众多基准数据集上进行了演示,例如合成到真实和跨城市场景。

04

每日论文速递 | DeepMind提出在线偏好对齐新方法:IPO-MD

摘要:确保语言模型的输出与人类偏好相一致,对于保证有用、安全和愉快的用户体验至关重要。因此,近来人们对人类对齐问题进行了广泛研究,并出现了一些方法,如人类反馈强化学习(RLHF)、直接策略优化(DPO)和序列似然校准(SLiC)。在本文中,我们有两方面的贡献。首先,我们展示了最近出现的两种配准方法,即身份策略优化(IPO)和纳什镜像下降(Nash-MD)之间的等价性。其次,我们引入了 IPO 的概括,命名为 IPO-MD,它利用了 Nash-MD 提出的正则化采样方法。这种等价性乍看起来可能令人惊讶,因为 IPO 是一种离线方法,而 Nash-MD 是一种使用偏好模型的在线方法。然而,如果我们考虑 IPO 的在线版本,即两代人都由在线策略采样并由训练有素的偏好模型注释,就可以证明这种等价性。利用这样的数据流优化 IPO 损失,就等同于通过自我博弈找到偏好模型的纳什均衡。基于这种等效性,我们引入了 IPO-MD 算法,该算法与一般的纳什-MD 算法类似,使用混合策略(介于在线策略和参考策略之间)生成数据。我们将在线 IPO 和 IPO-MD 与现有偏好数据损失的不同在线版本(如 DPO 和 SLiC)在总结任务上进行了比较。

01

Nat. Methods | MARS: 跨异构单细胞实验发现新型细胞类型

今天给大家介绍由美国斯坦福大学计算机科学系Jure Leskoveck课题组在《Nature methods》上发表了一篇名为“MARS: discovering novel cell types across heterogeneous single-cell experiments”的文章。文中提出了用于识别和注释已知的以及新的细胞类型的元学习方法MARS,MARS通过跨多个数据集传输潜在细胞表示,克服了细胞类型的异质性。使用深度学习来学习细胞嵌入功能以及细胞嵌入空间中的一组地标。该方法具有发现以前从未见过的细胞类型并注释尚未注释的实验的独特能力。将MARS应用于大型小鼠细胞图集,并展示了其准确识别以前从未见过的细胞类型的能力。此外,MARS通过概率性地在嵌入空间中定义细胞类型,自动为新的细胞类型生成可解释的名称。

05

每日论文速递 | TeaMs-RL: 通过强化学习让LLM自己学会更好的指令

摘要:大语言模型(LLM)的开发经常面临挑战,这些挑战源于强化学习与人类反馈(RLHF)框架中对人类注释者的严重依赖,或与自我指导范式相关的频繁而昂贵的外部查询。在这项工作中,我们转向了强化学习(RL)--但有一个转折。与典型的 RLHF(在指令数据训练后完善 LLM)不同,我们使用 RL 直接生成基础指令数据集,仅此数据集就足以进行微调。我们的方法 TeaMs-RL 使用一套文本操作和规则,优先考虑训练数据集的多样化。它有助于生成高质量数据,而无需过度依赖外部高级模型,从而为单一微调步骤铺平了道路,并消除了对后续 RLHF 阶段的需求。我们的研究结果凸显了我们的方法的主要优势:减少了对人工参与的需求,减少了模型查询次数(仅为WizardLM总查询次数的5.73美元/%$),同时,与强大的基线相比,LLM在制作和理解复杂指令方面的能力得到了增强,模型隐私保护也得到了大幅改善。

01

每日论文速递 | [COLING'24] 探索数据多样性对LLM对齐的影响

摘要:与人类偏好对齐可以防止大型语言模型(LLMs)产生误导性或有毒内容,但同时需要高成本的人类反馈。假设人工标注的资源有限,可以考虑两种不同的分配方式:标注更多样化的 "指令"(PROMPTS)或更多样化的 "回应"(RESPONSES)。然而,这两种方式的影响还没有直接的比较。在这项工作中,我们首先根据样本数量控制双方的多样性,以便进行微调,这可以直接反映出它们的影响。我们发现,对于人类对齐而言,更多的response和更少的提示反而能更好地触发 LLM。此外,提示语多样性的概念可能比通常以个位数量化的回答更为复杂。因此,我们提出了一种新的提示多样性表述方式,进一步揭示了微调后 LLM 的最终性能与提示多样性呈线性相关。我们还将其用于数据增强,并通过实验展示其对不同算法的影响。

01

每日论文速递 | ALARM:通过分级Reward对齐LLM

摘要:我们介绍了 ALaRM,它是第一个在人类反馈强化学习(RLHF)中模拟分层奖励的框架,旨在增强大语言模型(LLM)与人类偏好的一致性。该框架通过将整体奖励与特定方面的奖励整合在一起,解决了当前对齐方法的局限性,这些方法往往难以应对人类监督信号的不一致性和稀缺性。这种整合能更精确、更一致地指导语言模型实现预期结果,尤其是在复杂、开放的文本生成任务中。通过采用一种基于一致性过滤和组合多种奖励的方法,该框架提供了一种可靠的机制来改善模型的一致性。我们在长式问题解答和机器翻译任务中应用 gpt-3.5-turbo 进行成对比较,验证了我们的方法,并展示了与现有基线相比的改进。我们的工作强调了分层奖励建模在改进 LLM 训练过程以改善人类偏好对齐方面的有效性。

01

Prior-based Domain Adaptive Object Detection for Hazy

恶劣的天气条件,如雾霾和雨水,会破坏捕获图像的质量,导致训练在干净图像上的检测网络在这些图像上表现不佳。为了解决这一问题,我们提出了一种无监督的基于先验的领域对抗目标检测框架,使检测器适应于雾蒙蒙和多雨的条件。基于这些因素,我们利用利用图像形成原理获得的特定天气的先验知识来定义一个新的先验-对抗性损失。用于训练适应过程的前对抗性损失旨在减少特征中与天气相关的信息,从而减轻天气对检测性能的影响。此外,我们在目标检测管道中引入了一组残差特征恢复块来消除特征空间的扭曲,从而得到进一步的改进。针对不同情况(如霾、雨),在不同数据集(雾城景观、雨城景观、RTTS和UFDD)上进行的评估显示了所提方法的有效性。

03
领券