说起Domain Adaptation,首先要从迁移学习说起。迁移学习主要解决的是将一些任务(source domain)上学到的知识迁移到另一些任务(target domain)上,以提升目标任务上的效果。当目标任务有较充足的带标签样本时,迁移学习有多种实现方法。例如,采用Pretrain-Finetune的方式,先在源任务上Pretrain,再在目标任务上用一定量的数据Finetune;或者利用Multi-task Learning的方式,多个任务联合训练。然而,当目标任务没有带标签的数据,或者只有非常少量的带标签样本时,上述两种方法就无法采用了。因此,Domain Adaptation应蕴而生,主要解决目标任务没有数据或数据量非常少无法训练模型的场景。
解决时间序列预测任务时,训练数据太少怎么办?在机器学习场景中,Domain Adaptation是一种解决数据稀疏的常用方法。其核心思路是利用数据充足的source domain样本进行充分学习,再将这些知识迁移泛化到target domain上,两个domain的数据分布往往具有比较大的差异,一般是不同场景的数据。
本文介绍一种特殊场景下的迁移算法:隐私保护下的迁移算法。首先,本文稍微回顾一下传统迁移算法的流程、特性和局限之处,然后文章介绍几种解决当源域数据有某些访问限制的场景下实现迁移的算法。具体包括:ADDA-CVPR2017,FADA-ICLR2020,SHOT-ICML2020。
两年一度的国际计算机视觉大会 ICCV 2019 ( IEEE International Conference on Computer Vision) 将于当地时间 10 月 27 至 11 月 2 日在韩国首尔举办。旷视研究院共有 11 篇接收论文,涵盖通用物体检测及数据集、文字检测与识别、半监督学习、分割算法、视频分析、影像处理、行人/车辆再识别、AutoML、度量学习、强化学习、元学习等众多领域。在此之前,旷视研究院将每周介绍一篇 ICCV 2019 接收论文,助力计算机视觉技术的交流与落地。
本文介绍我们最近的一篇TPAMI工作:Unsupervised Multi-Class Domain Adaptation: Theory, Algorithms, and Practice。
(本文基本逻辑:TS 封装格式概览 → TS 层解析 → PES 层解析 → ES 层解析)
Ziwei Liu*, Zhongqi Miao*, Xingang Pan, Xiaohang Zhan, Dahua Lin, Stella X. Yu, Boqing Gong, Open Compound Domain Adaptation,
Learning to Adapt Structured Output Space for Semantic Segmentation
arXiv在2021年6月上传的综述论文“A Survey on Deep Domain Adaptation for LiDAR Perception“。
上一篇《Hessian-Hamiltonian MC Rendering》的思路是将哈密顿力学应用在MCMC中,从而达到优化复杂场景的渲染效果。既然哈密顿可以,朗之万立马说到“我也可以”。今天这篇论文,就是基于Hessian-Hamiltonian MC (H2MC) Rendering论文的思想,引入Langevin Monte Carlo Rendering实现渲染上的优化。
大家好,最近突然发现了一篇在专门应用于医学领域的LLaMA,名为Dr.LLaMA(太卷了太卷了),就此来分享下该语言模型的构建方法和最终的性能情况。
减小源域和目标域之间的域间差异,使得使用源域的图片和Label训练的分割模型可以用于目标域的分割。
刚看到上图时,感觉很奇怪,PCS为什么还存在于MAC中?GMII规范中PCS只存在于PHY中,见下图。
这篇文章有4篇论文速递信息,涉及图像分类、视频分类和语义分割等方向(含一篇ICLR 2018和一篇CVPR 2018)。
TS:全称为MPEG2-TS。TS即"Transport Stream"的缩写。它是分包发送的,每一个包长为188字节(还有192和204个字节的包)。包的结构为,包头为4个字节(第一个字节为0x47),负载为184个字节。在TS流里可以填入很多类型的数据,如视频、音频、自定义信息等。MPEG2-TS主要应用于实时传送的节目,比如实时广播的电视节目。MPEG2-TS格式的特点就是要求从视频流的任一片段开始都是可以独立解码的。简单地说,将DVD上的VOB文件的前面一截cut掉(或者是数据损坏数据)就会导致整个文件无法解码,而电视节目是任何时候打开电视机都能解码(收看)的。
Trans-Learn是基于PyTorch实现的一个高效、简洁的迁移学习算法库,目前发布了第一个子库——深度域自适应算法库(DALIB),支持的算法包括:
Amusi 将日常整理的论文都会同步发布到 daily-paper-computer-vision 上。名字有点露骨,还请见谅。喜欢的童鞋,欢迎star、fork和pull。
机器之心专栏 机器之心编辑部 测试时自适应(Test-Time Adaptation, TTA)方法在测试阶段指导模型进行快速无监督 / 自监督学习,是当前用于提升深度模型分布外泛化能力的一种强有效工具。然而在动态开放场景中,稳定性不足仍是现有 TTA 方法的一大短板,严重阻碍了其实际部署。为此,来自华南理工大学、腾讯 AI Lab 及新加坡国立大学的研究团队,从统一的角度对现有 TTA 方法在动态场景下不稳定原因进行分析,指出依赖于 Batch 的归一化层是导致不稳定的关键原因之一,另外测试数据流中某些
【新智元导读】《机器学习》作者、南京大学教授周志华在本文中,针对当前机器学习环境适应低、数据共享难等局限,提出新概念 learnware(学件)。Learnware 具有 reusable(可重用)、evolvable(可演进)、comprehensible(可了解) 三大特点,如若能得以实现,强大的机器学习模型也能用小数据训练,数据保密问题也能得以缓解,更多终端用户都能像专家一样使用机器学习技术,并最终形成一个 learnware 市场。 Zhi-Hua Zhou is a professor at th
我记得之前在多媒体文件格式剖析:M3U8篇中讲解了什么是流式视频,什么不是流式视频?其实有一个更简单更明确的解释,能够用于直播的格式是流式视频格式,反之则不是。
论文: Domain Adaptive Faster R-CNN for Object Detection in the Wild
论文网址:Fully Convolutional Adaptation Networks for Semantic Segmentation
清华大学大数据研究中心机器学习研究部长期致力于迁移学习研究。近日,该课题部开源了一个基于 PyTorch 实现的高效简洁迁移学习算法库:Transfer-Learn。使用该库,可以轻松开发新算法,或使用现有算法。
本文出自近几年备受瞩目的创业公司MagicLeap[1],发表在CVPR 2018,一作Daniel DeTone[2],paper[3],slides[4],code[5]。
Continual Test-Time 的领域适应(CoTTA)在 CVPR 2022 上被提出,目的是在不使用任何源数据(source domain)的情况下,将源预训练模型适应于目标域(target domain)。现有的研究主要关注于处理静态 target domain 的情况。然而,在现实世界中,机器感知系统必须在不稳定且不断变化的环境中运行,target domain 的分布会随时间不断变化。
在Meta-learning核心思想及近年顶会3个优化方向一文中,我们从meta-learning的基础思想出发,并介绍了MAML经典模型,以及在此基础上最近3年学术界对meta-learning算法本身的不同角度优化。Meta-learning可以理解为是一个工具,它可以应用于很多不同的场景中,利用meta-learning两层优化目标的思路解决特定场景下的问题。本文梳理了业内近几年利用meta-learning解决不同场景问题的顶会论文,涉及meta-learning在域自适应、迁移学习、图学习、正负样本不均衡、知识蒸馏等多个场景的应用,帮助大家更深入的理解meta-learning的本质思想,以及如何在不同问题中应用meta-learning这个工具。
域适应是解决迁移学习的重要方法,当前域适应当法依赖原域和目标域数据进行同步训练。当源域数据不可得,同时目标域数据不完全可见时,测试阶段训练(Test- Time Training)成为新的域适应方法。当前针对 Test-Time Training(TTT)的研究广泛利用了自监督学习、对比学习、自训练等方法,然而,如何定义真实环境下的 TTT 却被经常忽略,以至于不同方法间缺乏可比性。
Sensory于近日发布其嵌入式语音识别算法引擎 - TrulyHandsFree,和其嵌入式大词汇量连续语言识别引擎(Large Vocabulary Continuous Speech Recognition)- TrulyNatural的最新版本,即V6.18.1版本。
【导读】专知内容组整理了最近五篇语音识别(Automatic Speech Recognition, ASR)相关文章,为大家进行介绍,欢迎查看! 1. Audio Adversarial Examples: Targeted Attacks on Speech-to-Text(音频对抗样本:针对语音到文本的攻击) ---- ---- 作者:Nicholas Carlini,David Wagner 摘要:We construct targeted audio adversarial examples on
learn2learn 是一个用于实现元学习的 Pytorch 库,我们只需要加几行高层 API,就能为一般的机器学习流程添加元学习能力。例如在元学习 MNIST 案例中,我们可以用 PyTorch 构建整个流程,但只要加上三行 L2L 代码就能打造元学习模型。这三行代码只干三件事:获取元数据集、生成元学习任务、定义元学习模型。
源代码:https://github.com/JunaedYounusKhan51/FaceMaskDetection
DARLA: Improving Zero-Shot Transfer in Reinforcement Learning DARLA (DisentAngled Representation Learning Agent) Abstract Domain adaptation is an important open prob- lem in deep reinforcement learning (RL). In many scenarios of interest data is hard to
CHILI is a surrogate for effects of insolation and topographic shading on evapotranspiration represented by calculating insolation at early afternoon, sun altitude equivalent to equinox. It is based on the 30m "AVE" band of JAXA's ALOS DEM (available in EE as JAXA/ALOS/AW3D30_V1_1).
域适应是对于存在一些有少量或者没有标注数据的领域完成针对性任务的一个有效手段,目前对于很多任务只要有大量标注数据都能达到比较好的效果,然而标注数据的成本是高昂的,尤其是对某些专业性强的术语多的领域,标注就更困难。因此如何将已经在别的领域训练过得模型用到其他领域非常值得研究。
2023.02.02 小样本学习 Subjects: cs.Cv、cs.CL、cs.LG
领取专属 10元无门槛券
手把手带您无忧上云