首页
学习
活动
专区
圈层
工具
发布

深度学习: translation invariant (平移不变性)

以下摘自池化-ufldl: 如果人们选择图像中的连续范围作为池化区域,并且只是池化相同(重复)的隐藏单元产生的特征,那么,这些池化单元就具有平移不变性 (translation invariant...这就意味着即使图像经历了一个小的平移之后,依然会产生相同的 (池化的) 特征。...在很多任务中 (例如物体检测、声音识别),我们都更希望得到具有平移不变性的特征,因为即使图像经过了平移,样例(图像)的标记仍然保持不变。...例如,如果你处理一个MNIST数据集的数字,把它向左侧或右侧平移,那么不论最终的位置在哪里,你都会期望你的分类器仍然能够精确地将其分类为相同的数字。

2.1K30

ICML 2019 反锯齿下采样改进网络平移不变性

在计算机视觉特征提取的研究历史中,平移不变性是算法设计者不断追求的。 具有平移不变性意即目标在图像中平移一定的像素,提取的特征不会差别很大。 请看以下这幅动图: ?...在深度卷积网络的世界里,一只鸟的图片平移了几个像素,它是一只鸟的概率就不同了,甚至就不再是一只鸟了,这就说不过去了。 这说明CNN网络不具有良好的平移不变性。...作者考虑了CNN网络的各个结构,认为卷积层本身是具有平移不变性的,而池化层破坏了平移不变性。...作者认为可以借鉴信号处理中反锯齿算法的设计,即在信号下采样之前进行低通滤波(也就是图像模糊),缓解池化操作带来的对平移不变性的破坏。 具体做法请看下图: ?

1.3K11
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    快把卷积神经网络中的平移不变性带回来!

    其实卷积(或者说滤波吧,两者差个卷积核的Flip,这里姑且混为一谈)操作本身是一个平移两个信号并且积分的操作,从定义本身就是可以做到平移不变的。真正让卷积做不到平移不变的,是MaxPool。...但是事实上是,我只是给图片稍稍平移了一下,我的模型就尼玛疯了。 ? ? 邪恶的MaxPool 其实AvgPool都没有这个问题,为啥偏偏MaxPool有?...可以看到,仅仅是平移了一个像素,MaxPool的结果就有可能完全不同。 既然MaxPool这么不好,我们为什么还要用呢?因为我们需要。举个简单的例子: ?...而且最神奇的是,按照道理说,这样的处理可以增强平移不变性,但是会损失精度。但是测试的结果居然是:精度也提升了。 ?...Hack 作者测试了MaxPool和MaxBlurPool在不同的层的情况,可以看到,随着层数变深,平移引起的变化越发严重,而使用了MaxBlurPool以后,虽然不能完全消除印象,但是能减轻很多了。

    1.3K30

    AI面试题之深入浅出卷积网络的平移不变性

    2 卷积网络有没有平移不变性 有的文章说有,有的说没有,那么到底有没有呢? 我先说出我个人的观点,现在的卷积网络是不具有平移不变性的。不过两个论点我都会讲明白。...5 平移不变性的定义 说了这么多平移不变性,那么平移不变性的具体的严格的定义到底是什么呢? 定义几个数学符号。原始的输入数据为 ,经过下采样层变成 ,然后再经过上采样得到 ....(D是Down下采样,U是Up上采样) 【平移不变性】 如果平移之后的输入图像的下采样的上采样与原始输入图像的下采样的上采样相同,那么就是平移不变性。...6 如何实现平移不变性 现在使用的全局平均池化层,就是可以实现平移不变性。依然是用上面的例子: ?...可以发现,其实不管平移多少,反正得到的数值都是一样的,全局平均池化消除了位置的影响,所以实现了平移不变性。

    4.9K11

    让CNN有了平移不变性,同时提升ImageNet成绩:Adobe开源新方法,登上ICML

    不管是最大池化,跨步卷积,还是平均池化,都对平移太敏感: 比如,0、0、1、1、0、0、1、1……这样的周期,最大池化是这样: ? 但如果平移一格,最大池化完全变了一个样子: ?...在保留平移不变性的情况下,还能提升ImageNet上的分类准确率。VGG、ResNet、DenseNet……各种架构都适用。...想知道怎样帮助CNN保留平移不变形,就要了解平移不变性是怎样打破的。 理查观察了VGG的第一个卷积层,发现它对平移毫无波澜,并不是在这里打破的。...但再观察第一个池化层,对平移有了反应:平移偶数个像素,表征还不改变,平移奇数个像素,表征就完全变了。 向网络深处走,经过的池化层越多,问题就越严重。 ?...平移不变性与准确率兼得 理查用ImageNet分类任务测试了一下进化后的VGG,原以为会损失一些准确率,结果: ? △右为抗锯齿 ? △空心为抗锯齿 在解锁平移不变性的同时,准确率还提升了。

    1.4K30

    数据平移是什么

    特征值) 数学形式 ′=+(向量加法) ′=−(标量运算) 核心目的 改变位置,保持几何结构不变 调整数据分布范围,消除基线偏移 不变性 保持距离、角度、面积等度量性质 保持数据相对关系(如差值、分布形态...空间位置) 数据集(数值序列、特征值) 数学形式 ′=+(向量加法) ′=−(标量运算) 核心目的 改变位置,保持几何结构不变 调整数据分布范围,消除基线偏移 不变性 保持距离、角度、面积等度量性质...分布不变性:保持数据的内在结构(如差异、比例),仅调整全局位置。 应用普适性:适用于任何数值型数据,是数据预处理的基石操作。 6....与几何平移的共性 尽管应用场景不同,两者在以下层面具有一致性: 操作形式:通过加减常数实现整体位移。 不变性原理:保持“结构”不变(几何形状/数据分布)。...结论 您提到的数据平移  ′=−min​ 是代数平移的重要应用,其数学意义与几何平移一脉相承,均通过加减操作实现整体位移并保持结构不变性。

    34700

    平移变换深入理解

    文章通过对关于平移变换讨论,涵盖几何平移、代数平移及数据预处理中的平移操作,结合数学本质、应用场景与核心差异进行系统梳理: 一、平移变换的数学本质与分类 1....数学形式: 数据平移: ′=−min(将数据对齐到零点)。 参数方程:随时间 t 的匀速平移(如 )。 核心性质: 分布不变性:保持数据相对差值和比例。...二、几何平移与数据平移的对比 维度 几何平移 数据平移 操作对象 点、向量、几何图形 数值序列、数据集、信号 数学形式 向量加法或齐次坐标矩阵乘法 标量加减(如 ′=−) 核心目的 改变空间位置,保持几何结构...调整数据基线,消除偏移或标准化范围 不变性 距离、角度、面积 相对差值、分布形态(方差、偏度等) 典型应用 图形学、机器人运动学、坐标系变换 数据归一化、信号处理、特征工程 依赖参数 平移向量(人为指定或动态计算...) 统计量(如 min​、均值) ′=−) 核心目的 改变空间位置,保持几何结构 调整数据基线,消除偏移或标准化范围 不变性 距离、角度、面积 相对差值、分布形态(方差、偏度等) 典型应用

    1.1K20

    区块链不变性简介

    不变性是相对的. 例如, 如果我向一大群朋友发送一封电子邮件, 那么从我的角度来看, 这些数据是不变的....所以不变性是相对的, 并且涉及改变的难度. 私人数据库 对于私人数据库, 终端用户(end-user, 或称最终用户)可能拥有只读权限. 她无法更改该数据库中某一行的内容....关于不变性, 有两个关键理念有助于让篡改易于检测: 散列(hashes, 或称哈希)和块(blocks). 哈希 哈希函数是一种数学函数, 把 数据变成数据的指纹的过程称为 哈希....一个好的散列函数的两个相关属性是: 很难从哈希值反演出原始数据 如果输入数据稍有变化, 哈希值将以不可预知的方式变化 哈希是区块链安全性和不变性的基础. 你可以在这里使用他们.

    3.1K60

    JavaScript 中的 不变性(Immutability)

    不变性(Immutability)是函数式编程的核心原理,也有很多面向对象的程序提供了这一特性。...什么是不变性? 可变性的文本定义是可能会被改变的。 在编程中,我们使用这个词来表示允许状态随时间变化的对象。 一个不可改变的值是完全相反的 - 创建之后,它永远不会改变。...JavaScript中不变性的实践 JavaScript还没有不可变的列表和地图,所以我们现在需要一个第三方库。有两个很好的可用。...不变性在这种情况下如何解决?...总结 我希望这篇文章给你提供了一些关于不变性如何帮助你改进你的代码的知识,所提供的例子可以说明这个工作的实际效果。不变性这个概念正在持续升温。

    1.4K20
    领券