深度学习: 局部响应归一化 (Local Response Normalization,LRN)

Introduction

局部响应归一化(Local Response Normalization,LRN):

提出于2012年的AlexNet中。

Principle

LRN仿造生物学上活跃的神经元对相邻神经元的抑制现象(侧抑制)。

好处有以下两点:

  • 归一化有助于快速收敛;
  • 对局部神经元的活动创建竞争机制,使得其中响应比较大的值变得相对更大,并抑制其他反馈较小的神经元,增强了模型的泛化能力。

API

tensorflow中LRN的API接口如下:

tf.nn.lrn(input,depth_radius=None,bias=None,alpha=None,beta=None,name=None)

该接口具体实现如下:

sqr_sum[a, b, c, d] = sum(input[a,b, c, d - depth_radius : d + depth_radius + 1] ** 2)
output = input / (bias +alpha * sqr_sum) ** beta

Test

具体实验可参照这位小哥的博客:Tensorflow的LRN是怎么做的,写得简洁明了。

Postscript

局部响应归一化(Local Response Normalization,LRN)如今已很少有人在用了。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏月色的自留地

从锅炉工到AI专家(3)

22790
来自专栏数据结构与算法

Noip 2016 Day1 题解

老师让我们刷历年真题, 然后漫不经心的说了一句:“你们就先做做noip2016 day1 吧” 。。。。。。 我还能说什么,,,,,老师你这是明摆着伤害我们啊2...

596120
来自专栏程序员叨叨叨

3.2 Vertex Shader Program

Vertex shader program(顶点着色程序)和 Fragment shader program(片断着 色程序)分别被 Programmable ...

9430
来自专栏机器人网

机器人A*寻路算法详解

A*(A-star)算法是一种静态网路中求解最短路径最有效的直接搜索算法。在电子游戏中最主要的应用是寻找地图上两点间的最佳路线。在机器人领域中,A*算法...

43140
来自专栏大数据挖掘DT机器学习

R语言vs Python:数据分析哪家强?

本文章旨在更客观地看待这两门语言。我们会平行使用Python和R分析一个数据集,展示两种语言在实现相同结果时需要使用什么样的代码。这让我们了解每种语言的优缺点,...

1.2K110
来自专栏木子昭的博客

白话版 动态规划法

关于动态规划法的解释, 大多都是基于背包问题的, 但背包问题背负了很多算法的解释工作,经常让初学者混淆,刚刚刷leetcode的时候,发现了一个很不错的关于动...

384110
来自专栏WOLFRAM

Mathematica 11在代数与数论中的新功能

20450
来自专栏数据小魔方

如何处理地图投影转换

最近学习地理信息可视化总是遇到投影的麻烦,包括前段时间输出两篇关于simple features的分享中,其中没有特别处理投影的问题,老司机一看就能看出其中存在...

19630
来自专栏鸿的学习笔记

写给开发者的机器学习指南(七)

Classifying email as spam or ham (NaiveBayes)

13110
来自专栏开心的学习之路

用责任链模式实现图像处理方法的选择(python)

结合我们822实验室开源的图像处理平台(http://822lab.top)介绍用责任链模式实现图像处理方法的选择(python),供后续学弟学妹参考,整个平台...

15740

扫码关注云+社区

领取腾讯云代金券