大家好,又见面了,我是你们的朋友全栈君。
全部笔记的汇总贴:《人工神经网络原理》-读书笔记汇总
BP和Hopfield网络陷入局部最小点的原因
随机型神经网络的基本思想
随机型神经网络的特点
Boltzmann机
介于BP神经网络的多层层次结构与离散型Hopfield神经网络的单层全互连结构之间。
网络中的 n n n个神经元之间相互连接,为双向对称连接结构,即 w i j = w j i w_{ij}=w_{ji} wij=wji。
每个神经元到自身都无反馈,即 w i i = 0 w_{ii}=0 wii=0。
每个神经元的输出 x j x_j xj均为0、1二值离散输出。
n n n个神经元的状态集合构成了Boltzmann机网络的状态。
n n n个神经元分为可视层与隐含层两大部分,其中的可视层又继续分为输入部分和输出部分,但这些层次在Boltzmann机中没有明显的划分界限。
Boltzmann机的能量函数为 E = − 1 2 ∑ i = 1 n ∑ j = 1 n w i j x i x j + ∑ i = 1 n θ i x i E=-\frac12\sum_{i=1}^n\sum_{j=1}^nw_{ij}x_ix_j+\sum_{i=1}^n\theta_ix_i E=−21i=1∑nj=1∑nwijxixj+i=1∑nθixi
随着Boltzmann机的运行,从概率意义上说,网络的能量呈下降趋势。这意味着在网络状态的演化过程中,尽管网络能量总的变化趋势是下降的,但不能排除在某一时刻某个神经元按照小概率事件进行状态变化,从而使网络的能量暂时上升。
Boltzmann机网络处于某一状态的概率主要取决于网络在该状态下的能量,某个网络状态对应的能量越低,该状态出现的概率就越大;某个网络状态对应的能量越高,该状态出现的概率就越低。
在网络状态反复更新,并且更新次数足够大时,网络中某个状态出现的概率服从Boltzmann分布 P ( E i ) = e − E i T ∑ i = 1 m e − E i T P(E_i)=\frac{e^{-\frac{E_i}T}}{\sum_{i=1}^me^{-\frac{E_i}T}} P(Ei)=∑i=1me−TEie−TEi
特点
基本思路
Boltzmann机实现联想记忆的实质是网络通过学习目标概率分布函数,将其记忆在网络的连接权值上,并在以后的回忆阶段能够将这一概率分布再现出来。
当Boltzmann机按照运行规则使网络状态发生转移的次数足够多时网络中各个状态的出现将服从Boltzmann分布。将Boltzmann分布获得的网络状态出现的概率称为期望概率,网络运行过程中网络各个状态实际出现的概率称为实际概率,两个概率之间的差值就是网络调整连接权值的基础。
下一章传送门:《人工神经网络原理》读书笔记(七)-自适应共振理论神经网络
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/159852.html原文链接:https://javaforall.cn