专栏首页企鹅号快讯受限玻尔兹曼机

受限玻尔兹曼机

关注AI君,领略人工智能之美

受限玻尔兹曼机

Restricted Bolltzmann Machine

概述

各位读者,新年好!

在《技术词条》系列文章的上一篇中,AI君讲了一个监督式学习的算法LDA,这篇文章AI君就来讲一个非监督式学习的经典算法——受限玻尔兹曼机,英文全称Restricted Boltzmann Machine, 简称RBM。

受限玻尔兹曼机(RBM)能学习并发现数据的复杂规则分布,将多个RBM堆叠就构成了深度置信网络(deep belief network, DBN),从而可以从更加复杂的高维输入数据中抽取维数更低、区别度较高的特征。

正是凭借着它与众不同的特点,受限玻尔兹曼机在各种商用推荐系统中发挥着不可替代的作用,比如购物推荐,搜索系统等。

示例

接下来以推荐系统为例,讲解受限玻尔兹曼机算法的原理。如下图所示,受限玻尔兹曼机是一种两层的神经网络模型,由可见层(visible layer)和隐藏层(hidden layer)组成,每层有若干个节点。隐藏层和可见层之间是无向(undirected)连接的,但隐藏层各单元之间没有连接,可见层各单元之间也没有连接。各隐藏节点和各可见节点之间是相互独立的。

观测数据从可见层传入,隐藏层数据则代表了推荐结果。图中各参数的含义。

v表示可见层节点的状态,h表示隐藏层节点的状态。一般情况下,v 和 h 只在中二选一进行取值,这种结构被称做二元受限玻尔兹曼机(Binary RBM)。

与普通神经网络类似,w 表示可视层和隐藏层的连接权重(weight),b 和c 表示连接偏置(bias)。

受限玻尔兹曼机一个最主要的优点就是所有可见节点独立于其它可见节点。从图中可以看出,隐藏层节点之间没有连接,当观测数据在可视层给定后,隐藏层的各个节点之间是相互独立的。

大部分机器学习方法的本质都是一种优化方法,因为每种方法都有相应的能量函数(energy function)或者损失函数(loss function)。算法训练的过程就是优化能量函数的过程。受限玻尔兹曼机的能量函数如下:

其中,wij表示第 i 个可视节点和第 j 个隐藏节点的连接权值;bi和 bj则表示偏置;v 和 h 表示节点状态,二元RBM中取值为0或者1。

与普通神经网络类似,RBM算法在训练阶段,通过不断地训练,学习更新权值和偏置参数。然后用学习到的参数预测评价输出(隐藏层)。

总结

通过上述上述例子中我们看到受限玻尔兹曼机本质是一种两层的神经网络结构。

这一神经网络结构包括隐藏层和可视层,一般可视层用来代表数据;隐藏层用来发掘数据的联系。

受限玻尔兹曼机作为非监督式学习领域的经典算法,能够自动学习数据特征广泛应用于目标检测、识别、预测和可视化任务中。

祝好!

AI君

2018年1月1日 于欧洲

End

图片来源

http://www.aitists.com/wp-content/uploads/2016/07/7-8-2.jpg

Fischer A,I.gel C.An introduction to restricted Boltzmann machines[C]//Proc of the 17th Iberoamerican Congress on Progress in Pattern Recognition,Image Analysis,Com puter Vision,and Applications,2012:23.Fig.1.

参考文献

Fischer A,I.gel C.An introduction to restricted Boltzmann machines[C]//Proc of the 17th Iberoamerican Congress on Progress in Pattern Recognition,Image Analysis,Com puter Vision,and Applications,2012:14—36.

关注AI君,领略人工智能之美

本文来自企鹅号 - 全球大搜罗媒体

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 如何利用已有的大数据技术,搭建机器学习平台

    人脑具备不断积累经验的能力,依赖经验我们便具备了分析处理的能力,比如我们要去菜场挑一个西瓜,别人或者自己的经验告诉我们色泽青绿、根蒂蜷缩、纹路清晰、敲声浑响的西...

    挖掘大数据
  • 技术干货:一文详解LDA主题模型

    原标题:专栏 | 技术干货:一文详解LDA主题模型 达观数据专栏 作者:达观数据NLP组-夏琦 本篇博文将详细讲解LDA主题模型,从最底层数学推导的角度来详细讲...

    企鹅号小编
  • 如何用机器学习满足产品需求

    关于机器学习有太多的文章介绍了,如果还对机器学习一知半解的可以参考一下其他文章,我的其他文章中也有简单介绍了机器学习。本文主要介绍机器学习的应用以及我们如何使用...

    企鹅号小编
  • 機器學習算法起航系列一·支持向量機

    上期我們分享了線性SVM的內容,並對凸二次規劃問題的求解進行了簡單的推導,最後得到分離超平面的函數能夠對新輸入的樣本進行分類。本期我們將繼續探討非線性SVM,了...

    企鹅号小编
  • 当今最火10大统计算法,你用过几个?

    为什么学习统计学习?理解不同技术背后的理念非常重要,它可以帮助你了解如何使用以及什么时候使用。同时,准确评估一种方法的性能也非常重要,因为它能告诉我们某种方法在...

    企鹅号小编
  • 乌镇峰会:人工智能的主场

    这些大佬的讨论,让乌镇峰会成了人工智能的主场 当关注互联网大会的相关报道时,人们容易流于大会饭局等这类表面事件,而内在的重要话题其实有许多值得关注的干货。本次大...

    企鹅号小编
  • 游戏开发中的人工智能:遗传算法

    本文内容:遗传算法提供游戏软件 AI 演化的可能。虽然遗传算法不是经常被应用于游戏中,但是它们在某些特定应用方面的潜力是值得令人期待的,尤其是结合其他方法使用的...

    企鹅号小编
  • 完爆阿尔法狗元,DeepMind用5000台TPU训练出新算法,1天内称霸3种棋类

    大数据文摘作品 作者:姜范波、Aileen、Yawei Xia、龙牧雪、魏子敏 距离阿尔法狗元版本刷屏一个多月时间,阿尔法狗又进化了,这次不光可以玩围棋,不再是...

    企鹅号小编
  • 逻辑回归算法学习与思考

    本文是作者对于逻辑回归算法的学习和思考,主要介绍:逻辑回归的算法介绍、逻辑回归的数学原理、逻辑回归的实际应用、逻辑回归的总结以及网络安全场景预测,欢迎大家参考讨...

    企鹅号小编
  • 当人工智能开始料理螃蟹并达到专业水准了,还有什么是它做不到的?

    1. “亲爱的,你说说看,谁是世界上最美丽的人?” 是白雪公主。 “嗯?请你再说一遍,谁是世界上最美丽的人?” 是白雪公主。 “哼,我生气了,最后说一遍,谁是世...

    企鹅号小编

扫码关注云+社区

领取腾讯云代金券