【科学杂志】贝叶斯模型颠覆深度学习?概念大于实际

粗略看了一下Science那篇论文 ---Human-level concept learning through probabilistic program induction。

整体思想是用一个贝叶斯模型来描述人写字的概念, 其实就是模拟了人写字的过程, 并且模型已知字是由笔画组成这个概念, 生成一个字的过程就是寻找笔画, 并且用笔画组成这个字。整个过程分为两大步:

  • 生成一个字的结构(type) : 笔画集合、笔画间的关系
  • 生成一个字的形象(token) :通过按概率采样每一个笔画的 初始点 以及 轨迹 生成最后的图像

算法在本文末有描述。显然笔画集合、笔画间的关系集合 是非常重要的, 文中提到这个来源于 background 显然不是来源于训练集了。

所以可以玩 one-shot. 训练集只用于学习各个阶段的抽样概率(选笔画的概率, 选笔画关系的概率等)。但是整体来看这个模型的这些概率参数决定了最后对文字的生成结果, 用一条训练样本训练风险应该比较大, 即使作者在一些步骤加入了随机扰动可以从多个结果中选一个最优的还是不太能理解为何效果会那么好。

如果不同语种分开来做的话, 笔画集合、笔画关系集合本来就限制在了一个非常小的范围内, 这可能是模型效果非常优秀的原因。

模型确实在给定了字是由笔画组成的这个先验知识后, 能自己去组合这些笔画。这和人类学习写字的过程几乎是相同的。遇见一个新的字人也会这样去模仿。

但是如果仔细来想, 这个问题其实不难。因为一般的语种, 笔画集合、笔画关系集合确实非常小, 如果分语种学习似乎是在过拟合这个语种。因为解空间本来就小, 这时候BPL能取得很好的效果, 比较希望能看到这个模型能用到别的问题上的效果, 那样会更震撼。

作者的说法没有问题, 是学习了写字的概念。但是如果能不加入字是由笔画组成的概念, 而让机器学习出字由笔画组成这个概念, 这就真的是机器在和人竞争了。DeepLearning 并不适合解文中提到的问题, 所以要拿来对比其实有失偏颇。但是在大家盲目的DeepLearning的今天, 作者提出的这个概念意义远大于漂亮的解决学习写字的任务。

干货下载

1.【华创证券】机械设备:机器人大趋势

2.【东吴证券】大国崛起:中国智造值得中长期布局

3.【广发证券】清洁机器人:旧时王谢堂前燕,飞入寻常百姓家

4.【民生证券】人工智能 + 适合的应用场景

5.【荐书】The Master Algorithm

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2015-12-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CSDN技术头条

预测建模、监督机器学习和模式分类概览

模式分类(pattern classification)和机器学习(machine learning)是非常热的话题,几乎在所有的现代应用程序中都得到了应用:例...

1965
来自专栏PPV课数据科学社区

以撩妹为例,5分钟让你秒懂深度学习!

爱在七夕 七夕,农历七月初七, 人们说它是中国的情人节, 可最初它是中国少女的乞巧节, 而现在,这些都不重要, 重要的是, 它是属于所有心中有“爱”之人的节日...

2894
来自专栏新智元

【技术必备】解读 2016 年十大机器学习算法及其应用

【新智元导读】 机器学习领域都有哪些常用算法?本文带来盘点。 毫无疑问,过去两年中,机器学习和人工智能的普及度得到了大幅提升。 如果你想学习机器算法,要从何下手...

3826
来自专栏机器人网

机器学习算法优缺点汇总

它是另一种方法(通常是回归方法)的拓展,这种方法会基于模型复杂性对其进行惩罚,它喜欢相对简单能够更好的泛化的模型。 例子:

1534
来自专栏机器学习算法与Python学习

机器学习正在成为程序员的必备能力

1094
来自专栏有趣的Python

3-机器学习启蒙- 分类-分析情感

3- 分类-分析情感 讨论分类,普遍研究。 是否是垃圾邮件 是运动话题还是政治话题,亦或是娱乐话题 餐厅点评 从主题预测情感:智能餐厅评价系统 今天是个好日子,...

2707
来自专栏机器人网

机器学习算法集锦:最常见算法类别与优缺点?

它是另一种方法(通常是回归方法)的拓展,这种方法会基于模型复杂性对其进行惩罚,它喜欢相对简单能够更好的泛化的模型。

902
来自专栏SIGAI学习与实践平台

【机器学习之数学篇】数学老大难?一点都不难!

数学是机器学习的内功。作为机器学习的基石,数学知识无论如何是绕不开的,机器学习中大量的问题最终都可以归结为求解最优化问题,微积分、线性代数是最优化方法和理论的基...

702
来自专栏大数据文摘

机器学习算法一览

24914
来自专栏AI科技评论

学界 | 机器学习十大算法都是何方神圣?看完你就懂了

AI科技评论按:机器学习与人工智能变得越来越热。大数据原本在工业界中就已经炙手可热,而基于大数据的机器学习则更加流行,因为其通过对数据的计算,可以实现数据预测、...

3385

扫码关注云+社区