【科学杂志】贝叶斯模型颠覆深度学习?概念大于实际

粗略看了一下Science那篇论文 ---Human-level concept learning through probabilistic program induction。

整体思想是用一个贝叶斯模型来描述人写字的概念, 其实就是模拟了人写字的过程, 并且模型已知字是由笔画组成这个概念, 生成一个字的过程就是寻找笔画, 并且用笔画组成这个字。整个过程分为两大步:

  • 生成一个字的结构(type) : 笔画集合、笔画间的关系
  • 生成一个字的形象(token) :通过按概率采样每一个笔画的 初始点 以及 轨迹 生成最后的图像

算法在本文末有描述。显然笔画集合、笔画间的关系集合 是非常重要的, 文中提到这个来源于 background 显然不是来源于训练集了。

所以可以玩 one-shot. 训练集只用于学习各个阶段的抽样概率(选笔画的概率, 选笔画关系的概率等)。但是整体来看这个模型的这些概率参数决定了最后对文字的生成结果, 用一条训练样本训练风险应该比较大, 即使作者在一些步骤加入了随机扰动可以从多个结果中选一个最优的还是不太能理解为何效果会那么好。

如果不同语种分开来做的话, 笔画集合、笔画关系集合本来就限制在了一个非常小的范围内, 这可能是模型效果非常优秀的原因。

模型确实在给定了字是由笔画组成的这个先验知识后, 能自己去组合这些笔画。这和人类学习写字的过程几乎是相同的。遇见一个新的字人也会这样去模仿。

但是如果仔细来想, 这个问题其实不难。因为一般的语种, 笔画集合、笔画关系集合确实非常小, 如果分语种学习似乎是在过拟合这个语种。因为解空间本来就小, 这时候BPL能取得很好的效果, 比较希望能看到这个模型能用到别的问题上的效果, 那样会更震撼。

作者的说法没有问题, 是学习了写字的概念。但是如果能不加入字是由笔画组成的概念, 而让机器学习出字由笔画组成这个概念, 这就真的是机器在和人竞争了。DeepLearning 并不适合解文中提到的问题, 所以要拿来对比其实有失偏颇。但是在大家盲目的DeepLearning的今天, 作者提出的这个概念意义远大于漂亮的解决学习写字的任务。

干货下载

1.【华创证券】机械设备:机器人大趋势

2.【东吴证券】大国崛起:中国智造值得中长期布局

3.【广发证券】清洁机器人:旧时王谢堂前燕,飞入寻常百姓家

4.【民生证券】人工智能 + 适合的应用场景

5.【荐书】The Master Algorithm

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2015-12-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏量子位

5W字入门干货:手把手教你用机器学习做金融交易(下)

作者:江海 高能物理专业博士 量子位 已获授权编辑发布 欢迎回来 上接手把手教你用机器学习做金融交易(上) 2.4 Classification 接下来我们要介...

3175
来自专栏AI科技评论

机器学习顶会 ICML 2018 斯德哥尔摩开幕,公平性研究戴上光环

AI 科技评论按:经过 7 月 10 日的三个 Tutorial Session 和 Opening Reception 晚宴之后,在瑞典斯德哥尔摩举办的机器学...

1364
来自专栏机器之心

CVPR 2017国内外亮点论文汇集:史上最盛大会议,华人占据半壁江山

机器之心原创 参与:李亚洲、路雪、李泽南 深度学习界的「春晚」CVPR 2017 已在夏威夷火奴鲁鲁 Hawaii Convention Center 开幕,在...

3126
来自专栏大数据文摘

【干货】用朴素贝叶斯进行文本分类

2199
来自专栏IT派

CVPR2018公布优秀论文,何恺明获PAMI青年研究者奖

正在美国盐湖城举行的年度计算机视觉和模式识别盛会CVPR(Conference on Computer Vision and Pattern Recogniti...

781
来自专栏专知

【CVPR2018最佳论文重磅出炉】斯坦福伯克利折桂,何恺明获TPAMI年轻研究员奖

【导读】美国当地时间6 月 18 号,CVPR 2018 在犹他州盐湖城开幕。作为计算机视觉领域的全球顶会,吸引了国内外众多学界、产业界的研究人员参与。CVPR...

1072
来自专栏新智元

【谷歌大脑实习一周年】50 篇论文看机器学习、计算机视觉和自然语言趋势

【新智元导读】谷歌大脑实习项目(Google Brain Residency Program)一周年,硕果累累,在 ICML、ICLR、CVPR 等顶会上发文 ...

3625
来自专栏人工智能头条

Yann LeCun:谁能解释极限学习机(ELM)牛在哪里?

1274
来自专栏机器之心

搞事!ICLR 2018七篇对抗样本防御论文被新研究攻破,Goodfellow论战

3619
来自专栏机器之心

学界 | NIPS 2018对抗视觉挑战赛结果公布:CMU邢波团队包揽两项冠军

NIPS 2018 对抗视觉挑战赛地址:https://www.crowdai.org/challenges/nips-2018-adversarial-vis...

1475

扫码关注云+社区