【科学杂志】贝叶斯模型颠覆深度学习?概念大于实际

粗略看了一下Science那篇论文 ---Human-level concept learning through probabilistic program induction。

整体思想是用一个贝叶斯模型来描述人写字的概念, 其实就是模拟了人写字的过程, 并且模型已知字是由笔画组成这个概念, 生成一个字的过程就是寻找笔画, 并且用笔画组成这个字。整个过程分为两大步:

  • 生成一个字的结构(type) : 笔画集合、笔画间的关系
  • 生成一个字的形象(token) :通过按概率采样每一个笔画的 初始点 以及 轨迹 生成最后的图像

算法在本文末有描述。显然笔画集合、笔画间的关系集合 是非常重要的, 文中提到这个来源于 background 显然不是来源于训练集了。

所以可以玩 one-shot. 训练集只用于学习各个阶段的抽样概率(选笔画的概率, 选笔画关系的概率等)。但是整体来看这个模型的这些概率参数决定了最后对文字的生成结果, 用一条训练样本训练风险应该比较大, 即使作者在一些步骤加入了随机扰动可以从多个结果中选一个最优的还是不太能理解为何效果会那么好。

如果不同语种分开来做的话, 笔画集合、笔画关系集合本来就限制在了一个非常小的范围内, 这可能是模型效果非常优秀的原因。

模型确实在给定了字是由笔画组成的这个先验知识后, 能自己去组合这些笔画。这和人类学习写字的过程几乎是相同的。遇见一个新的字人也会这样去模仿。

但是如果仔细来想, 这个问题其实不难。因为一般的语种, 笔画集合、笔画关系集合确实非常小, 如果分语种学习似乎是在过拟合这个语种。因为解空间本来就小, 这时候BPL能取得很好的效果, 比较希望能看到这个模型能用到别的问题上的效果, 那样会更震撼。

作者的说法没有问题, 是学习了写字的概念。但是如果能不加入字是由笔画组成的概念, 而让机器学习出字由笔画组成这个概念, 这就真的是机器在和人竞争了。DeepLearning 并不适合解文中提到的问题, 所以要拿来对比其实有失偏颇。但是在大家盲目的DeepLearning的今天, 作者提出的这个概念意义远大于漂亮的解决学习写字的任务。

干货下载

1.【华创证券】机械设备:机器人大趋势

2.【东吴证券】大国崛起:中国智造值得中长期布局

3.【广发证券】清洁机器人:旧时王谢堂前燕,飞入寻常百姓家

4.【民生证券】人工智能 + 适合的应用场景

5.【荐书】The Master Algorithm

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2015-12-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏天天P图攻城狮

iOS 图像处理系列 - 基于GPUImage的滤镜实现及优化

我们知道,对于图像处理中,滤镜效果是一种最普遍也最有效的图像优化方式。通过对图像进行不同的滤镜效果的处理,可以得到各种绚丽的图片。

2022
来自专栏企鹅号快讯

机器学习在web攻击检测中的应用实践

作者简介 岳良, 携程信息安全部高级安全工程师。2015年加入携程,主要负责渗透测试,安全评审,安全产品设计。 一、背景 ? 在web应用攻击检测的发展历史中,...

3917
来自专栏数据魔术师

干货 | 用模拟退火(SA, Simulated Annealing)算法解决旅行商问题

前 排 最近这个春节又快到了,虽然说什么有钱没钱回家过年。但也有部分小伙伴早已经备好了盘缠和干粮,准备在这个难得的假期来一场说走就走的旅行了。毕竟世界这么大我想...

4787
来自专栏闪电gogogo的专栏

【OCR技术系列一】光学字符识别技术介绍

注:此篇内容主要是综合整理了光学字符识别 和OCR技术系列之一】字符识别技术总览,详情见文末参考文献

483
来自专栏AI科技评论

【干货】雾霾太重?深度神经网络教你如何图像去雾

编者按:本文作者蔡博仑,华南理工大学在读博士研究生。主要研究方向,机器学习,计算机视觉,图像处理等。 导读 北京城被中度污染天气包围,到处都是灰蒙蒙一片——雾霾...

3868
来自专栏WOLFRAM

Mathematica 11 在几何方面的新功能

1673
来自专栏听雨堂

地图坐标

1、椭球面 地图坐标系由大地基准面和地图投影确定,大地基准面是利用特定椭球体对特定地区地球表面的逼近,因此每个国家或地区均有各自的大地基准面,我们通常称谓的...

18010
来自专栏目标检测和深度学习

OCR技术综述

最近入坑研究OCR,看了比较多关于OCR的资料,对OCR的前世今生也有了一个比较清晰的了解。所以想写一篇关于OCR技术的综述,对OCR相关的知识点都好好总结一遍...

5448
来自专栏专知

【NAACL2018最佳论文】忘掉Word2vec吧!艾伦人工智能研究院新词向量学习方法,一文了解各大奖项论文

【导读】当地时间6月1日到6月6日,第十六届自然语言处理顶级会议NAACL - HLT(Annual Conference of the North Ameri...

773
来自专栏AI2ML人工智能to机器学习

等价のGLS, 2SLS, IV ?

在前面的最小二乘法讲解中 ( 回归分析中的问题和修正的探讨(下篇), 最小二乘法的6个假设 (中篇) ), 有遇到广义最小二乘法GLS 、2阶段最小二乘法2SL...

602

扫描关注云+社区