专栏首页企鹅号快讯Hinton胶囊理论代码开源,上线即受热捧

Hinton胶囊理论代码开源,上线即受热捧

当前的深度学习理论是由GeoffreyHinton大神在2007年确立起来的,但是如今他却认为,“CNN的特征提取层与次抽样层交叉存取,将相同类型的相邻特征检测器的输出汇集到一起”是大有问题的。

去年9月,在多伦多接受媒体采访时,Hinton大神断然宣称要放弃反向传播,让整个人工智能从头再造。10月,人们关注已久的Hinton大神那篇Capsule论文"Dynamic Routing between Capsules"终于揭开面纱。

在论文中,Capsule被Hinton大神定义为这样一组神经元:其活动向量所表示的是特定实体类型的实例化参数。他的实验表明,鉴别式训练的多层Capsule系统,在MNIST手写数据集上表现出目前最先进的性能,并且在识别高度重叠数字的效果要远好于CNN。

近日,该论文的一作Sara Sabour终于在GitHub上公开了该论文中的代码。该项目上线5天便获得了217个Star,并被fork了14218次。下面让我们一起来看看Sara Sabour开源的代码吧。

胶囊模型的代码在以下论文中使用:

"Dynamic Routing between Capsules" by Sara Sabour, Nickolas Frosst, Geoffrey E. Hinton.

要求

运行测试代码验证设置是否正确,比如:

pythonlayers_test.py

快速MNIST测试结果:

从以下网址下载并提取MNIST记录到 $DATA_DIR/:https://storage.googleapis.com/capsule_toronto/mnist_data.tar.gz

从以下网址下载并提取MNIST模型检测点(checkpoint)到$CKPT_DIR:

pythonexperiment.py --data_dir=$DATA_DIR/mnist_data/ --train=false\

--summary_dir=/tmp/ --

checkpoint=$CKPT_DIR/mnist_checkpoint/model.ckpt-1

快速CIFAR10 ensemble测试结果:

从以下网址下载并提取cifar10二进制版本到$DATA_DIR/:

https://www.cs.toronto.edu/~kriz/cifar.html

从以下网址下载并提取cifar10模型检测点(checkpoint)到$CKPT_DIR:

https://storage.googleapis.com/capsule_toronto/cifar_checkpoints.tar.gz

将提取的二进制文件目录作为data_dir传递给($DATA_DIR)

python experiment.py --data_dir=$DATA_DIR --train=false--dataset=cifar1\

--hparams_override=num_prime_capsules=64,padding=SAME,leaky=true,remake=false\

--summary_dir=/tmp/--checkpoint=$CKPT_DIR/cifar/cifar{}/model.ckpt-600000\

--num_trials=7

Sample CIFAR10训练命令:

pythonexperiment.py --data_dir=$DATA_DIR--dataset=cifar10 --max_steps=600000\

--hparams_override=num_prime_capsules=64,padding=SAME,leaky=true,remake=false\

--summary_dir=/tmp/

Sample MNIST完整训练命令:

python experiment.py --data_dir=$DATA_DIR/mnist_data/--max_steps=300000\

--summary_dir=/tmp/attempt0/

Sample MNIST 基线训练命令:

python experiment.py --data_dir=$DATA_DIR/mnist_data/--max_steps=300000\

--summary_dir=/tmp/attempt1/--model=baseline

上述模型的训练期间在验证集上进行测试

训练中连续运行的注意事项:

在训练中 --validate = true

总共需要总共2块GPU:一个用于训练,一个用于验证

如果训练和验证工作位于同一台机器上,则需要限制每个任务的RAM占用量,因为TensorFlow会默认为第一个任务分配所有的RAM,而第二个任务将无法进行。

在MultiMNIST上测试/训练:

--num_targets=2

--data_dir= $ DATA_DIR / multitest_6shifted_mnist.tfrecords@10

生成multiMNIST / MNIST记录的代码位于input_data / mnist / mnist_shift.py

生成multiMNIST测试分割的示例代码:

python mnist_shift.py --data_dir=$DATA_DIR/mnist_data/ --split=test--shift=6

--pad=4 --num_pairs=1000 --max_shard=100000 --multi_targets=true

为affNIST泛化能力建立expanded_mnist: --shift = 6;--pad = 6。

Github地址:

https://github.com/Sarasra/models/tree/master/research/capsules

论文地址:

https://arxiv.org/abs/1710.09829

本文来自企鹅号 - AI科技大本营媒体

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 神经网络与反向传播算法

    1、前言 先简单的说下神经网络吧。 简单来说就是模拟大脑的神经元。 前端会有一大批数据输入,例如,前端输入了一张图像的所有像素点。 中间层会有成千上万个网络数据...

    企鹅号小编
  • 2018年已经到来,中年工程师们又被迫涨了一岁……

    岁末年初,2018年的元旦放假三天,已经被朋友圈刷的各种“18岁”照片刷屏。 ? 成龙大哥在唱《壮志在我胸》的时候,还是英气勃发的: ? 大哥2017年最新上映...

    企鹅号小编
  • “你的深度学习框架包含15个漏洞”新知

    来源 |量子位(QbitAI) 整理 |苏锋 编者按: 目前,一大批科技巨头和创业公司将目光聚集在可进行自主深度学习的AI身上。无人驾驶汽车、机器人医生、机器投...

    企鹅号小编
  • Hinton胶囊理论代码开源,上线即受热捧

    当前的深度学习理论是由Geoffrey Hinton大神在2007年确立起来的,但是如今他却认为,“CNN的特征提取层与次抽样层交叉存取,将相同类型的相邻特征检...

    AI科技大本营
  • 谷歌正式开源 Hinton 胶囊理论代码,即刻用 TensorFlow 实现吧

    雷锋网(公众号:雷锋网) AI 研习社消息,相信大家对于「深度学习教父」Geoffery Hinton 在去年年底发表的胶囊网络还记忆犹新,在论文 Dynami...

    AI研习社
  • javascript设计模式 -- 工厂模式

    工厂模式哈,看了半天感觉大概意思就是说,有这么个函数,它会创建什么样的实例出来, 完全是取决于你传了什么样的参数进去。 创建出来的这些实例,都拥有相同的接口,就...

    web前端教室
  • 【死磕Java并发】—–J.U.C之Condition

    在没有Lock之前,我们使用synchronized来控制同步,配合Object的wait()、notify()系列方法可以实现等待/通知模式。在Java SE...

    用户1655470
  • [编程经验] Pandas中比较好用的几个方法

    话说我现在好久不做深度学习的东西了,做了一段时间是的NLP,以为可以去尝试各种高大上的算法,然而现在还并没有,反而觉得更像是做数据挖掘的。。平时遇到的比较多的问...

    用户1622570
  • 聊一聊马里奥这款游戏

    (《游戏机实用技术》《掌机王SP》原编辑;《东东不死传说》作者;现就职于“腾讯光子工作室群”)

    江西恐龙
  • 对于今日头条官方说明的致谢和几个追问

    非常感谢今日头条对我的疑问(见我的这篇文章:今日头条投放没效果?可能不是你自己的问题!)的解答(见公众号:头条营销观察文章:今日头条广告投放效果到底怎么样?这篇...

    iCDO互联网数据官

扫码关注云+社区

领取腾讯云代金券