前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Hinton胶囊理论代码开源,上线即受热捧

Hinton胶囊理论代码开源,上线即受热捧

作者头像
AI科技大本营
发布2018-04-27 09:36:36
5730
发布2018-04-27 09:36:36
举报
文章被收录于专栏:AI科技大本营的专栏

当前的深度学习理论是由Geoffrey Hinton大神在2007年确立起来的,但是如今他却认为,“CNN的特征提取层与次抽样层交叉存取,将相同类型的相邻特征检测器的输出汇集到一起”是大有问题的。

去年9月,在多伦多接受媒体采访时,Hinton大神断然宣称要放弃反向传播,让整个人工智能从头再造。10月,人们关注已久的Hinton大神那篇Capsule论文"Dynamic Routing between Capsules"终于揭开面纱。

在论文中,Capsule被Hinton大神定义为这样一组神经元:其活动向量所表示的是特定实体类型的实例化参数。他的实验表明,鉴别式训练的多层Capsule系统,在MNIST手写数据集上表现出目前最先进的性能,并且在识别高度重叠数字的效果要远好于CNN。

近日,该论文的一作Sara Sabour终于在GitHub上公开了该论文中的代码。该项目上线5天便获得了217个Star,并被fork了14218次。下面让我们一起来看看Sara Sabour开源的代码吧。

胶囊模型的代码在以下论文中使用:

"Dynamic Routing between Capsules" by Sara Sabour, Nickolas Frosst, Geoffrey E. Hinton.

要求

  • TensorFlow ( 访问 http://www.tensorflow.org 了解如何安装和升级)
  • NumPy (详见 http://www.numpy.org/)
  • GPU

运行测试代码验证设置是否正确,比如:

代码语言:javascript
复制
python layers_test.py

快速MNIST测试结果:

  • 从以下网址下载并提取MNIST记录到 $DATA_DIR/:https://storage.googleapis.com/capsule_toronto/mnist_data.tar.gz
  • 从以下网址下载并提取MNIST模型检测点(checkpoint)到$CKPT_DIR:
代码语言:javascript
复制
python experiment.py --data_dir=$DATA_DIR/mnist_data/ --train=false \
--summary_dir=/tmp/ --
checkpoint=$CKPT_DIR/mnist_checkpoint/model.ckpt-1

快速CIFAR10 ensemble测试结果:

  • 从以下网址下载并提取cifar10二进制版本到$DATA_DIR/:
  • https://www.cs.toronto.edu/~kriz/cifar.html
  • 从以下网址下载并提取cifar10模型检测点(checkpoint)到$CKPT_DIR:
  • https://storage.googleapis.com/capsule_toronto/cifar_checkpoints.tar.gz
  • 将提取的二进制文件目录作为data_dir传递给($DATA_DIR)
代码语言:javascript
复制
python experiment.py --data_dir=$DATA_DIR --train=false --dataset=cifar10 \
--hparams_override=num_prime_capsules=64,padding=SAME,leaky=true,remake=false \
--summary_dir=/tmp/ --checkpoint=$CKPT_DIR/cifar/cifar{}/model.ckpt-600000 \
--num_trials=7

Sample CIFAR10训练命令:

代码语言:javascript
复制
python experiment.py --data_dir=$DATA_DIR --dataset=cifar10 --max_steps=600000\
--hparams_override=num_prime_capsules=64,padding=SAME,leaky=true,remake=false \
--summary_dir=/tmp/

Sample MNIST完整训练命令:

代码语言:javascript
复制
python experiment.py --data_dir=$DATA_DIR/mnist_data/ --max_steps=300000\
--summary_dir=/tmp/attempt0/

Sample MNIST 基线训练命令:

代码语言:javascript
复制
python experiment.py --data_dir=$DATA_DIR/mnist_data/ --max_steps=300000\
--summary_dir=/tmp/attempt1/ --model=baseline

上述模型的训练期间在验证集上进行测试

训练中连续运行的注意事项:

  • 在训练中 --validate = true
  • 总共需要总共2块GPU:一个用于训练,一个用于验证
  • 如果训练和验证工作位于同一台机器上,则需要限制每个任务的RAM占用量,因为TensorFlow会默认为第一个任务分配所有的RAM,而第二个任务将无法进行。

在MultiMNIST上测试/训练:

代码语言:javascript
复制
--num_targets = 2
--data_dir = $ DATA_DIR / multitest_6shifted_mnist.tfrecords@10

生成multiMNIST / MNIST记录的代码位于input_data / mnist / mnist_shift.py

生成multiMNIST测试分割的示例代码:

代码语言:javascript
复制
python mnist_shift.py --data_dir=$DATA_DIR/mnist_data/ --split=test --shift=6 
--pad=4 --num_pairs=1000 --max_shard=100000 --multi_targets=true

为affNIST泛化能力建立expanded_mnist: --shift = 6;--pad = 6。

Github地址: https://github.com/Sarasra/models/tree/master/research/capsules 论文地址: https://arxiv.org/abs/1710.09829

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2018-02-01,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 AI科技大本营 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档