mxnet-Gluon(一):mxnet-Gluon 入门

沐神已经提供了一份官方的文档,为什么要写这么一篇博客: 沐神提供的中文文档质量是非常高的,地址,但是感觉需要看一段时间才能上手 Gluon, 本博客结构模仿 pytorch 的60分钟入门博客编写,旨在用最快的时间可以直接上手Gluon。同时也可以对Gluon的几个重要模块进行一下总结,以后查询方便。 (博主水平有限,如有错误,请不吝指出。)

下面进入正题:

mxnet 新提出的 Gluon 框架是一个 动态图框架, 如果之前有接触过 pytorch 的话,那么应该对动态图框架应该非常熟悉:

  • 动态图: define by run
  • 静态图: define and run

静态图的代表就是 Tensorflow,我们首先定义好计算图,然后 feed 数据进行训练网络参数。 动态图的代表就是 chainer, pytorch 和 Gluon 了,在运行的时候定义图。在每个 mini-batch 进行训练的时候都会重新定义一次计算图。

安装

pip uninstall mxnet
pip install --pre mxnet-cu75 # CUDA 7.5
pip install --pre mxnet-cu80 # CUDA 8.0

数据放在哪

在神经网络中,我们有三种类别的数据:

  • 样本数据(输入 和 label)
  • 网络模型参数
  • 网络中每层的输入 数据

在 mxnet/Gluon 中,这三种类别的数据都是由 mx.nd.NDArray 来存储的。

但是需要注意的是:

  • 模型参数记得 NDArray.attach_grad(), 因为模型参数更新的时候需要用到 梯度,attach_grad() 就是为参数梯度的存放开辟了空间,以助于参数更新的时候进行访问
  • 不需要显式访问梯度的 NDArray 是不需要 attach_grad() 的
from mxnet import nd
val = nd.normal(shape=(2,3)) # 在使用 ide 时,没有代码提示不代表没有,常去官网查查 API
val
[[ 1.18392551  0.15302546  1.89171135]
 [-1.16881478 -1.23474145  1.55807114]]
<NDArray 2x3 @cpu(0)>
val_shape = val.shape # 获取 NDArray 的shape, 这操作 很 numpy
val_shape
(2, 3)

mxnet.nd 中也提供了很多对 NDArray 的操作 https://mxnet.incubator.apache.org/api/python/ndarray.html#array-creation-routines

自动求导

在 0.11 之前的版本中, mxnet 的 NDArray 是不支持自动求导,自动求导的支持仅存在与 mxnet 的符号编程中,但是为 Gluon(基于mxnet 的动态图框架), mxnet 对于 NDArray 也提供了自动求导机制, 通过 mxnet.autograd 来支持

from mxnet import nd
from mxnet import autograd

# nd.NDArray
val = nd.ones(shape=(3, 5))

w1 = nd.ones(shape=(5, 1))
b1 = nd.ones(shape=(1,))

w1.attach_grad() # 对模型参数进行 attach_grad()
b1.attach_grad() # 同上

with autograd.record(): # 使用 autograd 来记录计算图
    res = nd.dot(val, w1)
    res2 = res + b1
res2.backward() # 这里需要注意的是,如果 res2 不是标量的话,默认的操作是会对 res2 做一个 sum,然后在 backward

print(w1.grad)
print(b1.grad)
[[ 3.]
 [ 3.]
 [ 3.]
 [ 3.]
 [ 3.]]
<NDArray 5x1 @cpu(0)>

[ 3.]
<NDArray 1 @cpu(0)>

神经网络

到这里,终于可以看到 Gluon 的身影了,Gluon给我们提供了一些简洁的 高级 API,我们可以使用这个 API 快速的搭建想要的神经网络结构。

祭出神器 mxnet.gluon(版本 0.11 及以上 才有这个工具包)

深度学习的流水线大概有以下几个步骤:

  • 搭建网络结构
  • 初始化模型参数
  • 训练模型参数
    • mini-batch 数据输入到网络中
    • 计算 loss
    • 反向传导得到 模型参数的梯度信息
    • 更新参数
from mxnet import nd
from mxnet.gluon import nn
from mxnet.gluon import loss
from mxnet import gluon

class Net(nn.Block):
    def __init__(self, **kwargs):
        super(Net, self).__init__(**kwargs)

        self.dense0 = nn.Dense(256) # 我们只需要对 层的输出维度 作说明,不需要考虑输入的维度
        self.dense1 = nn.Dense(1)   # Gluon 会帮助我们 推断出 输入的 维度

    def forward(self, x):
        return self.dense1(nd.relu(self.dense0(x)))

net = Net()

net.initialize() # 要先 initialize, 再创建 trainer
trainer = gluon.Trainer(net.collect_params(), 'sgd',
                        {'learning_rate': 0.001}) # 优化方法
val = nd.ones(shape=(10, 100))
label = nd.ones(shape=(10,))

criterion = loss.L2Loss() # 创建一个 loss 标准

with autograd.record(): # 需要反向传导的地方记得 record 一下
    res = net(val)
    print(res)
    loss = criterion(res, label)

loss.backward() # 计算梯度

trainer.step(batch_size=10)  # 更新模型参数

print(net(val))
print(loss)
[[-0.18936485]
 [-0.18936485]
 [-0.18936485]
 [-0.18936485]
 [-0.18936485]
 [-0.18936485]
 [-0.18936485]
 [-0.18936485]
 [-0.18936485]
 [-0.18936485]]
<NDArray 10x1 @cpu(0)>

[[-0.14251584]
 [-0.14251584]
 [-0.14251584]
 [-0.14251584]
 [-0.14251584]
 [-0.14251584]
 [-0.14251584]
 [-0.14251584]
 [-0.14251584]
 [-0.14251584]]
<NDArray 10x1 @cpu(0)>

[ 0.70729446  0.70729446  0.70729446  0.70729446  0.70729446  0.70729446
  0.70729446  0.70729446  0.70729446  0.70729446]
<NDArray 10 @cpu(0)>

上面的事例已经将关键的 Gluon 组件一一展现了出来,包括:

  • gluon.nn.Block 容器一样的概念,用来构建神经网络
  • gluon.loss 各种 loss 的聚集地
  • gluon.nn 有很多 层的 实现
  • gluon.rnn 里面有循环神经网络的一些 Cell
  • gluon.Trainer 用来辅助更新模型参数的一个辅助类
  • mxnet.optimizer 里面有很多优化器
  • mxnet.nd 对于 NDArray 的 op 级别操作在这里

如何使用 GPU

当进行运算的值都处于 GPU 上时,则运算发生在 GPU 上。

使用 ctx 来为创建的 NDArray 指定设备

import mxnet as mx
val = nd.zeros(shape=(3,),ctx=mx.gpu())
print(val)
[ 0.  0.  0.]
<NDArray 3 @gpu(0)>

如何将 定义的网络的参数放到 GPU 上

net.initialize() # 利用这个函数, 里面有个 ctx 参数

NDArray 与 numpy.ndarray 互相转换

import numpy as np
from mxnet import nd

# numpy.ndarray --> mx.NDArray
val = np.array([1, 2, 3])
nd_val = nd.array(val) # 深复制

# NDArray --> numpy.ndarray
val_ = nd_val.asnumpy()

参考资料

https://github.com/zackchase/mxnet-the-straight-dope/blob/7a00d1ec253129d844055870d59266a8a502f5c4/chapter06_optimization/gd-sgd.ipynb https://zh.gluon.ai/index.html

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

告别选择困难症,我来带你剖析这些深度学习框架基本原理

无论你喜欢或不喜欢,深度学习就在这里等着你来学习,伴随着技术淘金热而来的过多的可选项,让新手望而生畏。

1213
来自专栏蜉蝣禅修之道

Max-Min Fairness带宽分配算法

1576
来自专栏大数据挖掘DT机器学习

TensorFlow实例: 手写汉字识别

MNIST手写数字数据集通常做为深度学习的练习数据集,这个数据集恐怕早已经被大家玩坏了。识别手写汉字要把识别英文、数字难上很多。首先,英文字符的分类少,总共10...

4125
来自专栏Deep learning进阶路

caffe随记(二) --- 数据结构简介

caffe随记(二) --- 数据结构简介 注:这篇文章博文我写的内容有点多,建议看一下左上角的目录,对本文结构有个大致了解。 1、Blob Blob其实...

2220
来自专栏AI研习社

问答 | tensorflow 怎么配置非数据并行分布式?

假设模型有两个conv层和1个fc层,有3台服务器每台各一块显卡,请问要怎么实现把计算图拆成3部分,每块显卡分别计算一个层,而不是把计算图完整复制3份放到3块卡...

1073
来自专栏ATYUN订阅号

Tensorflow生成模型收集: GANs与VAEs

本文将收集TensorFlow可生成的模型,列举出各种GANs和VAEs的Tensorflow实现。 生成对抗网络(GANs) 列表 ? GAN文章链接:htt...

4445
来自专栏闪电gogogo的专栏

压缩感知重构算法之子空间追踪(SP)

SP的提出时间比CoSaMP提出时间稍晚一些,但和压缩采样匹配追踪(CoSaMP)的方法几乎是一样的。SP与CoSaMP主要区别在于“In each itera...

1847
来自专栏机器之心

专栏 | 深度好奇提出文档解析框架:面向对象的神经规划

26410
来自专栏机器之心

教程 | 如何通过PyTorch上手Tensor Comprehensions?

选自pytorch 作者:Priya Goyal等 机器之心编译 参与:乾树、黄小天 Tensor Comprehensions 是一个降低高性能代码编写门槛的...

2677
来自专栏机器之心

资源 | 基于TensorFlow和Sonnet,DeepMind开源可微神经计算机实现包

选自Github 机器之心编译 参与:蒋思源 去年 DeepMind 在自然期刊上曾介绍过一种记忆增强式的神经网络形式-可微神经计算机。而近日,DeepMin...

2593

扫码关注云+社区