神经网络体系搭建(四)——快速上手TensorFlow

本篇是神经网络体系搭建的第四篇,解决体系搭建的TensorFlow相关问题,详见神经网络体系搭建(序)

TensorFlow安装

建议用Anaconda。 - Mac & Linux

conda create -n tensorflow python=3.5
source activate tensorflow
conda install pandas matplotlib jupyter notebook scikit-learn
conda install -c conda-forge tensorflow
  • Windows
conda create -n tensorflow python=3.5
activate tensorflow
conda install pandas matplotlib jupyter notebook scikit-learn
conda install -c conda-forge tensorflow

TensorFlow的套路

初识TensorFlow,最不舒服的一点是:变量不能好好声明定义,非得用特定api封装成tensor才能使用,而且必须到session里才能运行。但是熟悉了它的套路之后也就习惯了,可以帮助打破以前的思维定式。

Session

TesorFlow的API构建在computational graph概念上,是一种对数学运算过程可视化的方法。session是运行graph的环境,分配GPU/CPU。这是和以往程序不同的一点,它是在session中运行的,所以逻辑写在session里

数据封装

在TensorFlow里,数据不以int、string等方式存储,而是以“tensor”的形式存在。也就是说,所有过去我们熟悉的基本类型,都得用它的api再包装一遍,变成tensor,才能在session里用。

常量

import tensorflow as tf
s = tf.constant('hello world!') # 0 维度的字符串 tensor
i = tf.constant(123) # 0 维度的int32 tensor
a = tf.constant([123,324,235432]) # 1 维度的int32 tensor
m = tf.constant([123,324,235432],[23,342,3]) # 2 维度的int32 tensor

非常量

  • 很多时候一开始没有初值,需要运行时赋值,这时候就需要用**tf.placeholder() 。用tf.placeholder()赋值的变量需要在session中用**feed_dict设置值。 x = tf.placeholder(tf.string) y = tf.placeholder(tf.int32) z = tf.placeholder(tf.float32) with tf.Session() as sess: output = sess.run(x, feed_dict={x: 'Test String', y: 123, z: 45.67}) print(output) # 输出‘Test String’
  • 还有一种是一开始有初值,后续需要不断更改的,比如权重矩阵w这一类,需要用tf.Variable,用tf.Variable声明的变量必须在session用tf.global_variables_initializer()初始化所有变量 n_features = 120 n_labels = 5 weights = tf.Variable(tf.truncated_normal((n_features, n_labels))) bias = tf.Variable(tf.zeros(n_labels)) with tf.Session() as sess: sess.run(tf.global_variables_initializer()) print(sess.run(weights)) print(sess.run(bias )) 上述代码tf.truncated_normal()表示取自一个正态分布的随机值,tf.zeros() 函数返回一个都是 0 的 tensor。

运算

实现神经网络算法避免不了加减乘除运算,这里罗列几个最基本的运算:

  • tf.add() x = tf.add(5, 2) # 7
  • tf.subtract x = tf.subtract(10, 4) # 6
  • tf.multiply x = multiply(2, 5) # 10
  • tf.divide # 除需要做一下类型转换,转成同一类型才能相除,否则会报错 x = tf.divide(tf.cast(tf.constant(10), tf.float32), tf.cast(tf.constant(2), tf.float32)) # 5.0
  • 矩阵乘法tf.matmul def linear(input, w, b): """ Return linear function in TensorFlow :param input: TensorFlow input :param w: TensorFlow weights :param b: TensorFlow biases :return: TensorFlow linear function """ # TODO: Linear Function (xW + b) return tf.add(tf.matmul(input, w), b)
  • 自然对数 tf.log() x = tf.log(100) # 4.60517

batch

batch在TensorFlow中经常出现。它指一次训练数据的一小部分,而不是一整个数据集,这可以减少内存占用。虽然从运算角度讲是低效的,但是总比在一些内存低的电脑上不能运行强。这是它产生的初衷。

可以看一个计算: 一个float32 占4个字节,则 train_features Shape: (55000, 784) Type: float32 占55000x784x4=172480000字节 train_labels Shape: (55000, 10) Type: float32 占55000x10x4=2200000字节 weights Shape: (784, 10) Type: float32 占784x10x4=31360字节 bias Shape: (10,) Type: float32 占10x4=40字节 输入、权重和偏置项总共的内存空间需求是 174MB,并不是太多。你可以在 CPU 和 GPU 上训练整个数据集。 但将来你要用到的数据集可能是以 G 来衡量,甚至更多。你可以买更多的内存,但是会很贵。

随机梯度下降结合起来也很好用。因此每次训练对数据混洗,取一个batch,对每个batch用梯度下降求权重,因为batch是随机的,所以其实是在对每个batch做随机梯度下降。

batch的计算方法(用例取自优达学城) 例如有 1000 个数据点,想每个 batch 有 128 个数据。但是 1000 无法被 128 整除。你得到的结果是其中 7 个 batch 有 128 个数据点,1个 batch 有 104 个数据点。(7*128 + 1*104 = 1000) batch 里面的数据点数量会不同的情况下,需要利用 TensorFlow 的 tf.placeholder() 函数来接收这些不同的 batch。 继续上述例子,如果每个样本有 n_input = 784 特征,n_classes = 10 个可能的标签,features 的维度应该是 [None, n_input],labels 的维度是 [None, n_classes]。

# Features and Labels
features = tf.placeholder(tf.float32, [None, n_input])
labels = tf.placeholder(tf.float32, [None, n_classes])

None 维度在这里是一个 batch size 的占位符。在运行时,TensorFlow 会接收任何大于 0 的 batch size。

batch的实现

import math
def batches(batch_size, features, labels):
    """
    Create batches of features and labels
    :param batch_size: The batch size
    :param features: List of features
    :param labels: List of labels
    :return: Batches of (Features, Labels)
    """
    assert len(features) == len(labels)
    # TODO: Implement batching
    output_batches = []
    sample_size = len(features)
    for start_i in range(0, sample_size, batch_size): 
        end_i = start_i + batch_size
        batch = [features[start_i:end_i], labels[start_i:end_i]]
        output_batches.append(batch)

    return output_batches

Epochs(代)

一个代是指整个数据集正向、反向训练一次。代在神经网络里是一个可调的超参数。

for epoch_i in range(epochs):
  ...

有了上面的基础知识,就可以用TensorFlow搭建模型了,当然,需要的比如softmax,交叉熵等等函数TensorFlow里都封装,具体用时查看API就行。

问题回答

至此,TensorFlow上手完毕。 - TensorFlow如何使用?套路是什么? 见上。简单讲除了所有数据封装在tensor中,运行在session中外没什么特别的。


以上内容来自822实验室神经网络知识分享 我们的822,我们的青春 欢迎所有热爱知识热爱生活的朋友和822思享实验室一起成长,吃喝玩乐,享受知识。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能LeadAI

TensorFlow从1到2 | 第五章 非专家莫入!TensorFlow实现CNN

当看到本篇时,根据TensorFlow官方标准《Deep MNIST for Experts》(https://tensorflow.google.cn/get...

4478
来自专栏技术墨客

TensorFlow入门 原

本文将初步向码农和程序媛们介绍如何使用TensorFlow进行编程。在阅读之前请先 安装TensorFlow,此外为了能够更好的理解本文的内容,阅读之前需要了解...

1132
来自专栏月色的自留地

《连连看》算法c语言演示(自动连连看)

3229
来自专栏北京马哥教育

Tensorflow自学之前的bigpicture

作者:数据娃掘 来源:http://blog.csdn.net/jdbc/article/details/68957085 前言 目前,深度学习在计算机科学各领...

3667
来自专栏落影的专栏

Metal入门教程(六)边界检测

Metal入门教程(一)图片绘制 Metal入门教程(二)三维变换 Metal入门教程(三)摄像头采集渲染 Metal入门教程(四)灰度计算 Metal入门教程...

3109
来自专栏人工智能LeadAI

人脸识别 | 卷积深度置信网络工具箱的使用

本文主要以ORL_64x64人脸数据库识别为例,介绍如何使用基于matlab的CDBN工具箱。至于卷积深度置信网络(CDBN,Convolutional Dee...

4535
来自专栏TensorFlow从0到N

TensorFlow从1到2 - 5 - 非专家莫入!TensorFlow实现CNN

当看到本篇时,根据TensorFlow官方标准《Deep MNIST for Experts》,你已经达到Expert Level,要恭喜了。 且不说是否夸大...

1.5K9
来自专栏深度学习入门与实践

【深度学习系列】PaddlePaddle之数据预处理

  上篇文章讲了卷积神经网络的基本知识,本来这篇文章准备继续深入讲CNN的相关知识和手写CNN,但是有很多同学跟我发邮件或私信问我关于PaddlePaddle如...

2608
来自专栏大学生计算机视觉学习DeepLearning

手指静脉细化算法过程原理解析 以及python实现细化算法

1774
来自专栏大学生计算机视觉学习DeepLearning

手指静脉细化算法过程原理解析 以及python实现细化算法

4795

扫码关注云+社区

领取腾讯云代金券