专栏首页石瞳禅的互联网实验室【TensorFlow实战——笔记】第1章:TensorFlow基础

【TensorFlow实战——笔记】第1章:TensorFlow基础

1.1 TensorFlow概要

TensorFlow是Google公司开源的分布式机器学习框架。它的前身是DistBelief,在Google大规模内部使用。TensorFlow最早由Google Brain研究组发起。

官网:http://www.tersorflow.org Github网址:https://github.com/tensorflow/tensorflow 模型仓库网址:https://github.com/tensorflow/models

TensorFlow关键版本发布历史

  • 2015.11.09 在Github上开源(Ver0.5.0)
  • 2015.12.10 支持Python3.3+,GPU性能提升...(Ver0.6.0)
  • 2016.02.17 支持GPU使用Cuda7.0+、cuDNN R2+、cuDNN R4等运算加速库...(Ver0.7.0)
  • 2016.04.30 通过gRPC实现分布式计算...(Ver0.8.0)
  • 2016.06.28 支持Python3.5,支持iOS,支持Mac电脑上的GPU计算...(Ver0.9.0)
  • 2016.09.13 添加C++ shape inference,添加graph-construction C/C++(大部分) Api...(Ver0.10.0)
  • 2016.11.11 支持cuDNN 5、Cuda8.0,HDFS...(Ver0.11.0)
  • 2016.12.21 支持Windows环境运行,cuDNN 5.1...(Ver0.12.0)
  • 2017.02.16 发布正式版(Ver1.0.0)
  • 2017.04.27 支持Windows下的Java Api...(Ver1.1.0)
  • 2017.06.15 支持Windows下的Python 3.6...(Ver1.2.0)

前端API支持语言

  • Python (推荐使用,API最全面)
  • C++
  • Go
  • Java
  • Rust
  • Haskell
  • 非官方(Julia、Javascript、R)

运算操作硬件

  • CPU: Linux, Mac, Windows, Android, iOS
  • GPU: Linux, Mac, Windows
  • TPU: Tensor Processing Unit(Google专门为大规模深度学习计算定制的芯片,内部使用,AlphaGo采用)

应用场景

  • 语音识别
  • 自然语言处理
  • 计算机视觉
  • 机器人控制
  • 信息抽取
  • 药物研发
  • 分子活动预测
  • ...

其他

  • 编程模型:Dataflow-like model(数据流模型)
  • 部署:一套代码,全平台运行
  • 运行模式:单机、分布式
  • 数学表达:Math Graph Expression(数学计算图表达)、Auto Differentiation(自动微分)
  • 平台支持:Google Cloud Platform、Hadoop File System

1.2 TensorFlow编程模型简介

TensorFlow的计算可以表示为一种有向图(directed graph),或者称计算图(computation graph)。图中每一个运算操作(operation)是一个节点(node),节点之间的连接线称为边(edge)。计算图中的节点可以有任意多个输入和任意多个输出,每个节点都只有一个运算操作。在计算图中流动(flow)的数据被称为张量(tensor),故得名TensorFlow。

计算图示例

import tensorflow as tf
b=tf.Variable(tf.zeros([100]))      # 生成100维的向量,初始化为0
W=tf.Variable(tf.random_uniform([784,100],-1,1))    # 生成784x100的随机矩阵W
x=tf.placeholder(name="x")      # 输入的Placeholder
relu=tf.nn.relu(tf.matmul(W, x)+b)  # ReLU(Wx+b)
C=[...]         # 根据ReLU函数的结果计算Cost
s=tf.Session()
for step in range(0, 10):
    input=...construct 100-D input array... # 为输入创建一个100维的向量
    result=s.run(C, feed_dict={x: input})   # 获取Cost,供给输入x
    print(step, result)

Session是用户使用TensorFlow时交互的接口。Session可以通过Extend方法添加节点(node)和边(edge)。Variable是一类特殊的运算操作,可以将tensor存储在内存或显存中。

内建运算操作

  • 标量运算:Add、Sub、Mul、Div、Exp、Log、Greater、Less、Equal
  • 向量运算:Concat、Slice、Split、Constant、Rank、Shape、Shuffle
  • 矩阵运算:MatMul、MatrixInverse、MatrixDeterminant
  • 带状态的运算:Variable、Assign、AssignAdd
  • 神经网络组件:SoftMax、Sigmoid、ReLU、Convolution2D、MaxPooling
  • 存储、恢复:Save、Restore
  • 队列及同步运算:Enqueue、Dequeue、MutexAcquire、MutexRelease
  • 控制流:Merge、Switch、Enter、Leave、NextIteration

工作组件

  • client:客户端执行session run与master相连
  • master:指导所有worker按流程执行计算图
  • worker:与多个硬件设备(device)相连,并管理他们

每一个worker管理多个设备,设备的name包含硬件类别、编号、任务号(单机版没有),例如:

单机模式:/job:localhost/device:cpu:0 分布式模式: /job:worker/task:17/device:gpu:3

运行模式

  • 单机模式:计算图会按依赖关系被顺序执行。当一个节点的所有前置节点执行完时(依赖数为0),这个节点就会被加入ready queue以等待执行;同时,它后置的所有节点依赖数减1,这就是标准的计算拓扑方式。
  • 分布式模式:设计了一套节点(node)分配设备策略。 通过计算一个代价模型,估算每一个节点的输入、输出tensor的大小和所需的时间。代价模型由人工经验制定也可由实际运算测量得到。策略确定后,计算图会被划分成许多子图,使用同一设备且相邻的节点会被划分到同一个子图。子图划分的图例如下:

单机单设备(device)改造成单机多设备(device)

for i in range(8):
    for d in range(4):
        with tf.device("/gpu:%d" % d):
            input = x[i] if d is 0 else m[d-1]
            m[d], c[d] = LSTMCell(input, mprev[d], cpev[d])
            mprev[d] = m[d]
            cprev[d] = c[d]

分布式容错性

  • 信息从发送节点传输到接收节点失败时
  • 周期性的worker心跳检测失败时

当一个故障被检测到,整个计算图会终止并重启。

扩展功能

  • 原生支持自动求导(以后学习)
  • 支持单独执行子图:bar:0表示名为bar的节点的第1个输出,输入数据的节点会连接一个feed node,输出的节点会连接一个fetch node
  • 支持计算图的控制流:if-condition、while-loop、Switch、Merge、Enter、Leave、NextIteration
  • 数据输入除了feed node,还有特殊的input node直接输入文件系统的路径,从client读取
  • 队列(queue):用于任务调度,让计算图的不同节点异步执行
  • 容器(container):管理长期变量,比如Variable等

性能优化

高度优化的三方计算库

  • 线性代数计算库:Eigen
  • 矩阵乘法计算库:BLAS、cuBLAS(CUDA BLAS)
  • 深度学习计算库:cuda-convnet、cuDNN

加速神经网络训练的并行计算模式

  • 数据并行:通过将一个mini-batch数据放在不同的设备上计算,实现梯度计算的并行化。计算还可以分同步、异步和混合三种方式。同步的优点是没有梯度干扰,缺点是容错性差,一台机器出现问题后要重跑;异步的优点是有一定容错性,但是受梯度影响问题,导致每组梯度利用效率下降。
  • 模型并行:将计算图的不同部分放在不同的设备上运算,可以实现简单模型的并行。
  • 流水线并行:和异步的数据并行很像,只不过是在同一个硬件设备上实现并行,提高设备利用率。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【TensorFlow实战——笔记】第2章:TensorFlow和其他深度学习框架的对比

    可以看到各大主流框架基本都支持Python,目前Python在科学计算和数据挖掘领域可以说是独领风骚。虽然有来自R、Julia等语言的竞争压力,但是Python...

    石瞳禅
  • 【TensorFlow实战——笔记】第3章:TensorFlow第一步_TensorFlow的编译及安装

    不管哪种情况,我们都推荐使用Anaconda作为Python的环境,因为可以避免大量的兼容性问题。

    石瞳禅
  • 解决CentOS中yum安装程序时出现的"Transaction check error"错误

    CentOS的VPS中默认安装过MariaDB,但是笔者还是喜欢用原来的Mysql版本;所以经过一番波折,成功把MariaDB删除并安装上了Mysql。

    石瞳禅
  • 【数据】大数据“金矿”在传统行业

    大数据、云计算、智慧城市……近年,一堆和数据有关的词汇被频繁提及,大数据逐渐渗透到大众生活里。企业纷纷宣称自己的大数据能力很强,但网民被推送的“精准广告”常常并...

    陆勤_数据人网
  • 论数据产业的拨乱反正:行业自律出奇锋

    数据猿导读 隐私问题也是国际数据行业一直争议不断的问题。美国联邦贸易委员会曾发文呼吁数据经纪商提高交易流程的透明度,接受公众监督。FTC表示,除非数据用于征信、...

    数据猿
  • 知识图谱入门(三)

    作为人类,我们可以基于图 1 推断出一些新的信息,例如 EID15 的举办地点是 Santiago、有航班相连的城市必定存在机场等。在这些情况下,给定图中的数据...

    口仆
  • 干货!大数据专业词汇整理,不知道容易被别人喷晕!

    随着大数据技术的不断提高,大数据应用的不断普及,大数据与各行各业的关系越来越紧密。大数据行业充斥着大量的专业词汇,准确掌握和了解这些词汇的含义,有助于更好的理解...

    企鹅号小编
  • cocos2dx使用TiledMap创建斜45度地图场景

    做游戏,场景是一个很重要的部分,如果缺少这一步,很难做出好的游戏,对于cocos2dx来说,有很多2D的地图编辑器可以用,效果都还可以,其中Tiled是支持的...

    帘卷西风
  • 机器学习先驱 Michael I. Jordan 清华演讲:更好的分布式机器学习(PPT)

    【新智元导读】今天,机器学习诸多理论的主要奠基人、美国三院院士 Michael I. Jordan受聘为清华大学访问教授,同时发表主题报告。Jordan认为,大...

    新智元
  • 为何苹果、Google、Facebook力推3D AR,看完这个你就知道了

    苹果大中华区董事总经理葛越在乌镇世界互联网大会上发表演讲,再次推介了苹果努力打造的 AR 体验,并以天天 P 图为例介绍了 AR 的好玩之处。“腾讯打造的这款天...

    BestSDK

扫码关注云+社区

领取腾讯云代金券