深度学习环境搭建

机器学习和自然语言处理

公众号ID:datathinks

0 前言

本文作者接触深度学习2个月后,开始进行目标检测实践。

本文作者的专题《目标检测》链接:https://www.jianshu.com/c/fd1d6f784c1f 此专题的宗旨是让基础较为薄弱的新手能够顺利实现目标检测,专题内容偏向于掌握技能,学会工具的使用。 本文作者尚未具备清楚讲述目标检测原理的能力,学习原理请自行另找文章。

1不同操作系统的指引

本文中演示的操作系统是Win10。 如果要学习如何在Linux操作系统中下载和安装CUDA9.0、cudnn7.3、tensorflow_gpu1.10,请浏览本文作者的另外一篇文章《在谷歌云服务器上搭建深度学习平台》,链接:https://www.jianshu.com/p/893d622d1b5a 《在谷歌云服务器上搭建深度学习平台》这篇文章中有部分内容是如何建立和连接云虚拟机,这部分内容对于拥有Linux主机的读者是无用的。为了减少读者阅读无用内容的时间,本文作者声明,读者只需要阅读下面5个章节即可完成在Linux操作系统的深度学习环境搭建:

  1. 第2章《在云虚拟机中安装Anaconda5.2》;
  2. 第4章《在云虚拟机中安装Nvidia驱动》;
  3. 第5章《在云虚拟机中安装CUDA9.0》;
  4. 第6章《在云虚拟机中安装cuDNN7.1》;
  5. 第7章《在云虚拟机中安装TensorFlow、Keras》

2 软件下载

百度云盘下载链接: https://pan.baidu.com/s/1nGUYr3AHyDJrKzcUctprVg 提取码: 1b66

本文作者在链接中上传了4个深度学习环境搭建所必需的文件,如下:

  1. Microsoft出品,在Windows操作系统运行所有软件都依赖的.Net Framework库,版本为4.6。
  2. Nvidia出品,用于做并行计算的平台CUDA,版本为9.0,前提是电脑拥有Nvidia独立显卡。 在做深度学习实验时,建议最低配置也需要Nvidia GTX1060的6GB显存版本。 本文作者使用的是CUDA9.0,查看自己的电脑是否能够使用CUDA9.0,请查看本文作者的另外一篇文章《Windows系统查看CUDA版本号》,链接:https://www.jianshu.com/p/d3b9419a0f89
  3. Nvidia出品,用于做深度学习加速计算的cuDNN库,版本为7.3。
  4. Google出品,提供给开发人员的深度学习开发框架TensorFlow。 其有2个版本,cpu版和gpu版,本文要安装的是gpu版本,因为gpu版本是cpu版本运行速度的50倍。

在这篇文章当中,本文作者只演示如何安装软件,使读者能够以最快的速度使用上深度学习的GPU加速。 学习如何从官网下载这些软件,请阅读本文作者的另外一篇文章:《深度学习环境搭建-CUDA9.0、cudnn7.3、tensorflow_gpu1.10的下载》,链接:https://www.jianshu.com/p/c73668544925

3 安装.Net Framework4.6

选择下图中红色箭头标注处exe可执行文件,双击开始安装。

双击后,显示Extracting files

因为本文作者已经成功安装,所以显示如下图所示。 需要进行安装的读者,在安装过程中不需要进行选择,一直点击下一步,按照软件的默认设置安装即可。

4 安装CUDA9.0

本文写作的时候,市面上已经有CUDA10.0,但是没有与之对应的Tensorflow_gpu版本。 因为最新版的Tensorflow_gpu兼容CUDA9.0的版本容易从网上获取,即通过pip install tensorflow_gpu安装的版本是可以兼容CUDA9.0的。 选择下图中红色箭头标注处exe可执行文件,双击开始安装。

不要修改默认安装位置,直接点击OK,如下图中红色箭头标注处所示。

如下图所示,正在提取安装文件中的内容,等待即可

上图运行完成后,回自动弹出NVIDIA安装程序,如下图所示。 在检测系统兼容性这一步,等待即可

本文作者的显卡是Nvidia RTX2070,在下图中安装程序显示没有发现可以兼容的显卡设备。 因为CUDA9.0比RTX2070更早发布,所以没有找到是合理的,但是安装后仍然可以正常使用。 本文读者可能直接跳到“许可协议”这一步,则说明安装程序找到了可兼容的显卡设备。 点击下图红色箭头标注处,进入下一步。

许可协议不用仔细去阅读,点击下图红色箭头标注处,进入下一步。

安装模式选择精简,点击下图红色箭头标注处,进入下一步。

勾选下图中的上方红色方框标注处,然后NEXT按钮会亮起。 点击下图中的下方红色箭头标注处中的NEXT按钮,进入下一步。

安装界面显示Preparing for installation,即正在准备安装。

安装过程中部分截图如下图所示。

安装完成后,安装程序界面如下图所示。 点击下图中的下方红色箭头标注处中的下一步

结束界面中两个可选项不用勾选。 点击下图中的下方红色箭头标注处中的关闭,安装CUDA9.0结束。

5 安装cudnn7.3

使用解压软件将压缩文件cudnn-9.0-windows10-x64-v7.3.1.20.zip解压到当然文件夹,

具体操作示意图如下图所示:

解压后入下图所示,在文件夹cuda9.0下载中多了文件夹cuda

进入文件夹cuda,如下图所示。 文件夹cuda中有3个文件夹:bin、include、lib,和1个文件NVIDIA_SLA_cuDNN_Support.txt

选中文件夹cuda中的所有文件夹和文件,然后复制。 具体操作示意图如下图所示。

读者需要找到自己电脑的CUDA安装路径,如果上一章安装CUDA9.0是按照本文作者提示进行的,则路径应该和本文作者相同。 本文作者的CUDA安装路径:C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.0,如下图所示:

将文件夹cuda中复制的3个文件夹和1个文件复制到路径C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.0 具体操作示意图如下图所示。 注意,如果下图中的粘贴按钮不可使用,则重新复制文件夹cuda的3个文件夹和1个文件

如果读者操作正确,则粘贴后路径C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.0中内容如下图所示。 从下图可以看出文件NVIDIA_SLA_cuDNN_Support.txt已经被成功复制到该路径下。 bin、include、lib这3个文件夹和路径C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.0中的文件夹做了合并

6 安装tensorflow_gpu1.10

6.1 运行pip install命令安装本地WHL文件

使用WHL文件安装python中的库使用的WHL文件如下图所示。

image.png

在资源管理器的路径处输入cmd,如下图所示,然后按Enter键进入cmd工具。

读者需要观察cmd此时所在的路径是否为WHL文件所在的路径,如下图所示。

在cmd中输入命令:pip install tensorflow_gpu-1.10.0-cp36-cp36m-win_amd64.whl,然后按Enter键运行命令。 下图中上方红色箭头标注处表示cmd中运行的命令。 下图中下方红色箭头标注处表示成功安装

6.2 运行pip install命令安装msgpack库

考虑到部分读者可能没有安装运行tensorflow必需的msgpack库。 在cmd中输入命令:pip install msgpack,然后按Enter键运行命令。

到这里为止,所有需要安装的软件和库已经完成,接下来只需要测试运行环境能否使用。

7 测试运行环境

7.1 新建文本文件

在文件夹中新建一个文本文件,具体操作示意图如下图所示:

7.2 编辑代码

打开上一节中的文本文件,将下面一段代码复制到其中。

import tensorflow as tf
hello = tf.constant('hello, tensorflow!')
session = tf.Session()
print(session.run(hello))

具体操作示意图如下图所示:

复制完成后,保存并退出。

7.3 重命名文件

首先读者需要能够更改代码文件的后缀名,点击查看,位置如下图红色箭头标注处所示。

如下图红色箭头标注处所示,需要勾选

从上面2张图的对比可以看出,两者的区别是文件是否有后缀名。 把新建文本文档.txt文件做重命名,修改为test.py。 提示是否确实要更改,选择,如下图红色箭头标注处所示。

修改后,文件情况如下图所示:

7.4 运行py文件

在文件test.py所在路径下打开cmd,在cmd中输入并运行命令:python test.py,如下图所示。 请读者确认cmd所在路径需要与文件test.py所在路径相同。

第1次运行此命令时,程序需要大约2分钟自动配置tensorflow_gpu运行所需要的环境。 之后再运行此命令时,都不再需要重复配置tensorflow_gpu运行所需要的环境。 如果命令成功运行,结果如下图所示:

8 总结

  1. 本文作者提供4个安装文件在百度云盘的下载链接,读者可以直接下载安装,省去了自己下载的麻烦。
  2. 本文详细介绍了tensorflow的gpu版本的安装细节,希望给入门深度学习的读者带来良好的起步。
  3. 如果读者对细节有疑问,可以在评论区留言。
  4. 不同读者的实际操作中,可能会遇到各种奇怪的困难,本文作者建议先将Nvidia相关驱动卸载干净后,重新安装Nvidia驱动,再实现本文当中的操作。
  5. 如果一直出现找不到tensorflow库的错误,本文读者提示可以使用conda install tensorflow_gpu的方法先解决环境问题,然后再conda uninstall tensorflow_gpu,最后再实现本文当中的操作。

原文发布于微信公众号 - 机器学习和自然语言处理(datathinks)

原文发表时间:2018-11-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏枕边书

分布算法之一致性哈希算法

在进行大型网站的web开发时,分布式这个词经常出现在我们面前。如: memcache、redis服务器等缓存服务器的负载均衡(分布式cache), MySQL的...

27590
来自专栏生信技能树

【视频讲解】-使用rmarkdown来制作html报表

第一步:安装R语言及Rstudio 首先根据操作系统来安装R语言软件 最好是安装最新版 Download R for Windows from CRAN Dow...

42170
来自专栏大数据文摘

机器学习:如何在安卓上集成TensorFlow

25450
来自专栏AI科技大本营的专栏

TensorFlow 1.8.0正式发布,Bug修复和改进内容都在这里了

【导语】TensorFlow 1.8.0 近日正式发布,新版本主要有以下改进内容,AI科技大本营对其编译如下。 ▌主要特点及改进 可以将 tf.contrib...

42890
来自专栏AI科技大本营的专栏

快速构建深度学习图像数据集,微软Bing和Google哪个更好用?

译者 | Serene 编辑 | 明明 【AI 科技大本营导读】在本文中,作者将利用微软的 Bing Image Search API 来建立深度学习图像数据集...

52860
来自专栏AI研习社

GitHub项目推荐 | 用于对机器学习模型进行对抗性攻击、防御和基准测试的Python库:CleverHans 3.0.0

项目地址:https://github.com/tensorflow/cleverhans

52260
来自专栏性能与架构

LVS负载均衡的调度算法

LVS是如何决定把用户请求转给哪台服务器的?LVS有很多种调度算法,下面介绍几个最常用的算法 (1)轮询 这是最简单的调度算法,调度器将收到的请求循环分配到服务...

385100
来自专栏机器之心

资源 | AMD 开源高性能机器智能库MIOpen,可加速卷积神经网络

选自GitHub 机器之心编译 参与:蒋思源 AMD 最近宣布新的深度学习加速库 MIOpen 1.0 现已发布,该深度学习库支持加速卷积神经网络,并且构建和运...

38580
来自专栏SDNLAB

基于网络流量的SDN最短路径转发应用

网络的转发是通信的基本功能,其完成信息在网络中传递,实现有序的数据交换。通过SDN控制器的集中控制,可以轻松实现基础的转发算法有二层MAC学习转发和基于跳数的最...

508100
来自专栏AI研习社

Github 项目推荐 | 用于多元时间序列的 Python 模块 —— Seglearn

Seglearn 是一个通过滑动窗口分割的机器学习多元时间序列的 Python 模块。它为特征提取、特征处理和最终估计提供一个集成的 Pipeline。

18420

扫码关注云+社区

领取腾讯云代金券