学习
实践
活动
工具
TVP
写文章
专栏首页GPU Lab【GPU 环境快捷部署】深度学习环境配置,一行命令搞定!
原创

【GPU 环境快捷部署】深度学习环境配置,一行命令搞定!

功能简介

云端使用的GPU云服务器,深度学习环境包括GPU驱动、CUDA、cuDNN和相关的AI框架等,在活动页购买的机器,腾讯云提供以下两种方式部署,您可以根据需要选择:

方式

创建后环境

可使用脚本部署的GPU环境/AI环境

执行命令

活动页购买时默认安装GPU驱动

操作系统:Ubuntu 18.04,Cent OS 7.5,Cent OS 7.6 默认配置:CUDA11.2.2 + cuDNN8.2.1 + GPU驱动版本 460.106.00

【AI环境】tf2.8.0:TensorFlow 2.8.0 + Miniconda + OpenCV 4 + Python 3.9.12

wget https://gpu-related-scripts-1251783334.cos.ap-guangzhou.myqcloud.com/gpu-auto-install/gpu_auto_install.sh && wget https://gpu-related-scripts-1251783334.cos.ap-guangzhou.myqcloud.com/gpu-auto-install/tf2.8.0.txt && sudo bash ./gpu_auto_install.sh install --config_file=./tf2.8.0.txt && source /etc/bash.bashrc && source ${HOME}/.bashrc

【AI环境】pt1.9.1:Pytorch 1.9.1 + torchvision0.10.0 + Miniconda + OpenCV 4 + Python 3.8

wget https://gpu-related-scripts-1251783334.cos.ap-guangzhou.myqcloud.com/gpu-auto-install/gpu_auto_install.sh && wget https://gpu-related-scripts-1251783334.cos.ap-guangzhou.myqcloud.com/gpu-auto-install/pt1.9.1.txt && sudo bash ./gpu_auto_install.sh install --config_file=./pt1.9.1.txt && source /etc/bash.bashrc && source ${HOME}/.bashrc

重装系统后登录机器使用环境部署脚本安装

操作系统:Ubuntu 18.04,其他OS暂未验证 默认配置:无,可使用脚本部署安装

【AI环境】tf2.8.0_driver460_cuda11.2.2:TensorFlow 2.8.0 + Miniconda + OpenCV 4 + Python 3.9.12 + CUDA11.2.2 + cuDNN8.2.1 + GPU驱动版本 460.106.00

wget https://gpu-related-scripts-1251783334.cos.ap-guangzhou.myqcloud.com/gpu-auto-install/gpu_auto_install.sh && wget https://gpu-related-scripts-1251783334.cos.ap-guangzhou.myqcloud.com/gpu-auto-install/tf2.8.0_driver460_cuda11.2.2.txt && sudo bash ./gpu_auto_install.sh install --config_file=./tf2.8.0_driver460_cuda11.2.2.txt && source /etc/bash.bashrc && source ${HOME}/.bashrc

【AI环境】pt1.9.1_driver470_cuda11.4.3:Pytorch 1.9.1 + torchvision0.10.0 + Miniconda + OpenCV 4 + Python 3.8 + CUDA11.2.2 + cuDNN8.2.1 + GPU驱动版本 460.106.00

wget https://gpu-related-scripts-1251783334.cos.ap-guangzhou.myqcloud.com/gpu-auto-install/gpu_auto_install.sh && wget https://gpu-related-scripts-1251783334.cos.ap-guangzhou.myqcloud.com/gpu-auto-install/pt1.9.1_driver470_cuda11.4.3.txt && sudo bash ./gpu_auto_install.sh install --config_file=./pt1.9.1_driver470_cuda11.4.3.txt && source /etc/bash.bashrc && source ${HOME}/.bashrc

【GPU环境】driver460_cuda11.2.2:CUDA11.2.2 + cuDNN8.2.1 + GPU驱动版本 460.106.00

wget https://gpu-related-scripts-1251783334.cos.ap-guangzhou.myqcloud.com/gpu-auto-install/gpu_auto_install.sh && wget https://gpu-related-scripts-1251783334.cos.ap-guangzhou.myqcloud.com/gpu-auto-install/driver460_cuda11.2.2.txt && sudo bash ./gpu_auto_install.sh install --config_file=./driver460_cuda11.2.2.txt && source /etc/bash.bashrc && source ${HOME}/.bashrc

功能使用

活动页自动安装GPU驱动

活动页链接:https://cloud.tencent.com/act/pro/gpu-study 1、在活动页选择Linux镜像,会出现如下字样,支持GPU环境自动安装

*您需要等待GPU驱动、CUDA、cuDNN都安装完成后再执行TensorFlow和Pytorch AI环境部署脚本,大约耗时15分钟,AI环境将安装在Miniconda中。

在活动页购买时,Linux系统会默认安装相应版本GPU驱动、CUDA、cuDNN

2、设置安全组策略,放通8888端口

(1)进入云服务器控制台,点击“安全组”-“规则预览”-“编辑规则”

编辑实例绑定的安全组规则

(2)需要在“入站规则”和“出站规则”都添加8888端口放通策略

分别设置“入站规则”和“出站规则”

(3)分别在“入站规则”和“出站规则”栏下点击“添加规则”,按照下图进行配置

完成8888端口放通

3、登录机器后,大约需要10~15分钟进行安装,您可以用以下命令查看当前安装进程

ps aux | grep -i install

安装顺序为(1)GPU驱动;(2)CUDA;(3)cuDNN

GPU驱动正在安装的进程
CUDA正在安装的进程
安装完毕后进程中没有NVIDIA-、cuda-、cudnn-等

4、验证GPU驱动安装成功

nvidia-smi
GPU 驱动安装成功

5、验证CUDA 安装成功

cat  /usr/local/cuda/version.txt
输出CUDA版本号

6、验证cuDNN安装成功

#使用如下命令找到cudnn_version.h路径
cat /usr/include/cudnn_version.h | grep CUDNN_MAJOR -A 2
#修改下述命令路径后可查看cuDNN版本
cat /usr/local/cuda-10.2/targets/x86_64-linux/include/cudnn_version.h | grep CUDNN_MAJOR -A 2
cuDNN 版本为8.2.1

(可选)7、使用脚本部署Miniconda AI环境

如果您需要 TensorFlow 2.8.0,登录子机执行下列命令:

wget https://gpu-related-scripts-1251783334.cos.ap-guangzhou.myqcloud.com/gpu-auto-install/gpu_auto_install.sh && wget https://gpu-related-scripts-1251783334.cos.ap-guangzhou.myqcloud.com/gpu-auto-install/tf2.8.0.txt && sudo bash ./gpu_auto_install.sh install --config_file=./tf2.8.0.txt  && source /etc/bash.bashrc && source ${HOME}/.bashrc

如果您需要 Pytorch 1.9.1 ,登录子机执行下列命令:

wget https://gpu-related-scripts-1251783334.cos.ap-guangzhou.myqcloud.com/gpu-auto-install/gpu_auto_install.sh && wget https://gpu-related-scripts-1251783334.cos.ap-guangzhou.myqcloud.com/gpu-auto-install/pt1.9.1.txt && sudo bash ./gpu_auto_install.sh install --config_file=./pt1.9.1.txt  && source /etc/bash.bashrc && source ${HOME}/.bashrc

安装完成后可以看到JupyterNotebook访问链接,复制链接即可访问:

可以使用这个链接访问JupyterNotebook

【说明】

*如果重启,token会更新,可使用jupyter notebook list查看token。

*如果希望使用密码登录jupyter notebook,可按如下步骤执行:

(1)执行sudo jupyter notebook password更改密码;

(2)执行sudo systemctl restart jupyter.service 重启jupyter notebook服务。

重装系统后使用环境部署脚本安装

1、进入控制台,重装系统

进入控制台,切换在活动页购买的可用区,找到实例列表->更多-> 重装系统:

实例列表->更多-> 重装系

2、选择重装的操作系统为Ubuntu 18.04

AI环境配置脚本目前只验证Ubuntu 18.04

3、等待重装系统完成,大约耗时五分钟

4、登陆机器,执行部署脚本,执行后会开始AI环境的安装,耗时大约10~15分钟

可根据文章开头的表格选择您环境部署需要的命令。

wget https://gpu-related-scripts-1251783334.cos.ap-guangzhou.myqcloud.com/gpu-auto-install/gpu_auto_install.sh && wget https://gpu-related-scripts-1251783334.cos.ap-guangzhou.myqcloud.com/gpu-auto-install/tf2.8.0_driver460_cuda11.2.2.txt && sudo bash ./gpu_auto_install.sh install --config_file=./tf2.8.0_driver460_cuda11.2.2.txt  && source /etc/bash.bashrc && source ${HOME}/.bashrc

5、程序结束后会返回Jupyter Notebook的访问地址,您可以根据需要选择本地或者远程访问

请注意Jupyter Notebook链接的保密,使用此链接可直接使用您的算力资源

6、如果您在使用过程中遇到问题,可以扫码加入微信群反馈

GPU 实验室用户交流群

GPU 课程学习

在GPU服务器上搭建深度学习开发基础环境

- 课程介绍:https://cloud.tencent.com/edu/learning/quick-play/3648-63019

- GPU驱动确认:https://cloud.tencent.com/edu/learning/quick-play/3648-63020

- 常见深度学习框架安装:https://cloud.tencent.com/edu/learning/quick-play/3648-63021

- 开发环境和GPU调度确认:https://cloud.tencent.com/edu/learning/quick-play/3648-63022

- 课程总结:https://cloud.tencent.com/edu/learning/quick-play/3648-63023

原创声明,本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

登录 后参与评论
0 条评论

相关文章

  • 深度学习环境配置1——windows下的tensorflow-gpu=1.13.2环境配置

    安装CUDA前需要安装Visual Studio,我安装的版本为Visual Studio 2017,视频与博客中未提及,请小伙伴们注意。

    全栈程序员站长
  • 搭建AWS云服务器深度学习环境——免环境配置/GPU支持/Keras/TensorFlow/OpenCV

    该文章是以前做的云上深度学习环境搭建笔记,当时也花了不少心血,在面试助攻手册的整理发布过程中穿插着来一篇,放松一下。若对机器学习感兴趣的小伙伴,可以亲自上手体验...

    Rude3Knife的公众号
  • Ubuntu 20.04 LTS/RTX30XX显卡 快速配置深度学习环境(一行命令)

    近日,新入一台RTX3080的服务器,目前好像还没办法很方便地在 RTX 30 系列 GPU上通过 pip/conda 安装 TensorFlow 或 PyTo...

    黄博的机器学习圈子
  • Windows下tensorflow-gpu=1.13.2、torch1.2.0深度学习环境配置

    一般情况下要考虑的有 tensorflow(或 pytorch)、 cuda、cudnn的版本对应,有时候还需考虑 python版本和gcc版本,不过选择一个好...

    AI算法与图像处理
  • 深度学习GPU环境Ubuntu16.04+GTX1080+CUDA9+cuDNN7+TensorFlow1.6环境配置

    本节详细说明一下深度学习环境配置,Ubuntu 16.04 + Nvidia GTX 1080 + Python 3.6 + CUDA 9.0 + cuDNN ...

    崔庆才
  • Ubuntu sever20.04 LTS版本GPU服务器深度学习环境配置

    在非图形界面的Ubuntu server20.04的GPU服务器上配置环境,包括Nvidia驱动,cuda,cuDNN的安装,Anaconda的安装和开发环境创...

    GIS指北
  • 性能领先,即训即用,快速部署,飞桨首次揭秘服务器端推理库

    为什么难呢?因为调参就像厨师根据食材找到了料理配方,药剂师根据药材找到了药方,充满了玄幻色彩。

    量子位
  • MXNet 宣布支持 Keras 2,可更加方便快捷地实现 CNN 及 RNN 分布式训练

    AI 研习社按,近期,AWS 表示 MXNet 支持 Keras 2,开发者可以使用 Keras-MXNet 更加方便快捷地实现 CNN 及 RNN 分布式训练...

    AI研习社
  • 基于容器的AI系统开发——百度PaddlePaddle解析

    用户1737318
  • 一行命令启动,十分钟内完成部署,Paddle Serving开放模型即服务功能

    古人云:行百里者半九十。相信在深度学习领域中,不少做算法的小伙伴都会对这句话产生共鸣。辛辛苦苦搭建好网络,望眼欲穿得训练调试好模型,等到最后要部署,面对纷繁复杂...

    用户1386409
  • 一行命令启动,十分钟内完成部署,Paddle Serving开放模型即服务功能

    古人云:行百里者半九十。相信在深度学习领域中,不少做算法的小伙伴都会对这句话产生共鸣。辛辛苦苦搭建好网络,望眼欲穿得训练调试好模型,等到最后要部署,面对纷繁复杂...

    机器之心
  • TensorFlow2.0安装_tensorflow中run

    目前考虑进入梦寐以求的 机器学习、人工智能 等领域的学习,因此安装主流的机器学习框架 Tensorflow 迫在眉睫。

    全栈程序员站长
  • 如何分分钟构建强大又好用的深度学习环境?

    多亏了更快更好的计算,我们终于能利用神经网络和深度学习真正的力量了,这都得益于更快更好的 CPU 和 GPU。无论我们喜不喜欢,传统的统计学和机器学习模型在处...

    机器之心
  • 创建pytorch环境_Udacity pytorch

    搭建深度学习环境所需资料 (md 我就安个神经网络的环境简直要了我的狗命) 不过还是认识到很重要的一点,在书上找再多的资料 都不如自己亲身实践一下 还是要...

    全栈程序员站长
  • 如何与深度学习服务器优雅的交互?

    有没有想到小夕今天会发文章呢?( ̄∇ ̄)有木有超级想小夕呢( ̄∇ ̄) 小夕在前面写了一堆纯理论和半理论的文章,不要怕,这次来一篇纯工程的tricks集合! 如果...

    企鹅号小编
  • 模型部署实战:教你用笔记本电脑实现实时“口罩检测”

    最近百度飞桨在业内率先开源了口罩检测模型,并且在北京地铁实际上线。该模型能够准确地对未戴口罩以及错误佩戴口罩的情况进行识别和检测,辅助一线地铁工作人员进行防疫工...

    用户1386409
  • 数学烂也要学AI | 带你造一个经济试用版AI终极必杀器

    大数据文摘
  • 小白轻松使用腾讯云GPU服务器部署OCR中英文识别服务

    腾讯云GPU服务购买地址:https://cloud.tencent.com/product/gpu ,选择安装系统时推荐安装市场镜像里的公共镜像,里面有已经安...

    Alone88
  • 腾讯云GPU云服务器深度学习初体验

    最近在跑深度学习,需要大量的算力资源,偶然机会注意到了腾讯云的GPU云服务器的体验活动,果断参加,现将我个人的快速上手体验和遇到的问题分享给大家,请大家指正。

    不会炼丹的程序员

扫码关注腾讯云开发者

领取腾讯云代金券