Google Colab免费GPU教程

现在,你可以开发深度学习与应用谷歌Colaboratory -on的免费特斯拉K80 GPU -使用KerasTensorflowPyTorch

image.png

你好!我将向您展示如何使用Google Colab,这是GoogleAI开发人员提供的免费云服务。使用Colab,您可以免费GPU上开发深度学习应用程序。

感谢KDnuggets!

我很高兴地宣布这篇博客文章被选为2018年2月的KDnuggets Silver Blog!在KDnuggets上阅读此内容

image.png

什么是Google Colab?

谷歌Colab是一个免费的云服务,现在它支持免费的GPU!

您可以;

  • 提高您的Python编程语言编码技巧。
  • 开发利用流行的库如深学习应用KerasTensorFlowPyTorch,OpenCV的

将Colab与其他免费云服务区分开来的最重要特征是:Colab提供GPU并且完全免费。

有关该服务的详细信息,请参见常见问题页面。

让Google Colab随时可用

在Google云端硬盘上创建文件夹

image.png

由于Colab正在开发您自己的Google云端硬盘,我们首先需要指定我们可以使用的文件夹。我在Google云端硬盘上创建了一个名为“ app ” 的文件夹。当然,您可以使用其他名称或选择默认的Colab Notebooks文件夹而不是app文件夹

image.png

我创建了一个空的“app”文件夹

创建新的Colab笔记本

通过右键单击>更多> Colaboratory创建新笔记本

image.png

右键单击>更多> Colaboratory

通过单击文件名重命名笔记本。

image.png

设置免费GPU

改变默认硬件(CPU到GPU,反之亦然)非常简单; 只需按照编辑>笔记本设置运行时>更改运行时类型,然后选择GPU作为硬件加速器

image.png

使用Google Colab运行基本Python代码

现在我们可以开始使用Google Colab了

image.png

我将从Python Numpy Tutorial中运行一些基本数据类型代码。

image.png

它按预期工作:)如果你不知道Python最流行的AI编程语言,我会推荐这个简单而干净的教程。

使用Google Colab运行或导入.py文件

首先运行这些代码,以便安装必要的库并执行授权。

!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}

当您运行上面的代码时,您应该看到如下结果:

image.png

完成授权程序后,

安装您的Google云端硬盘

!mkdir -p drive
!google-drive-ocamlfuse drive

安装Keras:

!pip install -q keras

mnist_cnn.py文件上传到Google云端硬盘上的应用文件夹。

image.png

mnist_cnn.py文件

运行下面的代码在MNIST数据集上训练一个简单的convnet

!python3 drive/app/mnist_cnn.py

image.png

从结果中可以看出,每个时期只持续11秒

下载泰坦尼克号数据集(.csv文件)和显示前5行

如果要将.csv文件url下载 到“ app”文件夹,只需运行:

!wget https://raw.githubusercontent.com/vincentarelbundock/Rdatasets/master/csv/datasets/Titanic.csv -P drive/app

您可以将.csv文件直接上传到“app”文件夹而不是wget方法。

image.png

在“ app ”文件夹中读取 .csv文件并显示前5行

import pandas as pd
titanic = pd.read_csv(“drive/app/Titanic.csv”)
titanic.head(5)

image.png

克隆Github Repo到Google Colab

用Git克隆Github repo很容易。

第1步:找到Github Repo并获取“Git”链接

找到任何Github repo使用。

例如:https://github.com/wxs/keras-mnist-tutorial

克隆或下载>复制链接!

image.png

2. Git克隆

只需运行:

!git clone https://github.com/wxs/keras-mnist-tutorial.git

image.png

3.在Google云端硬盘中打开文件夹

文件夹与Github repo当然相同:)

image.png

4.打开笔记本

右键单击>打开方式> Colaboratory

image.png

5. 运行

现在,您可以在Google Colab中运行Github repo。

image.png

一些有用的提示

1.如何安装库?

Keras

!pip install -q keras
import keras

PyTorch

from os import path
from wheel.pep425tags import get_abbr_impl, get_impl_ver, get_abi_tag
platform = '{}{}-{}'.format(get_abbr_impl(), get_impl_ver(), get_abi_tag())
accelerator = 'cu80' if path.exists('/opt/bin/nvidia-smi') else 'cpu'
!pip install -q http://download.pytorch.org/whl/{accelerator}/torch-0.3.0.post4-{platform}-linux_x86_64.whl torchvision
import torch

或试试这个:

!pip3 install torch torchvision

MxNet

!apt install libnvrtc8.0
!pip install mxnet-cu80
import mxnet as mx

OpenCV的

!apt-get -qq install -y libsm6 libxext6 && pip install -q -U opencv-python
import cv2

XGBoost

!pip install -q xgboost==0.4a30
import xgboost

GraphViz的

!apt-get -qq install -y graphviz && pip install -q pydot
import pydot

7zip Reader

!apt-get -qq install -y libarchive-dev && pip install -q -U libarchive
import libarchive

其他图书馆

!pip install!apt-get install安装其他库。

2. GPU工作吗?

要查看您当前是否在Colab中使用GPU,可以运行以下代码以进行交叉检查:

import tensorflow as tf
tf.test.gpu_device_name()

image.png

3.我使用的是哪种GPU?

from tensorflow.python.client import device_lib
device_lib.list_local_devices()

目前,Colab仅提供特斯拉K80

image.png

RAM怎么样?

!cat /proc/meminfo

image.png

那CPU怎么样?

!cat /proc/cpuinfo

image.png

6.更改工作目录

通常,当您运行此代码时:

!ls

您可能会看到datalab和驱动器文件夹。

因此,您必须在定义每个文件名之前添加drive / app

要解决此问题,您只需更改工作目录即可。(在本教程中,我更改为app文件夹)使用以下简单代码:

import os
os.chdir("drive/app")

运行上面的代码后,如果再次运行

!ls

您将看到应用程序文件夹内容,不再需要一直添加驱动器/应用程序

7.“ No backend with GPU available”错误解决方案

如果您遇到此错误:

Failed to assign a backend
No backend with GPU available. Would you like to use a runtime with no accelerator?

稍后再试一次。很多人现在正在GPU上使用轮胎,并且当所有GPU都在使用时会出现此消息。

参考

8.如何清除所有单元格的输出

按照工具>>命令选项板>>清除所有输出

9.“不应解析apt-key输出(stdout不是终端)”警告

如果您遇到此警告:

Warning: apt-key output should not be parsed (stdout is not a terminal)

这意味着身份验证已经完成。您只需要安装Google云端硬盘:

!mkdir -p drive
!google-drive-ocamlfuse drive

10.如何在Google Colab中使用Tensorboard?

我推荐这个repo:

https://github.com/mixuala/colab_utils

11.如何重新启动Google Colab?

要重新启动(或重置)虚拟机,只需运行:

!kill -9 -1

12.如何向Google Colab添加表单?

为了不在代码中每次都更改超参数,您只需将表单添加到Google Colab即可。

image.png

例如,我添加了包含**learning_rate**变量和**optimizer**字符串的表单。

image.png

13.如何查看函数参数?

要在TensorFlow,Keras等中查看函数参数,只需在函数名后添加问号(?)

image.png

现在,您无需单击TensorFlow网站即可查看原始文档。

image.png

结论

我认为Colab将为世界各地的深度学习和人工智能研究带来新的气息。

如果你发现这篇文章有用,那么如果你给它一些掌声并分享以帮助其他人找到它会意味着很多!并随时在下面发表评论。

你可以在LinkedIn上找到我。

最后一点

此博客文章将不断更新

更新日志

2018年1月26日

  • “插入应用程序文件夹到路径” 删除
  • “下载,阅读和显示.csv文件” 补充道
  • “一些有用的提示” 补充说

2018年1月27日

  • “更改工作目录” 补充说

2018年1月28日

  • “将Github Repo克隆到Google Colab” 补充道
  • “pip install mxnet”补充道

2018年1月29日

No backend with GPU available.添加错误解决方案

2018年2月2日

  • “MxNet安装” 发生了变化(CPU到GPU)

2018年5月2日

  • “如何清除所有细胞的输出” 补充说
  • apt-key output should not be parsed (stdout is not a terminal)警告补充说

2018年11月2日

  • “如何使用Tensorboard与谷歌Colab” 添加

2018年2月20日

2018年2月28日

  • “如何重新启动Google Colab?” 补充道

2018年9月3日

  • 如何向Google Colab添加表单?添加

2018年3月21日

  • 如何查看函数参数?添加

2018年5月20日

  • PyTorch安装已更新

原文:https://medium.com/deep-learning-turkey/google-colab-free-gpu-tutorial-e113627b9f5d 作者:fuat

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏IT派

Django | CoolBlog开发笔记第1课:项目分析

CoolBlog开发笔记第1课:项目分析 首先说一下CoolBlog开发笔记是我制作的《Django实战项目》系列教程基础篇的内容,使用Django来开发一个...

3984
来自专栏大魏分享(微信公众号:david-share)

火力全开 | 灰度发布 | 5分钟了解一个容器典型应用场景系列

笔者在持续学习的过程中,得到了红帽淡成、王洪涛、Nico等多位大师的指点,在此表示感谢。 5分钟了解一个容器典型应用场景系列篇 关于容器解决方案的概念、架构、成...

5078
来自专栏PPV课数据科学社区

数据挖掘系列(5)使用mahout做海量数据关联规则挖掘

上一篇介绍了用开源数据挖掘软件weka做关联规则挖掘,weka方便实用,但不能处理大数据集,因为内存放不下,给它再多的时间也是无用,因此需要进行分布式计算,ma...

3064
来自专栏IMWeb前端团队

后台:nodejs 前台:vue 全栈开发 外卖平台系统

关于 一直考虑写一个功能齐全的完整Nodejs项目,但苦于没有找到合适的类型,而且后台系统无法直观的感受到,需要有一个前台项目配合,因此迟迟没有动笔。恰好前一段...

3120
来自专栏进击的程序猿

Dynamo:Amazon的高可用性的键-值存储系统

Dynamo是一个分布式键值系统,最初用于支持购物车系统,强调的是提供一个“永远在线“的用户体验。

1062
来自专栏编程微刊

如何在电脑上保存微信公众号文章封面图片?

2.3K4
来自专栏magicsoar

python下的Box2d物理引擎的配置

/******************************* I come back! 由于已经大四了,正在找工作 导致了至今以来第二长的时间内没有更新博客...

3226
来自专栏前端吧啦吧啦

项目版本与分支管理之阿里AoneFlow模式分析

1793
来自专栏沈唁志

如何简单计算PHP网站是否已经最高负载

2205
来自专栏程序猿DD

Spring Cloud构建微服务架构:分布式服务跟踪(抽样收集)【Dalston版】

通过 TraceID和 SpanID已经实现了对分布式系统中的请求跟踪,而这些记录的跟踪信息最终会被分析系统收集起来,并用来实现对分布式系统的监控和分析功能,比...

3426

扫码关注云+社区