专栏首页大数据杂谈Google Colab 免费GPU服务器使用教程

抱歉,你查看的文章已删除

Google Colab 免费GPU服务器使用教程

本文来源:https://blog.csdn.net/cocoaqin/article/details/79184540

一、前言

不知道大家是否为了寻找免费GPU服务器而焦头烂额。 近些天,谷歌推出了Google Colab(Colaboratory)

链接:https://colab.research.google.com/

官方对其的说明是:

Colaboratory 是一个研究项目,可免费使用。

划重点,最重要的特点是 免费GPU!免费GPU!免费GPU!

虽然不确定这个项目是不是永久的

但这无疑给纠结在是否花大量钱租用GPU服务器进行研究的个人研究者带去了重磅福利!

经过查阅资料与亲自实践,特把相关教程写成博文分享给大家。

由于博主水平能力有限,难免有错误,欢迎指正哈!


二、Google Colab特征

Colaboratory 是一个 Google 研究项目,旨在帮助传播机器学习培训和研究成果。它是一个 Jupyter 笔记本环境,不需要进行任何设置就可以使用,并且完全在云端运行。

Colaboratory 笔记本存储在 Google 云端硬盘中,并且可以共享,就如同您使用

Google 文档或表格一样。Colaboratory 可免费使用。

利用Colaboratory ,可以方便的使用Keras,TensorFlow,PyTorch等框架进行深度学习应用的开发。


三、开始使用

注意:使用google服务可能需要梯子

3.1在谷歌云盘上创建文件夹

当登录账号进入谷歌云盘时,系统会给予15G免费空间大小。由于Colab需要依靠谷歌云盘,故需要在云盘上新建一个文件夹。

选择新建文件夹,文件夹名称可自定义。

3.2创建Colaboratory

进入创建好的文件夹,点开新建-更多。

如果在更多栏里没有发现Colaboratory,选择关联更多应用,搜索Colaboratory,选择关联。

3.3创建完成

创建完成后,会自动生成一个jupyter笔记本,是不是很熟悉~


四、设置GPU运行

选择 修改-笔记本设置

将硬件加速器设置为GPU即可


五、运行.py文件

5.1安装必要库

输入相应代码,并执行(crtl+F9)

!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}

运行后,会出现以下提示

先点开相应的链接,选择自己的谷歌账号,并允许,最后会得到相应的代码,输入相应的框中即可

5.2 挂载云端硬盘

同上,输入下面命令,执行即可

!mkdir -p drive!google-drive-ocamlfuse drive  -o nonempty

5.3 安装Keras

同理,输入命令

!pip install -q keras

5.4 Hello Mnist!

将代码粘入jupyter笔记本中,运行,即可开始奇妙的Google Colab之旅 代码摘自:

https://github.com/keras-team/keras/blob/master/examples/mnist_cnn.py

'''Trains a simple convnet on the MNIST dataset.
Gets to 99.25% test accuracy after 12 epochs
(there is still a lot of margin for parameter tuning).
16 seconds per epoch on a GRID K520 GPU.
'''

from __future__ import print_function
import keras
from keras.datasets import mnist
from keras.models import Sequential
from keras.layers import Dense, Dropout, Flatten
from keras.layers import Conv2D, MaxPooling2D
from keras import backend as K

batch_size = 128
num_classes = 10
epochs = 12

# input image dimensions
img_rows, img_cols = 28, 28

# the data, shuffled and split between train and test sets
(x_train, y_train), (x_test, y_test) = mnist.load_data()

if K.image_data_format() == 'channels_first':
    x_train = x_train.reshape(x_train.shape[0], 1, img_rows, img_cols)
    x_test = x_test.reshape(x_test.shape[0], 1, img_rows, img_cols)
    input_shape = (1, img_rows, img_cols)
else:
    x_train = x_train.reshape(x_train.shape[0], img_rows, img_cols, 1)
    x_test = x_test.reshape(x_test.shape[0], img_rows, img_cols, 1)
    input_shape = (img_rows, img_cols, 1)

x_train = x_train.astype('float32')
x_test = x_test.astype('float32')
x_train /= 255
x_test /= 255
print('x_train shape:', x_train.shape)
print(x_train.shape[0], 'train samples')
print(x_test.shape[0], 'test samples')

# convert class vectors to binary class matrices
y_train = keras.utils.to_categorical(y_train, num_classes)
y_test = keras.utils.to_categorical(y_test, num_classes)

model = Sequential()
model.add(Conv2D(32, kernel_size=(3, 3),
                 activation='relu',
                 input_shape=input_shape))
model.add(Conv2D(64, (3, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))
model.add(Flatten())
model.add(Dense(128, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(num_classes, activation='softmax'))

model.compile(loss=keras.losses.categorical_crossentropy,
              optimizer=keras.optimizers.Adadelta(),
              metrics=['accuracy'])

model.fit(x_train, y_train,
          batch_size=batch_size,
          epochs=epochs,
          verbose=1,
          validation_data=(x_test, y_test))
score = model.evaluate(x_test, y_test, verbose=0)
print('Test loss:', score[0])
print('Test accuracy:', score[1])

每一个epoch都只用了十多秒!

是不是很有意思呢!


References: https://medium.com/deep-learning-turkey/google-colab-free-gpu-tutorial-e113627b9f5d

本文分享自微信公众号 - 大数据杂谈(BigData07)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-04-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

推荐阅读

  • 人人都在谈的区块链,真的人人都能懂吗?

    区块链技术不是一项横空出世的新技术,它是站在巨人的肩膀上不断演进的。区块链的重要组成技术源于1985年发明的椭圆曲线加密算法,1995年密码学家提出“智能合约”概念,逐渐地,2005年发明工作量证明机制,直到2008年中本聪发表《比特币:一种点对点的电子现金系统》,才标志着区块链的诞生,所以区块链诞生至今仅11年的时间。

    腾小云
    区块链
  • Serverless 实战:企业微信机器人还能这么玩?

    通过定时触发器,可以非常简单快速地建立一个企业微信机器人。我们可以用它来实现喝水、吃饭提醒等小功能,还能实现定时推送新闻、天气,甚至是监控告警的小功能。 使用企业微信机器人 在企业微信中,可以选择添加机器人: ? 添加机器人之后,我们可以根据文档进行企业微信机器人的基础功能定制: 以下是用 curl 工具往群组推送文本消息的示例(注意要将 url 替换成你的机器人 webhook 地址,content 必须是 utf8 编码): curl '企业微信机器人地址' \ -H 'Content-Type

    腾讯云serverless团队
  • 面对错综复杂的国际形势,这些金融机构为何泰然自若

    作者简介:吴夏,腾讯云 TDSQL 高级工程师,多年分布式数据库系统研发经验,目前主要负责 TDSQL 异构数据同步与迁移能力的建设,曾支持大量金融行业数据库迁移同步。 ---- 随着国家有关部门近年来陆续出台相关政策指导文件,推动探索安全可控的金融科技产品,加强银行业信息安全建设,国内众多金融政企机构开始探索借助数字化技术,来实现原有IT系统的转型升级,从而实现降本增效,已经成为行业发展的共识。 腾讯自研的金融级分布式数据库TDSQL的金融政企用户数已突破600家。作为一款安全可控的金融级数据库,TD

    腾讯云数据库 TencentDB
  • GitHub迎来重大变更:可以直接用vscode编码了!

    GitHub在本周的Satellite 2020活动中宣布了一些新功能和更新,涵盖了云、协作、安全性等。

    前端森林
  • 深度剖析数据库国产化迁移之路

    随着国家有关部门近年来陆续出台相关政策指导文件,推动探索安全可控的金融科技产品,加强银行业信息安全建设,国内众多金融政企机构纷纷开始探索改造原有IT系统,对国产化数据库的需求日益强烈。 腾讯自研的金融级分布式数据库TDSQL的金融政企用户数日前已突破600家。作为一款金融级国产化数据库,TDSQL不仅完全满足国家对金融安全可控的要求,也能解决过去传统金融数据库靠采购高端设备或进行资源堆砌才能解决的问题。

    分布式数据库TDSQL
  • 一份走心的runloop源码分析

    对iOS开发者而言,runloop是一个老生常谈的话题,但凡是iOS开发者,在工作中必然直接或间接的接触过runloop。而对于面试者而言,runloop又几乎是必考点。在几年前,笔者写过一篇文章NSRunLoop,对runloop原理以及应用场景做了基本介绍。但是当时也是道听途说,简单的翻看了源码的do...while循环,并没有深入源码。所以,本文将从源码的角度剖析runloop的组成,强化自己对runloop的认识,验证我们脑海中一直以来似懂非懂的原理,真心希望这篇文章能够帮助到大家。

    VV木公子
    iOS
  • 腾讯云 Serverless HTTP 服务指南

    Serverless 是全球流行的应用框架,Serverless 实现了自动伸缩扩容,稳定性好;不需要运维,按运行时间付费,降低了开发成本;门槛降低,让前端工程师有望成为全栈工程师。诸多优点,吸引了云厂商相继布局。

    wangtianyun
  • 通过Ti-One机器学习平台玩转2020腾讯广告算法大赛:数据预处理

    腾讯的2020腾讯广告算法大赛已经开始快2周了,因为腾讯云有提供优惠卷,所以这总结一下一些基础的操作,帮助大家薅腾讯的羊毛

    deephub
  • 基于Ceph对象存储构建实践

    直接附加存储(Directed Attached Storage,DAS)作为一种最简单的外接存储方式,通过数据线直接连接在各种服务器或客户端扩展接口上。它本身是硬件的堆叠,不带有任何存储操作系统,因而也不能独立于服务器对外提供存储服务。DAS常见的形式是外置磁盘阵列,通常的配置就是RAID控制器+一堆磁盘。DAS安装方便、成本较低的特性使其特别适合于对存储容量要求不高、服务器数量较少的中小型数据中心。

    宜信技术学院
  • 聊聊 Python 做微信小程序自动化,那些踩过的坑?

    之前写过 微信小程序的几种方式,对于有源码的小程序推荐使用微信开放的 SDK 来做自动化,否则只能使用原生或 WebView 的方式。

    AirPython

扫码关注云+社区

领取腾讯云代金券