专栏首页相约机器人20种小技巧,玩转Google Colab

20种小技巧,玩转Google Colab

选自amitness.com

作者:Amit Chaudhary

机器之心编译

编辑:陈萍

Google Colab 给广大的 AI 开发者提供了免费的 GPU,你可以在上面轻松地跑 Tensorflow、Pytorch 等深度学习框架。但关于 Colab 的使用技巧你又掌握了多少呢?这篇文章将介绍 20 种 Colab 使用技巧,帮你提高使用效率。

1. 便签本 Notebook

当我们在 colab 上尝试一些临时的东西时,我们会创建一堆杂乱、没有标题的 Notebook。

为了解决这个问题,你可以把以下链接加入书签:https://colab.research.google.com/notebooks/empty.ipynb

这将打开一个特殊的 scratch notebook,并且你对该 notebook 所做的任何更改都不会保存到你的主目录中。

2. 单元计时

通常,我们手动计算一段代码的开始时间和结束时间之间的差值来衡量所花费的时间。Colab 提供了内置功能来执行此操作。在执行了一个单元(cell)之后,将鼠标悬停在单元运行图标上,你将获得代码执行时间的估计值。

3. 运行某个单元的一部分

你也可以运行某个单元的一部分,通过选择单元格并点击 Runtime 索引到 Run Selection 按钮或使用键盘快捷键 Ctrl + Shift + Enter。

4. Jupyter Notebook 快捷键

快捷键为编程带来了便利,但 Jupyter Notebook 中的快捷键不能直接在 Colab 中使用。不过,这里有一个关系映射表来解决这一问题。从中可以看出,你只需要在 Jupyter 的快捷键前面加上「Ctrl +M」就能在 Colab 中使用。此规则适用于大多数快捷键。

以下是一些特例,其快捷方式已完全更改或保持不变。

5. 跳转到类定义

与 IDE 相似,你可以通过按 Ctrl 键,然后单击一个类名来跳转到类定义。例如,在这里我们通过按 Ctrl 并单击 Dense 类名来查看 Keras 中 Dense 层的类定义。

6. 在 GitHub 中打开 Notebooks

Google Colab 团队提供了官方的 Chrome 扩展程序。使用 colab 时,可以直接在 GitHub 上打开 notebooks。

扩展程序下载地址:https://chrome.google.com/webstore/detail/open-in-colab/iogfkhleblhcpcekbiedikdehleodpjo

安装后,单击 GitHub notebook 的 colab 图标直接将其打开。

或者,你也可以手动打开 GitHub notebook,将 github.com 替换为 colab.research.google.com/github 即可。

https://github.com/fastai/course-v3/blob/master/nbs/dl1/00_notebook_tutorial.ipynb

替换为

https://colab.research.google.com/github/fastai/course-v3/blob/master/nbs/dl1/00_notebook_tutorial.ipynb

甚至更简单的方法是用 githubtocolab.com 替换 github.com。

https://github.com/fastai/course-v3/blob/master/nbs/dl1/00_notebook_tutorial.ipynb

替换为

https://githubtocolab.com/fastai/course-v3/blob/master/nbs/dl1/00_notebook_tutorial.ipynb

7. 从 Colab 运行 Flask 应用

使用 flask-ngrok 库(https://github.com/gstaff/flask-ngrok),你可以轻松地将运行在 colab 上的 Flask Web 应用程序转换为一个 demo 原型。

首先,你需要安装 flask 和 flask-ngrok。

!pip install flask-ngrok flask==0.12.2

然后,你只需要将「flask app」对象传递给「run_with_ngrok」函数,它将在启动服务器时公开 ngrok 端点。

from flask import Flask
from flask_ngrok import run_with_ngrok

app = Flask(__name__)
run_with_ngrok(app)

@app.route('/')
def hello():
    return 'Hello World!'

if __name__ == '__main__':
    app.run()

8. 在 Tensorflow 版本之间切换

你可以很容易地在 Tensorflow 1 和 Tensorflow 2 之间切换。

要切换到 Tensorflow 1.15.2,请使用以下命令:

%tensorflow_version 1.x

要切换到 Tensorflow 2.2,请运行以下命令:

%tensorflow_version 2.x

你需要重新启动才能生效。出于性能考虑,Colab 建议使用预安装的 Tensorflow 版本,而不是用 pip 命令安装它。

9. Tensorboard 集成

Colab 还提供了一个命令,可以直接从 notebook 使用 Tensorboard。你只需要使用 --logdir 设置日志目录位置。

你可以从官方 notebook 学到它的使用方法:https://colab.research.google.com/github/tensorflow/tensorboard/blob/master/docs/tensorboard_in_notebooks.ipynb。

%load_ext tensorboard
%tensorboard --logdir logs

10. 查看资源限制

Colab 为他们的免费版本和专业版本提供了以下规格。根据自己的情况,如果你需要更好的运行时间、GPU 和内存,你可以以每月 10 美元的价格切换到专业版本。

可以通过运行以下命令查看你已经被分配到的 GPU:

!nvidia-smi

有关 CPU 的信息,可以运行此命令:

!cat /proc/cpuinfo

此外,你还可以通过运行以下命令查看 RAM 容量

import psutil
ram_gb = psutil.virtual_memory().total / 1e9
print(ram_gb)

11. 使用交互式 shell

Colab 中没有内置的交互终端。但是可以使用 bash 命令以交互方式试用 shell 命令。只需运行此命令,你将获得交互式输入。

!bash

现在,你可以在给定的输入框中运行任何 shell 命令。

要退出 shell,只需在输入框中键入 exit。

12. 当前的内存和存储使用情况

Colab 提供了 RAM 和磁盘使用情况的指示器。如果将鼠标悬停在指示器上,将弹出一个窗口,其中包含当前内存和存储使用情况和总容量。

13.「Open in Colab」 标志

你可以使用如下 markdown 代码在 README.md 或 jupyter notebooks 中添加「Open in Colab 」标志。

在这段代码中,我们正在加载 SVG 图片,然后将其链接到 colab notebook。

[![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/notebooks/basic_features_overview.ipynb)

14. Pandas 交互表

Colab 提供了一个 notebook 扩展,用于向 pandas dataframes 添加交互式排序和过滤功能。要使用它,请运行以下代码。

%load_ext google.colab.data_table

在加载下面的扩展之后,你可以看到常规的 pandas dataframe 和交互式 dataframe。

15. 设置 Conda 环境

如果将 miniconda 用作 python 环境管理器,你可以通过在 notebook 顶部运行以下命令,在 colab 上对其进行设置。

# Download Miniconda installation script!wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
# Make it executable!chmod +x Miniconda3-latest-Linux-x86_64.sh
# Start installation in silent mode!bash ./Miniconda3-latest-Linux-x86_64.sh -b -f -p /usr/local
# Make conda packages available in current environment
import sys
sys.path.append('/usr/local/lib/python3.7/site-packages/')

执行完单元后,你可以照常使用 conda 安装软件包。

!conda install -y flask

16. 从命令行管理 Colab Notebooks

你可以使用名为 colab-cli 的库轻松创建 colab notebooks 并将其与本地 notebooks 同步:https://github.com/Akshay090/colab-cli

17. 运行后台任务

在某些情况下,我们需要先启动一些 Web 服务器或后台任务,然后才能执行常规程序。

要运行后台任务,请使用「nohup」命令,然后使用常规的 shell 命令,并在末尾添加「&」使其在后台运行。这样确保可以在之后的 notebook 中运行单元,而不会被后台任务终止。

!nohup bash ping.sh &

18. 提醒训练完成

如果你要执行耗时较长的任务(例如训练模型),你可以将 Colab 设置为在完成后发送桌面通知。

要启用此功能,请转到「Tools ⮕ Settings ⮕ Site」,然后启用「Show desktop notifications」复选框。

这时将弹出一个窗口,以启用浏览器通知。只要接受它,即使你在另一个选项卡、窗口或应用程序上,colab 也会在任务完成时通知你。

19. 运行 javascript 代码

使用 %%javascript 命令运行 javascript 代码。

20. 在 Colab 上运行 VSCode

你可以在 Colab 上运行完整的 VSCode。请参考文档:https://amitness.com/vscode-on-colab/。

原文链接:https://amitness.com/2020/06/google-colaboratory-tips/

本文分享自微信公众号 - 相约机器人(xiangyuejiqiren)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-09-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 20种小技巧,玩转Google Colab

    当我们在 colab 上尝试一些临时的东西时,我们会创建一堆杂乱、没有标题的 Notebook。

    CV君
  • 20种小技巧,玩转Google Colab

    当我们在 colab 上尝试一些临时的东西时,我们会创建一堆杂乱、没有标题的 Notebook。

    昱良
  • 玩转Google Colab!附20种小技巧

    当我们在 colab 上尝试一些临时的东西时,我们会创建一堆杂乱、没有标题的 Notebook。

    Amusi
  • 双十一刚过,你的手还好吗?这些Colab技巧帮你愉快地薅谷歌羊毛

    Google Colab 是一个免费的 Jupyter 环境,用户可以用它创建 Jupyter notebook,在浏览器中编写和执行 Python 代码,以及...

    机器之心
  • 算法集锦(7)| 实用代码 | Google Colab使用及配置技巧

    Google Colaboratory是Jupyter的一个专用服务器,允许用户免费使用12个小时(重启后可以继续使用)。用户可以利用Google Colab测...

    用户7623498
  • TensorFlow超级指南 | 你能想到的TF教程和资源都在这里

    本文涵盖与TensorFlow相关的教程、书籍、工具、求职等的大量信息。尽数资源,应有尽有。

    数据派THU
  • 双十一刚过,你的手还好吗?这些Colab技巧帮你愉快地薅谷歌羊毛

    Google Colab 是一个免费的 Jupyter 环境,用户可以用它创建 Jupyter notebook,在浏览器中编写和执行 Python 代码,以及...

    代码医生工作室
  • 【Colab Notebooks】6个小技巧,屡试不爽!

    切换暗黑模式、读取 CSV 文件… 这些非常实用的小技巧为开发者使用谷歌 Colab Notebooks 提供了便利。

    昱良
  • 使用谷歌Colab Notebooks,这6个小技巧你需要掌握

    Google Colab 给广大的 AI 爱好者和开发者提供了免费的 GPU,他们可以在上面轻松地跑 Tensorflow、PyTorch 等深度学习框架。特别...

    机器之心
  • Google在线深度学习神器Colab1. Colab 执行终端命令2. 用Colab编写在线爬虫,并在线展示成果3.在线机器学习,决策树案例 - 泰坦尼克乘客存活状况 4. 在线学习Python编程

    Colab是google最近推出的一项Python在线编程的免费服务, 有了它,不学Python编程的理由又少了一个 Colab环境已经集成了流行的深度学习...

    zhaoolee
  • Google Colab免费GPU教程

    现在,你可以开发深度学习与应用谷歌Colaboratory -on的免费特斯拉K80 GPU -使用Keras,Tensorflow和PyTorch。

    iOSDevLog
  • 免费!Google Colab现已支持英伟达T4 GPU

    【新智元导读】Google Colab现在提供免费的T4 GPU。Colab是Google的一项免费云端机器学习服务,T4GPU耗能仅为70瓦,是面向现有数...

    新智元
  • 2020年搞深度学习需要什么样的GPU:请上48G显存

    众所周知,当今业界性能最强(SOTA)的深度学习模型都会占用巨大的显存空间,很多过去性能算得上强劲的 GPU,现在可能稍显内存不足。在 lambda 最新的一篇...

    机器之心
  • 【转载】想免费用谷歌资源训练神经网络?Colab 详细使用教程

    Colab 是谷歌内部类 Jupyter Notebook 的交互式 Python 环境,免安装快速切换 Python 2和 Python 3 的环境,支持Go...

    marsggbo
  • GPT-2的大规模部署:AI Dungeon 2 如何支撑百万级用户

    早在 2019 年 3 月,我就建立了一个名为 AI Dungeon 的 hackathon 项目。这个项目是一个经典的文本冒险游戏。故事的内容和所呈现的潜在动...

    AI研习社
  • 专栏 | 想免费用谷歌资源训练神经网络?Colab详细使用教程

    机器之心
  • 用AI指挥另一个AI,GAN+CLIP的组合成了“CG艺术家”

    不需要改变数据集,只需要给CLIP下达的命令中把“虚幻引擎”几个字加上,再让CLIP去指挥GAN,图像就立马变成了高大上的CG艺术风。

    量子位
  • 你的微信,到底「连接」多少人?

    菜天哥哥
  • 新入坑的SageMaker Studio Lab和Colab、Kaggle相比,性能如何?

    一周前,亚马逊启动了 SageMaker Studio 的免费简化版 SageMaker Studio Lab,提供了一个时限为12小时的 CPU 实例和一个时...

    机器之心

扫码关注云+社区

领取腾讯云代金券