为了克服训练时间的问题，我们使用TPU运行时环境来加速训练。为此，PyTorch一直在通过提供最先进的硬件加速器来支持机器学习的实现。 本文演示了如何使用PyTorch和TPU实现深度学习模型，以加快训练过程。 在这里，我们使用PyTorch定义了一个卷积神经网络（CNN）模型，并在PyTorch/XLA环境中对该模型进行了训练。 XLA将CNN模型与分布式多处理环境中的Google Cloud TPU（张量处理单元）连接起来。在这个实现中，使用8个TPU核心来创建一个多处理环境。 用PyTorch和TPU实现CNN 我们将在Google Colab中实现执行，因为它提供免费的云TPU（张量处理单元）。 启用TPU后，我们将安装兼容的控制盘和依赖项，以使用以下代码设置XLA环境。 VERSION = "20200516" !
但是Kaggle和谷歌在它的一些比赛中分发了免费的TPU时间，并且一个人不会简单地改变他最喜欢的框架，所以这是一个关于我在GCP上用TPU训练PyTorch模型的经验的备忘录(大部分是成功的)。 ? https://github.com/pytorch/xla 设置 这里有两种方法可以获得TPU的使用权 GCP计算引擎虚拟机与预构建的PyTorch/XLA映像并按照PyTorch/XLA github 或者使用最简单的方法，使用google的colab笔记本可以获得免费的tpu使用。 针对一kaggle的比赛您可以在虚拟机上使用以下代码复制Kaggle API令牌并使用它下载竞争数据。 注意，在TPU节点上也有运行的软件版本。它必须匹配您在VM上使用的conda环境。由于PyTorch/XLA目前正在积极开发中，我使用最新的TPU版本: ? 使用TPU训练 让我们看看代码。 对于多核训练，PyTorch/XLA使用它自己的并行类。
热卖云产品新年特惠，2核2G轻量应用服务器9元/月起，更多上云必备产品助力您轻松上云
他们还创建了一项 TPU 资源，其 Compute Engine 实例和 TPU 资源的累计使用时间都是 10 小时。 $45.00 _ $45.95 使用抢占式 TPU 的价格示例 在以下示例中，使用的资源和时长与上例相同，但这一次该研究机构决定使用抢占式 TPU 来节省成本。 使用TensorFlow的相应版本创建Cloud TPU，并将Cloud TPU的名称作为环境变量( TPU _ NAME )传递给Computer Engine VM。 TPU 该方法可以免费使用TPU，但是磁盘空间有限，最多50G，而且默认已使用24G， 所以对于要训练大数据集或者要保存模型的可能还是得使用Google Cloud。 Colab使用方法很简单，只需要使用自己的谷歌账号在Colab上新建一个Jupyter-notebook，在创建好之后将修改>笔记本设置>硬件加速器设置成TPU即可使用。
1.2 实用查询链接 Compute Engine 价格表 Compute Engine 价格计算器 1.3 价格计算实例 以下示例解释了如何计算一项训练作业的总费用，该作业使用美国区域的 TPU 资源和 他们还创建了一项 TPU 资源，其 Compute Engine 实例和 TPU 资源的累计使用时间都是 10 小时。 $45.00 _ $45.95 使用抢占式 TPU 的价格示例 在以下示例中，使用的资源和时长与上例相同，但这一次该研究机构决定使用抢占式 TPU 来节省成本。 注意：要想使用Cloud Storage，需要启用结算功能。 2.2.1 创建存储分区 存储分区用于保存您要在 Cloud Storage中存储的对象（任何类型的文件）。 使用TensorFlow的相应版本创建Cloud TPU，并将Cloud TPU的名称作为环境变量( TPU _ NAME )传递给Computer Engine VM。
1.2 实用查询链接 Compute Engine 价格表 Compute Engine 价格计算器 1.3 价格计算实例 以下示例解释了如何计算一项训练作业的总费用，该作业使用美国区域的 TPU 资源和 他们还创建了一项 TPU 资源，其 Compute Engine 实例和 TPU 资源的累计使用时间都是 10 小时。 $45.00 _ $45.95 使用抢占式 TPU 的价格示例 在以下示例中，使用的资源和时长与上例相同，但这一次该研究机构决定使用抢占式 TPU 来节省成本。 2.3 打开Cloud Shell，使用ctpu工具 Shell在控制台右上角，如下图示： ? 输入ctpu print-config可以查看配置信息。 使用TensorFlow的相应版本创建Cloud TPU，并将Cloud TPU的名称作为环境变量( TPU _ NAME )传递给Computer Engine VM。
如果想尝试使用Google Colab上的TPU来训练模型，也是非常方便，仅需添加6行代码。 在Colab笔记本中：修改->笔记本设置->硬件加速器 中选择 TPU 注：以下代码只能在Colab 上才能正确执行。 可通过以下colab链接测试效果《tf_TPU》： https://colab.research.google.com/drive/1XCIhATyE1R7lq6uwFlYlRsUr5d9_-r1s % return(model) 三，训练模型 #增加以下6行代码 import os resolver = tf.distribute.cluster_resolver.TPUClusterResolver(tpu ='grpc://' + os.environ['COLAB_TPU_ADDR']) tf.config.experimental_connect_to_cluster(resolver) tf.tpu.experimental.initialize_tpu_system
在本文中，我们将演示最流行的计算机视觉应用之一-多类图像分类问题，使用fastAI库和TPU作为硬件加速器。TPU，即张量处理单元，可以加速深度学习模型的训练过程。 ? 「本文涉及的主题」： 多类图像分类 常用的图像分类模型 使用TPU并在PyTorch中实现 多类图像分类 我们使用图像分类来识别图像中的对象，并且可以用于检测品牌logo、对对象进行分类等。 要在Google Colab中使用TPU，我们需要打开edit选项，然后打开notebook设置，并将硬件加速器更改为TPU。 ? 通过运行下面的代码片段，你可以检查你的Notebook是否正在使用TPU。 原文链接：https://analyticsindiamag.com/fastai-with-tpu-in-pytorch-for-multiclass-image-classification/
如果想尝试使用Google Colab上的TPU来训练模型，也是非常方便，仅需添加6行代码。 ='grpc://' + os.environ['COLAB_TPU_ADDR']) tf.config.experimental_connect_to_cluster(resolver) tf.tpu.experimental.initialize_tpu_system INFO:tensorflow:Found TPU system: INFO:tensorflow:Found TPU system: INFO:tensorflow:*** Num TPU Cores TPU Workers: 1 INFO:tensorflow:*** Num TPU Cores Per Worker: 8 INFO:tensorflow:*** Num TPU Cores Per :TPU:0, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task
介绍 因为工作需要，改用pytorch。但如何将训练过程可视化成了大问题。听说pytorch代码中可以插入tensorboard代码，第一反应是居然可以这么玩。。 网络上PyTorch中使用tensorboard的方法有很多。但毕竟tensorboard不是PyTorch框架原生自带的，因此大多方法都只能支持部分功能。 经过孙大佬的推荐，觉得使用tensorboardX应该是目前已知的最好方法了。 Usage 环境要求： pytorch>=0.3.1 Install pip install tensorboardX 调用方法 首先要import tensorboardX： from tensorboardX ---- [1] tensorboardX开源项目：lanpa/tensorboard-pytorch
之前用pytorch是手动记录数据做图，总是觉得有点麻烦。学习了一下tensorboardX，感觉网上资料有点杂，记录一下重点。 ----1.安装有各种方法，docker安装，使用logger.py脚本调用感觉都不简洁。现在的tensorboardX感觉已经很好了，没什么坑。在命令行pip安装即可！注意！ 这玩意虽然在pytorch下，但是其实是内核是 tensorflow里面的board，所以安装之前得先安装 tensorflowpip install tensorboardX----2.调用from
TPU 架构 TPU被设计成一个协处理器，通过PCI-E总线与CPU进行数据交换，同时，TPU自己不会主动去内存中取指令，所有运行指令都是CPU通过PICE主动发送到TPU的指令缓存buffer中去执行 ，所以其实TPU其实更像是一个单纯的计算单元协处理器。 [tpu-arct.png] TPU的核心是 256*256的矩阵运算单元，能够计算8bit的整数乘法及加法。 TPU使用了4级的流水线，来充分利用矩阵运算单元。TPU中，计算和存储单元占据了接近70%的面积，控制单元仅有2%。 [perf.png] [perf-figure.png] 功耗 谷歌的数据显示，能耗比GPU和CPU高出很多 [pw.png] TPU设计调整 结果是TPU很吃内存带宽，带宽提高4倍，性能能提高三倍。
谷歌的这款芯片被称作 Tensor Processing Unit，简称 TPU，是Google专门为深度学习定制的芯片。 第一次出现是在2016年的Google I/O大会上，最近在体系结构顶级会议 ISCA 2017 上面，描述 TPU 的论文被评为最佳论文，让TPU又火了一把。 不适合训练，适合做推断，TPU是一种ASIC，先用GPU训练神经网络，再用TPU做推断。 • 一个TPU的MAC是Tesla K80的25倍，片上内存容量达到K80的3.5倍，而且体积更小。 Jouppi说，虽然 TPU 有很多矩阵乘法单元，但 TPU 比“GPU 在思路上更接近浮点单元协处理器”，TPU 没有任何存储程序，仅执行从主机发送的指令。
就仿佛DeepMind团队训练BigGAN用的512个TPU，齐刷刷发出不怀好意的嘲笑。 ? 现在， 好消息来了！ 虽然“只需”令人嫉妒，但比起原来动辄128个、512个TPU的硬件需求，简直就扶贫济困，平民之光。 原版是128-512个TPU，新版是4-8个GPU，这之间有巨大的算力差距，Brock到底是怎样用Pytorch完整复现BigGAN的？ 大思路就是：靠梯度累加，在小硬件上使用大批量（batch）。 不过，评论区也有高人，为新实现找了个绝佳的使用场景： 那些之前买显卡挖矿的人，终于有比较酷的事情可干了。 这一提议顿时有人响应： 哈……我有12块英伟达1080，就是因为这个。 △ BigGAN一作Andrew Brock 他使用PyTorch体验怎样？如何看待在PyTorch和TensorFlow中实现BigGAN的差异？
机器之心报道 作者：力元 多数 PyTorch 高级库都支持分布式训练和混合精度训练，但是它们引入的抽象化往往需要用户学习新的 API 来定制训练循环。 「Accelerate」提供了一个简单的 API，将与多 GPU 、 TPU 、 fp16 相关的样板代码抽离了出来，保持其余代码不变。 PyTorch 用户无须使用不便控制和调整的抽象类或编写、维护样板代码，就可以直接上手多 GPU 或 TPU。 这两个选项都可以使用脚本的启动器进行设置。 Accelerate 支持的集成包括： CPU 单 GPU 单一节点多 GPU 多节点多 GPU TPU 带有本地 AMP 的 FP16（路线图上的顶点）
晓查 发自 凹非寺 量子位 报道 | 公众号 QbitAI 对于PyTorch开发者来说，Google Colab上的TPU资源不能用，恐怕是最遗憾的事情了。 过去一直有PyTorch用户试图在Colab上薅羊毛，但是都没有太成功的。 现在福利来了，一个叫做Pytorch Lightning的项目，可以让你几乎修改代码的情况下用上TPU。 ? 使用方法 PyTorch Lightning具体该如何使用，作者Falcon还是以MNIST图像分类网络为例，介绍从收集数据到训练再到验证、测试的全过程。 ? 二者代码大致相同，只是将PyTorch代码组织为4个函数： prepare_data：此函数负责处理下载数据，确保使用多个GPU时，不会下载多个数据集或对数据进行双重操作。 PyTorch Lightning还有更多的可扩展性，在这里无法一一介绍，如果你正想要在TPU上运行自己的PyTorch代码，可以前去学习更详细的用法。
扯了这么多，本帖只想弄清楚下面 WHAT-WHY-HOW 灵魂三问： WHAT：TPU 是什么？ WHY：为什么 TPU 在神经网络上有效？ HOW：怎么玩 TPU + Keras？ 最后看看专门为矩阵计算设计的 TPU？ 1.4 TPU TPU 是 google 专门为大型神经网络里面的大型矩阵运算而设计的，因此不是通用处理器。 基于此，Google 自定义了一个 16 位大脑浮点 (bfloat16)，并发现许多模型在使用 bfloat16 时，实现了与使用 float32 数值时相同的准确性。 ? try block 里面分别检测出 TPU，并创建 TPU 分布式策略，然后用 keras_to_tpu_model 来将 model 装成 tpu_model。 之后就可以愉快的训练模型了。 另外 Google 真是一家伟大的公司，在 Colab 里面可以免费使用 TPU 玩模型。大家也可以去试试吧。
PyTorch 为每个张量或 nn.Module 对象注册 hook。hook 由对象的向前或向后传播触发。 导致我们的代码看起来很不专业，用户每次使用你的代码都会得到一些奇怪的信息。 以后再也不会了！让我们使用 hook 来调试模型，而不用以任何方式修改它们的实现。例如，假如你想知道每个层输出的形状。 我们可以创建一个简单的 wrapper，使用 hook 打印输出形状。 _features 我们可以像使用其他 PyTorch 模块一样使用特征提取器。 PyTorch 已经提供了梯度裁剪的工具方法，但是我们也可以很容易地使用 hook 来实现它。其他任何用于梯度裁剪/归一化/修改的方法都可以用同样的方式实现。
用户可以使用 torch.cuda.device 来修改所选设备。一旦分配了张量，您可以对其执行操作，而不考虑所选设备，PyTorch 会把运行结果与原始张量放在同一设备上。 代码中实际就是使用 self._apply 来调用 cuda(device)。 此外，dispatch key的种类不是公开可扩展的，我们希望那些想添加新dispatch key的使用者通过向PyTorch核心团队提交一个补丁来添加他们的dispatch key。 最后，有一个 fallback 方法，用户可以使用它为某个key对应的所有运算符定义同一个处理程序。 深入浅出PyTorch（算子篇） 深入浅出全连接层（fully connected layer） Pytorch拓展进阶(二)：Pytorch结合C++以及Cuda拓展 Pytorch拓展进阶(一)：Pytorch
智能钛机器学习平台是为 AI 工程师打造的一站式机器学习服务平台，为用户提供从数据预处理、模型构建、模型训练、模型评估到模型服务的全流程开发支持。智能钛机器学习平台内置丰富的算法组件，支持多种算法框架，满足多种AI应用场景的需求。自动化建模（AutoML）的支持与拖拽式任务流设计让 AI 初学者也能轻松上手。
扫码关注腾讯云开发者
领取腾讯云代金券
云服务器
云数据库 SQL Server
网站备案
文件存储
SSL 证书
