为了克服训练时间的问题，我们使用TPU运行时环境来加速训练。为此，PyTorch一直在通过提供最先进的硬件加速器来支持机器学习的实现。 PyTorch对云TPU的支持是通过与XLA（加速线性代数）的集成实现的，XLA是一种用于线性代数的编译器，可以针对多种类型的硬件，包括CPU、GPU和TPU。 ? 本文演示了如何使用PyTorch和TPU实现深度学习模型，以加快训练过程。 在这里，我们使用PyTorch定义了一个卷积神经网络（CNN）模型，并在PyTorch/XLA环境中对该模型进行了训练。 用PyTorch和TPU实现CNN 我们将在Google Colab中实现执行，因为它提供免费的云TPU（张量处理单元）。 “Training PyTorch models on Cloud TPU Pods”, Google Cloud Guides.
但是Kaggle和谷歌在它的一些比赛中分发了免费的TPU时间，并且一个人不会简单地改变他最喜欢的框架，所以这是一个关于我在GCP上用TPU训练PyTorch模型的经验的备忘录(大部分是成功的)。 ? https://github.com/pytorch/xla 设置 这里有两种方法可以获得TPU的使用权 GCP计算引擎虚拟机与预构建的PyTorch/XLA映像并按照PyTorch/XLA github 注意，在TPU节点上也有运行的软件版本。它必须匹配您在VM上使用的conda环境。由于PyTorch/XLA目前正在积极开发中，我使用最新的TPU版本: ? 使用TPU训练 让我们看看代码。 python MyModel.py 工作的局限性 PyTorch/XLA的设计导致了一系列PyTorch功能的限制。 总结 总而言之，我在PyTorch / XLA方面的经验参差不齐。我遇到了多个错误/工件（此处未全部提及），现有文档和示例受到限制，并且TPU固有的局限性对于更具创意的体系结构而言可能过于严格。
个人网站、项目部署、开发环境、游戏服务器、图床、渲染训练等免费搭建教程，多款云服务器20元起。
在本文中，我们将演示最流行的计算机视觉应用之一-多类图像分类问题，使用fastAI库和TPU作为硬件加速器。TPU，即张量处理单元，可以加速深度学习模型的训练过程。 ? 「本文涉及的主题」： 多类图像分类 常用的图像分类模型 使用TPU并在PyTorch中实现 多类图像分类 我们使用图像分类来识别图像中的对象，并且可以用于检测品牌logo、对对象进行分类等。 要在Google Colab中使用TPU，我们需要打开edit选项，然后打开notebook设置，并将硬件加速器更改为TPU。 ? import os assert os.environ['COLAB_TPU_ADDR'] Path = 'grpc://'+os.environ['COLAB_TPU_ADDR'] print('TPU 原文链接：https://analyticsindiamag.com/fastai-with-tpu-in-pytorch-for-multiclass-image-classification/
TPU 架构 TPU被设计成一个协处理器，通过PCI-E总线与CPU进行数据交换，同时，TPU自己不会主动去内存中取指令，所有运行指令都是CPU通过PICE主动发送到TPU的指令缓存buffer中去执行 ，所以其实TPU其实更像是一个单纯的计算单元协处理器。 [tpu-arct.png] TPU的核心是 256*256的矩阵运算单元，能够计算8bit的整数乘法及加法。 TPU使用了4级的流水线，来充分利用矩阵运算单元。TPU中，计算和存储单元占据了接近70%的面积，控制单元仅有2%。 [perf.png] [perf-figure.png] 功耗 谷歌的数据显示，能耗比GPU和CPU高出很多 [pw.png] TPU设计调整 结果是TPU很吃内存带宽，带宽提高4倍，性能能提高三倍。
谷歌的这款芯片被称作 Tensor Processing Unit，简称 TPU，是Google专门为深度学习定制的芯片。 第一次出现是在2016年的Google I/O大会上，最近在体系结构顶级会议 ISCA 2017 上面，描述 TPU 的论文被评为最佳论文，让TPU又火了一把。 不适合训练，适合做推断，TPU是一种ASIC，先用GPU训练神经网络，再用TPU做推断。 • 一个TPU的MAC是Tesla K80的25倍，片上内存容量达到K80的3.5倍，而且体积更小。 Jouppi说，虽然 TPU 有很多矩阵乘法单元，但 TPU 比“GPU 在思路上更接近浮点单元协处理器”，TPU 没有任何存储程序，仅执行从主机发送的指令。
就仿佛DeepMind团队训练BigGAN用的512个TPU，齐刷刷发出不怀好意的嘲笑。 ? 现在， 好消息来了！ 虽然“只需”令人嫉妒，但比起原来动辄128个、512个TPU的硬件需求，简直就扶贫济困，平民之光。 更让人期待的是，打破了128个TPU的门槛之后，用其他数据集训练的BigGAN一定会层出不穷啊！风景、waifu指日可待。 原版是128-512个TPU，新版是4-8个GPU，这之间有巨大的算力差距，Brock到底是怎样用Pytorch完整复现BigGAN的？ 大思路就是：靠梯度累加，在小硬件上使用大批量（batch）。 这些代码默认你无法访问完整的TPU pod，因此，会运用梯度累加技术来假冒大批量。 具体来说，先在多个小批量上将梯度平均，然后在N次累计后，再执行优化程序步骤。
机器之心报道 作者：力元 多数 PyTorch 高级库都支持分布式训练和混合精度训练，但是它们引入的抽象化往往需要用户学习新的 API 来定制训练循环。 许多 PyTorch 用户希望完全控制自己的训练循环，但不想编写和维护训练所需的样板代码。Hugging Face 最近发布的新库 Accelerate 解决了这个问题。 ? 「Accelerate」提供了一个简单的 API，将与多 GPU 、 TPU 、 fp16 相关的样板代码抽离了出来，保持其余代码不变。 PyTorch 用户无须使用不便控制和调整的抽象类或编写、维护样板代码，就可以直接上手多 GPU 或 TPU。 Accelerate 支持的集成包括： CPU 单 GPU 单一节点多 GPU 多节点多 GPU TPU 带有本地 AMP 的 FP16（路线图上的顶点）
晓查 发自 凹非寺 量子位 报道 | 公众号 QbitAI 对于PyTorch开发者来说，Google Colab上的TPU资源不能用，恐怕是最遗憾的事情了。 过去一直有PyTorch用户试图在Colab上薅羊毛，但是都没有太成功的。 现在福利来了，一个叫做Pytorch Lightning的项目，可以让你几乎修改代码的情况下用上TPU。 ? 总之，PyTorch Lightning有这些优点： 代码结构化；与PyTorch源代码几乎完全相同；随着项目复杂性的提升，代码的大部分内容无需修改；保留了PyTorch的灵活性。 新增高级功能，连Pytorch本尊都没有 除了以上的一些特性外，PyTorch Lightning还加入了许多高级功能，让你体验到PyTorch本身不具备的一些优点。 PyTorch Lightning还有更多的可扩展性，在这里无法一一介绍，如果你正想要在TPU上运行自己的PyTorch代码，可以前去学习更详细的用法。
1 TPU分类和收费标准 1.1 分类和计费说明 地区 抢占式TPU Cloud TPU 美国 \$1.35/hour \$4.5/hour 欧洲 \$1.485/hour \$4.95/ hour 亚太区地区 \$1.566/hour \$5.22/hour 抢占式 TPU 是 Cloud TPU 在需要将资源分配给另一项任务时，可以随时终止（抢占）的 TPU。 抢占式 TPU 的费用要比普通 TPU 低廉得多。 TPU 以 1 秒钟为增量单位进行计费。 为了连接到 TPU，我们必须配置一台虚拟机（单独结算）。要注意的是虚拟机和TPU是分别计费的。 也就是说仅在启动 TPU 之后，Cloud TPU 的计费才会开始；在停止或删除 TPU 之后，计费随即停止。 抢占式 TPU 的费用是每小时 $1.35，而非普通 TPU 的每小时 $4.50。
而第一代 (2015) 和第二代 (2017) 的 TPU 样子如下 。 ? 查了下第三代 TPU 每个核心的价格是每小时 8 美元。 ? 扯了这么多，本帖只想弄清楚下面 WHAT-WHY-HOW 灵魂三问： WHAT：TPU 是什么？ WHY：为什么 TPU 在神经网络上有效？ HOW：怎么玩 TPU + Keras？ 1 WHAT TPU 是什么？ 最后看看专门为矩阵计算设计的 TPU？ 1.4 TPU TPU 是 google 专门为大型神经网络里面的大型矩阵运算而设计的，因此不是通用处理器。 try block 里面分别检测出 TPU，并创建 TPU 分布式策略，然后用 keras_to_tpu_model 来将 model 装成 tpu_model。 之后就可以愉快的训练模型了。
1 TPU分类和收费标准 1.1 分类和计费说明 地区 抢占式TPU Cloud TPU 美国 $1.35/hour $4.5/hour 欧洲 $1.485/hour $4.95/hour 亚太区地区 $1.566/hour $5.22/hour 抢占式 TPU 是 Cloud TPU 在需要将资源分配给另一项任务时，可以随时终止（抢占）的 TPU。 抢占式 TPU 的费用要比普通 TPU 低廉得多。 TPU 以 1 秒钟为增量单位进行计费。 为了连接到 TPU，我们必须配置一台虚拟机（单独结算）。要注意的是虚拟机和TPU是分别计费的。 也就是说仅在启动 TPU 之后，Cloud TPU 的计费才会开始；在停止或删除 TPU 之后，计费随即停止。 = tpu.rewrite(axy_computation, inputs) tpu_grpc_url = TPUClusterResolver( tpu=[os.environ['TPU_NAME
现在PyTorch官方已经在Github上给出示例代码，教你如何免费使用谷歌云TPU训练模型，然后在Colab中进行推理。 训练ResNet-50 PyTorch先介绍了在云TPU设备上训练ResNet-50模型的案例。如果你要用云TPU训练其他的图像分类模型，操作方式也是类似的。 -e XRT_TPU_CONFIG="tpu_worker;0;$TPU_IP_ADDRESS:8470" gcr.io/tpu-pytorch/xla:r0.5 python3 pytorch/xla compat PyTorch/TPU wheels and dependencies ! 在PyTorch上使用TPU对性能的提升到底有多明显呢？
前面刚学习了Google的第一代TPU，写了篇《似懂非懂Google TPU》，很多朋友一起讨论，纷纷议论说好像也不是很牛逼？怎么可能，Google在技术上还是很有追求的。 这还没过几个月，Google CEO Sundar Pichai 在 5月18日I/O 大会上正式公布了第二代 TPU，又称 Cloud TPU 或 TPU 2.0，继续来看下TPU 2.0有什么神奇之处 新的 TPU 包括了 4 个芯片，每秒可处理 180 万亿次浮点运算。 Google 还找到一种方法，使用新的电脑网络将 64 个 TPU 组合到一起，升级为所谓的TPU Pods，可提供大约 11,500 万亿次浮点运算能力。 ? 除了速度，第二代 TPU 最大的特色，是相比初代 TPU 它既可以用于训练神经网络，又可以用于推理。
如果想尝试使用Google Colab上的TPU来训练模型，也是非常方便，仅需添加6行代码。 在Colab笔记本中：修改->笔记本设置->硬件加速器 中选择 TPU 注：以下代码只能在Colab 上才能正确执行。 可通过以下colab链接测试效果《tf_TPU》： https://colab.research.google.com/drive/1XCIhATyE1R7lq6uwFlYlRsUr5d9_-r1s % return(model) 三，训练模型 #增加以下6行代码 import os resolver = tf.distribute.cluster_resolver.TPUClusterResolver(tpu ='grpc://' + os.environ['COLAB_TPU_ADDR']) tf.config.experimental_connect_to_cluster(resolver) tf.tpu.experimental.initialize_tpu_system
芯片的其余部分很重要，值得一试，但 TPU 的核心优势在于它的 MXU——一个脉动阵列矩阵乘法单元。 TPU的其余部分 上面设计了出色的脉动阵列，但仍有大量工作需要构建支持和基础部分以使其运行。 TPUv1 的系统图和布局模型 主机接口将通过 PCIe 连接到加速器（TPU）。 它将您的 TF 图转换为线性代数，并且它有自己的后端可以在 CPU、GPU 或 TPU 上运行。 Pods Google云中的 TPU 存在于“pod”中，它们是具有大量计算能力的大型机架。 单个 TPU 通常不足以以所需的速度训练大型模型，但训练涉及频繁的权重更新，需要在所有相关芯片之间分配。 TPU发展历史 结论 这是我能找到有关TPU工作原理的所有信息，可能她并不完整，但是我希望你明白了TPU的工作原理。 TPU 是一个非常好的硬件，但它可能在 v1 出现之前就已经存在多年了。
TPU 3.0 谷歌CEO桑达尔·皮查伊(Sundar Pichai)称，当人们使用大量第三代TPU时，它可能会创造庞大计算能力。 “每个芯片群(pods，包含多个TPU 3.0芯片)的性能比去年版本强大8倍以上，计算能力远超100 petaflops(每秒千万亿次浮点运算)，”皮查伊称。 TPU 3.0采用液体冷却(liquid-cooled)技术。这种技术有时被用于高性能计算芯片或者一些用于PC中的性能导向型芯片。 谷歌在去年宣布的第二代TPU已经展示出了不错的性能。 近几个月的测试结果显示，在特定情况下，第二代TPU展现出的性能好于现有GPU，尽管它仍存在一定局面性，例如缺乏对PyTorch AI软件框架的支持。 PyTorch获得了Facebook的支持，该开源社区正在努力改变这一点。 谷歌在2016年首次宣布了TPU AI芯片项目。
尽管您的研究/生产项目可能开始很简单，但是一旦添加了GPU和TPU训练，16位精度等功能，最终您将花费比研究更多的时间进行工程设计。Lightning会自动为您进行严格测试。 Trainer(max_epochs=1, gpus=8) # 256个GPU trainer = Trainer(max_epochs=1, gpus=8, num_nodes=32) 或者在TPU 上运行 # 分发给TPU进行训练 trainer = Trainer(tpu_cores=8) # 单个TPU进行训练 trainer = Trainer(tpu_cores=[1]) 当您完成训练后 Trains（https://github.com/allegroai/trains） ... tf_lossLightning使40多个DL / ML研究的部分自动化 GPU训练 分布式GPU（集群）训练 TPU Image Inpainting using Partial Convolutions (https://github.com/ryanwongsa/Image-Inpainting) MNIST on TPU
智能钛机器学习平台是为 AI 工程师打造的一站式机器学习服务平台，为用户提供从数据预处理、模型构建、模型训练、模型评估到模型服务的全流程开发支持。智能钛机器学习平台内置丰富的算法组件，支持多种算法框架，满足多种AI应用场景的需求。自动化建模（AutoML）的支持与拖拽式任务流设计让 AI 初学者也能轻松上手。
扫码关注腾讯云开发者
领取腾讯云代金券
云服务器
云数据库 SQL Server
网站备案
文件存储
SSL 证书
