GPU已被证明是加速深度学习和AI工作负载（如计算机视觉和自然语言处理（NLP））的有效解决方案。如今许多基于深度学习的应用程序在其生产环境中使用GPU设备，例如用于数据中心的NVIDIA Tesla和用于嵌入式平台的Jetson。这提出了一个问题：如何从NVIDIA GPU设备获得最佳推理性能？
本系列我们开始分析 TensorFlow 的分布式。之前在机器学习分布式这一系列分析之中，我们大多是以 PyTorch 为例，结合其他框架/库来穿插完成。但是缺少了 TensorFlow 就会觉得整个世界（系列）都是不完美的，不单单因为 TensorFlow 本身的影响力，更因为 TensorFlow 分布式有自己的鲜明特色，对于技术爱好者来说是一个巨大宝藏。
在第 11 章，我们讨论了几种可以明显加速训练的技术：更好的权重初始化，批量标准化，复杂的优化器等等。 但是，即使采用了所有这些技术，在具有单个 CPU 的单台机器上训练大型神经网络可能需要几天甚至几周的时间。
作者：刘光聪 中兴通讯高级系统架构师，专注机器学习算法，分布式系统架构与优化。 原文：TensorFlow架构与设计 http://www.jianshu.com/p/a5574ebcdeab
为生产而构建的机器学习系统需要有效地培训、部署和更新机器学习模型。在决定每个系统的体系结构时，必须考虑各种因素。这篇博文的部分内容是基于Coursera和GCP(谷歌云平台)关于构建生产机器学习系统的课程。下面，我将列出构建可伸缩机器学习系统时需要考虑的一些问题:
日前，谷歌和英伟达宣布将 NVIDIA TensorRT 集成到 TensorFlow 1.7 中。在谷歌开发者博客中，他们介绍了此次合作的详细信息以及整合之后的性能，AI 研习社编译整理如下： TensorRT 是一个可以用于优化深度学习模型，以进行推理，并为生产环境中的 GPU 创建运行环境的库。它能优化 TensorFlow 中的 FP16 浮点数和 INT8 整型数，并能自动选择针对特定平台的内核，以最大化吞吐量，并最大限度的降低 GPU 推理期间的延迟。全新的集成工作流程简化了在 TensorFl
AI 研习社按，日前，谷歌和英伟达宣布将 NVIDIA TensorRT 集成到 TensorFlow 1.7 中。在谷歌开发者博客中，他们介绍了此次合作的详细信息以及整合之后的性能，AI 研习社编译整理如下：
要将深度学习应用到实际问题中，一个非常大的问题在于训练深度学习模型需要的计算量太大。比如Inception-v3模型在单机上训练到78%的正确率需要将近半年的时间 ，这样的训练速度是完全无法应用到实际生产中的。为了加速训练过程，本章将介绍如何通过TensorFlow利用GPU或/和分布式计算进行模型训练。本文节选自《TensorFlow：实战Google深度学习框架》第十章。 本文将介绍如何在TensorFlow中使用单个GPU进行计算加速，也将介绍生成TensorFlow会话（tf.Session）时的一
谷歌大脑Jeff Dean等人最新提出一种分层模型，这是一种灵活的端到端方法，用于优化CPU、GPU等的自动化设备配置。该方法在多个主要神经网络模型上测试，最高实现了60.6％的性能提升。 谷歌大脑Jeff Dean等人最新提出一种分层模型，用于将计算图有效地放置到硬件设备上，尤其是在混合了CPU、GPU和其他计算设备的异构环境中。 设备配置（Device placement）可以被框定为学习如何在可用设备之间对图进行分区，将传统的图分区方法作为一个自然的baseline。先前的工作有Scotc
选自Tensorflow 机器之心编译 参与：黄玉胜、黄小天 这个文档和附带的脚本详细介绍了如何构建针对各种系统和网络拓扑的高性能可拓展模型。这个技术在本文档中用了一些低级的 Tensorflow Python 基元。在未来，这些技术将被并入高级 API。 输入管道 性能指南阐述了如何诊断输入管道可能存在的问题及其最佳解决方法。在使用大量输入和每秒更高的采样处理中我们发现 tf.FIFOQueue 和 tf.train.queue_runner 无法使用当前多个 GPU 生成饱和，例如在使用 AlexNet
在本系列的上一篇博客文章中，我们探索了将GPU用于数据科学工作流的好处，并演示了如何在Cloudera Machine Learning（CML）中设置会话以访问NVIDIA GPU来加速机器学习项目。尽管将GPU用于复杂和大型任务的省时潜力巨大，但设置这些环境和任务（例如整理NVIDIA驱动程序，管理CUDA版本以及为特定项目需求部署自定义引擎）可能既耗时又充满挑战。为了简化这些流程，并使数据科学家更快地在ML用例上工作，我们简化了在CML中本地配置和利用NVIDIA GPU的工作。在接下来的部分中，我们将为您提供三种简单的方法，使数据科学团队可以开始使用GPU来为CML中的深度学习模型提供支持。
作者：才云科技Caicloud，郑泽宇，顾思宇 要将深度学习应用到实际问题中，一个非常大的问题在于训练深度学习模型需要的计算量太大。比如Inception-v3模型在单机上训练到78%的正确率需要将近半年的时间 ，这样的训练速度是完全无法应用到实际生产中的。为了加速训练过程，本章将介绍如何通过TensorFlow利用GPU或/和分布式计算进行模型训练。本文节选自《TensorFlow：实战Google深度学习框架》第十章。 本文将介绍如何在TensorFlow中使用单个GPU进行计算加速，也将介绍生成T
作者：才云科技Caicloud，郑泽宇，顾思宇 要将深度学习应用到实际问题中，一个非常大的问题在于训练深度学习模型需要的计算量太大。比如Inception-v3模型在单机上训练到78%的正确率需要将近半年的时间 ，这样的训练速度是完全无法应用到实际生产中的。为了加速训练过程，本章将介绍如何通过TensorFlow利用GPU或/和分布式计算进行模型训练。本文节选自《TensorFlow：实战Google深度学习框架》第十章。 本文将介绍如何在TensorFlow中使用单个GPU进行计算加速，也将介绍生成Ten
TensorFlow 模型还可用于在移动和嵌入式平台上运行的应用。 TensorFlow Lite 和 TensorFlow Mobile 是资源受限移动设备的两种 TensorFlow。与 TensorFlow Mobile 相比，TensorFlow Lite 支持功能的子集。由于较小的二进制大小和较少的依赖项，TensorFlow Lite 可以获得更好的表现。
本文围绕一篇论文展开，探讨了 PyTorch DDP (torch.nn.parallel) 以及 Pipeline (torch. Distributed.Pipeline) 的加速混合。
翻译自博客：IMPLEMENTING A CNN FOR TEXT CLASSIFICATION IN TENSORFLOW 原博文：http://www.wildml.com/2015/12/implementing-a-cnn-for-text-classification-in-tensorflow/ github：https://github.com/dennybritz/cnn-text-classification-tf 在这篇文章中，我们将实现一个类似于Kim Yoon的卷积神经网络语句分类
近日，斯坦福大学计算机科学系博士生 Awni Hannun 也发表了一篇文章，谈了自己对 PyTorch 和 TensorFlow 这两大明星框架的心得体验，并在不同的方面对这两者进行了比较，我们对本
选自GitHub 作者：Awni Hannun 机器之心编译 参与：Panda 现在是各种机器学习框架群雄争霸的时代，各种各样的比较文章也层出不穷。近日，斯坦福大学计算机科学系博士生 Awni Hannun 也发表了一篇文章，谈了自己对 PyTorch 和 TensorFlow 这两大明星框架的心得体验，并在不同的方面对这两者进行了比较，机器之心对本文进行了编译介绍。 这篇指南主要介绍了我找到的 PyTorch 和 TensorFlow 之间的不同之处。这篇文章的目的是帮助那些想要开始一个新项目或从一种深度
问：up主，可以给我发一份代码吗，代码在哪里下载啊？ 答：Github上的地址就在视频简介里。复制一下就能进去下载了。
TensorFlow程序可以通过tf.device函数来指定运行每一个操作的设备，这个设备可以是本地的CPU或者GPU，也可以是某一台远程的服务器。但在本文中只关心本地的设备。TensorFlow会给每一个可用的设备一个名称，tf.device函数可以通过设备的名称来指定执行运算的设备。比如CPU在TensorFlow中的名称为/cpu:0。在默认情况下，即使机器有多个CPU，TensorFlow也不会区分它们，所有的CPU都使用/cpu:0作为名称。而一台机器上不同GPU的名称是不同的，第n个GPU在TensorFlow中的名称为/gpu:n。比如第一个GPU的名称为/gpu:0，第二个GPU名称为/gpu:1，以此类推。
总第492篇 2022年 第009篇 GPU等专用芯片以较低的成本提供海量算力，已经成为机器学习领域的核心利器，在人工智能时代发挥着越来越重要的作用。如何利用GPU这一利器赋能业务场景，是很多技术研发者都要面临的问题。本文分享了美团外卖搜索/推荐业务中模型预估的GPU架构设计及落地的过程，希望能对从事相关应用研发的同学有所帮助或启发。 1 前言 2 背景 3 外卖搜推场景下的精排模型 4 模型服务架构概览 5 GPU优化实践 5.1 系统优化 5.2 计算优化 5.3 基于DL编译器的自动优化 6 性能表
如果图像分类和物体检测是明智的任务，那么用自然语言描述图像绝对是一项更具挑战性的任务，需要更多的智能-请片刻考虑一下每个人如何从新生儿成长（他们学会了识别物体并检测它们的位置）到三岁的孩子（他们学会讲述图片故事）。 用自然语言描述图像的任务的正式术语是图像标题。 与具有长期研究和发展历史的语音识别不同，图像字幕（具有完整的自然语言，而不仅仅是关键词输出）由于其复杂性和 2012 年的深度学习突破而仅经历了短暂而令人兴奋的研究历史。
作者 | Priya Dwivedi 编译 | 聂震坤 用大数据干大事！ 目前有很多种图像识别的方案，而 Google 近日最近发布了其最新的 Tensorflow 物理检测接口（Object D
关键字全网搜索最新排名 【机器学习算法】：排名第一 【机器学习】：排名第一 【Python】：排名第三 【算法】：排名第四 源 | 全球人工智能 本文介绍的是基于Keras Tensorflow抽象库建立的迁移学习算法模型，算法简单、易于实现，并且具有很好的效果。 许多被称为“深度学习”的方法已经出现在机器学习和数据科学领域。在所有的这些“深度学习”方法中，有一种尤为突出，即对已学习representations的迁移，其有一种方法在迁移已学习的representations时，其简洁性、鲁棒性、有效性尤为
它允许您使用一组TensorFlow操作并注释构造，以便toco知道如何将其转换为tflite。这在张量流图中嵌入了一个伪函数。这允许在较低级别的TensorFlow实现中嵌入高级API使用信息，以便以后可以替换其他实现。本质上，这个伪op中的任何“输入”都被输入到一个标识中，并且属性被添加到该输入中，然后由构成伪op的组成ops使用。
深度学习在各个领域实现突破的一部分原因是我们使用了更多的数据（大数据）来训练更复杂的模型（深度神经网络），并且可以利用一些高性能并行计算设备如GPU和FPGA来加速模型训练。但是有时候，模型之大或者训练数据量之多可能超出我们的想象，这个时候就需要分布式训练系统，利用分布式系统我们可以训练更加复杂的模型（单机无法装载），还可以加速我们的训练过程，这对于研究者实现模型的超参数优化是非常有意义的。2017年6月，Facebook发布了他们的论文Accurate, Large Minibatch SGD:Training ImageNet in 1 Hour，文中指出他们采用分布在32个服务器上的256块GPUs将Resnet-50模型在ImageNet数据集上的训练时间从两周缩短为1个小时。在软件层面，他们使用了很大的minibatch（8192）来训练模型，并且使学习速率正比于minibatch的大小。这意味着，采用分布式系统可以实现模型在成百个GPUs上的训练，从而大大减少训练时间，你也将有更多的机会去尝试各种各样的超参数组合。作为使用人数最多的深度学习框架，TensorFlow从version 0.8开始支持模型的分布式训练，现在的TensorFlow支持模型的多机多卡（GPUs和 CPUs）训练。在这篇文章里面，我将简单介绍分布式TensorFlow的基础知识，并通过实例来讲解如何使用分布式TensorFlow来训练模型。
卷积神经网络对房屋/公寓的不同房间的图片进行分类，在1839幅图像上具有88.9％的验证准确度。
原文链接：The Good, Bad, & Ugly of TensorFlow 作者：Dan Kuster 译者：刘翔宇 审校：赵屹华 责编：周建丁（zhoujd@csdn.net） 自从TensorFlow半年前发布以来，我们一直使用它来进行日常研究和工程。在此过程中我们也学习到了很多知识。是时候写一些新体会了！ 因为TensorFlow上没有很多主观的文章和有用的文档，我必须尽可能地使用我能找到的样例、教程、文档和代码片段。 善 社区参与是最重要的。 当涉及到机器学习时，很容易把注意力集中于技术
是否能够更快地训练和提供对象检测模型？我们已经听到了这种的反馈，在今天我们很高兴地宣布支持训练Cloud TPU上的对象检测模型，模型量化以及并添加了包括RetinaNet和MobileNet改编的RetinaNet在内的新模型。本文将引导你使用迁移学习在Cloud TPU上训练量化的宠物品种检测器。
在本节中，您将基于从上一节中获得的理解，并开发更新的概念并学习用于动作识别和对象检测的新技术。 在本节中，您将学习不同的 TensorFlow 工具，例如 TensorFlow Hub，TFRecord 和 TensorBoard。 您还将学习如何使用 TensorFlow 开发用于动作识别的机器学习模型。
该文章介绍了如何使用多个GPU进行训练，包括TensorFlow、PyTorch和MXNet等框架。文章首先介绍了多GPU训练的基础知识和技术，然后详细讲解了如何配置和管理多GPU训练环境，并通过实际案例演示了如何使用多GPU进行训练。
选自Medium 机器之心编译 参与：李泽南 在谷歌 TensorFlow API 推出后，构建属于自己的图像识别系统似乎变成了一件轻松的任务。本文作者利用谷歌开源的 API 中 MobileNet 的组件很快开发出了识别图像和视频内物体的机器学习系统，让我们看看她是怎么做到的。 市面上已有很多种不同的方法来进行图像识别，谷歌最近开源的 TensorFlow Object Detection API 是其中非常引人注目的一个，任何来自谷歌的产品都是功能强大的。所以，让我们来看看它能够做到什么吧，先看结果：
使用TensorFlow&Keras通过GPU进行加速训练时，有时在训练一个任务的时候需要去测试结果，或者是需要并行训练数据的时候就会显示OOM显存容量不足的错误。以下简称在训练一个任务的时候需要去测试结果，或者是需要并行训练数据为进行新的运算任务。
选自machinethink.net 机器之心编译 参与：赵华龙、邵明、吴攀、李泽南 在你使用深度神经网络做预测之前，你首先要训练神经网络。现在存在许多不同的神经网络训练工具，TensorFlow 正迅速成为其中最热门的选择。近日，独立开发者 Matthijs Hollemans 在 machinethink.net 的博客上发布了一篇讲解如何在 iOS 系统上运行 TensorFlow 的深度长文教程，并开源了相关的代码。机器之心对本文进行了编译介绍。关于 TensorFlow 的更多资讯和教程，请参阅机
AI 科技评论按：关于深度学习的框架之争一直没有停止过。PyTorch，TensorFlow，Caffe还是Keras ？近日， 斯坦福大学计算机科学博士生Awni Hannun就发表了一篇文章，对比当前两个主流框架PyTorch和TensorFlow。 AI 科技评论编译如下： 这篇指南是我目前发现的PyTorch和TensorFlow之间的主要差异。写这篇文章的目的是想帮助那些想要开始新项目或者转换深度学习框架的人进行选择。文中重点考虑训练和部署深度学习堆栈组件时框架的可编程性和灵活性。我不会权衡速度、
今天这个项目来自Nazar Kaminskyi，是NVIDIA Jetson 社区项目里的一个
今天，我们介绍一个有趣的项目，该项目使用Nvidia Jetson Xavier NX，深度学习和计算机视觉。
随着对计算机视觉的用例日益增长的兴趣，例如无人驾驶汽车，面部识别，智能交通系统等，人们希望建立定制的机器学习模型以检测和识别特定对象。
当我们辛苦收集数据、数据清洗、搭建环境、训练模型、模型评估测试后，终于可以应用到具体场景，但是，突然发现不知道怎么调用自己的模型，更不清楚怎么去部署模型！
问耕 编译整理 量子位 出品 | 公众号 QbitAI 前几天，量子位发过一篇《忽悠VC指南》。其中有一条建议是，当你假装AI专家时，最好别谈众人皆知的TensorFlow，那谈什么？ PyTorch
以下技巧旨在让您更轻松。这不是必须做的清单，但应该被视为一种参考。您了解手头的任务，因此可以从以下技术中进行最佳选择。它们涵盖了广泛的领域：从数据增强到选择超参数；涉及到很多话题。使用此选择作为未来研究的起点。
01 TensorFlow配置项的文档位于这里 TensorFlow可以通过指定配置项，来配置需要运行的会话，示例代码如下： run_config = tf.ConfigProto() sess = tf.Session(config=run_config) 02 ConfigProto类配置项 对于ConfigProto类具体有如下可配置的部分。 map<string, int32> device_count：设备的数量映射。key为设备的名称（比如”CPU”或者”GPU”），而value为该类型设备的数
Google刚刚在3月份推出了Coral Edge TPU，是一款售价不到1000元人民币的开发板（Coral Dev Board），由Edge TPU模块和 Baseboard 组成。参数如下：
前四篇文章我们介绍了 PaddleFluid 和 TensorFlow 的设计原理基本使用概念，分别通过在两个平台上实现完全相同的模型完成图像分类，语言模型和序列标注三个任务，了解我们的使用经验如何在两个平台之间迁移，以此来了解非序列模型和序列模型在两个平台之上设计和使用的差异。
变量（Variable）是 TensorFlow 中程序处理的共享持久状态的最佳方法。与常量不同的时，常量创建后，值便无法更改，但是变量创建后 可以修改。并且修改后的值在多个Session中都是可以看见的。
本文为你分享Google产品经理关于机器学习工具的讲座概要。 最近，Google Brain员工，TensorFlow产品经理Zak Stone在硅谷创业者社群South Park Commons上做了个讲座，谈到了TensorFlow、XLA、Cloud TPU、TFX、TensorFlow Lite等各种新工具、新潮流如何塑造着机器学习的未来。同时，他还暗示了一些还未向公众披露的exciting的事儿。 讲座的题目叫“Tensor Flow, Cloud TPUs, and ML progress”，以
周日 2016年4月24日 由弗朗索瓦Chollet 在教程中。
深度学习是机器学习中一种基于对数据进行表征学习的方法，作为当下最热门的话题，谷歌、Facebook、微软等巨头纷纷围绕深度学习做了一系列研究，一直在支持开源深度学习框架的建设。 深度学习是机器学习中一种基于对数据进行表征学习的方法，作为当下最热门的话题，谷歌、Facebook、微软等巨头纷纷围绕深度学习做了一系列研究，一直在支持开源深度学习框架的建设。 过去一年间，在这些巨头的加持下，深度学习框架格局发生了极大改变：新框架横空出世，旧的框架也逐渐退出历史舞台，而框架与框架之间的联系也更加紧密，生态更为开放。
王瀚宸 编译自 South Park Commons博客 量子位 报道 | 公众号 QbitAI 最近，Google Brain员工，TensorFlow产品经理Zak Stone在硅谷创业者社群South Park Commons上做了个讲座，谈到了TensorFlow、XLA、Cloud TPU、TFX、TensorFlow Lite等各种新工具、新潮流如何塑造着机器学习的未来。同时，他还暗示了一些还未向公众披露的exciting的事儿。 讲座的题目叫“Tensor Flow, Cloud TPUs,
不过从我对文档的理解来看，感觉更像是添加的一种硬件后端（代理我想应该只是调用调用层面，不是底层实现，另外在Hexagon DSP的委托代理部分，文档坦言说Hexagon DSP的代理就是为了补充NNAPI，特别是针对那些NNAPI不可用DSP加速的、老旧驱动的设备，毕竟这些老旧设备也没有NNAPI这个东西，但有DSP硬件），交给模型的子图来去执行。比方原始模型的CPU执行Graph如上图。交给GPU的委托代理后，原Graph变为下面这样：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
