训练场景下，迁移原始网络 (如TensorFlow、PyTorch) ，用于NPU上执行训练，网络迁移可能会造成自有实现的算子运算结果与用原生标准算子运算结果存在偏差。推理场景下， ATC模型转换过程对模型进行优化，包括算子消除、算子融合算子拆分，这些优化也可能会造成自有实现的算子运算结果与原生标准算子(如TensorFlow、ONNX、 Caffe ) 运算结果存在偏差。
自然语言处理预训练模型库 Transformers 实现了几种用于 NLP 任务的最先进的 Transformer 架构，如文本分类、信息提取、问题解答和文本生成等，它经常被研究人员和公司所使用，提供 PyTorch 和 TensorFlow 的前端实现。
GPU已被证明是加速深度学习和AI工作负载（如计算机视觉和自然语言处理（NLP））的有效解决方案。如今许多基于深度学习的应用程序在其生产环境中使用GPU设备，例如用于数据中心的NVIDIA Tesla和用于嵌入式平台的Jetson。这提出了一个问题：如何从NVIDIA GPU设备获得最佳推理性能？
在自然语言处理领域，以 BERT 为代表的 Transformer 神经网络模型是近年来最重要的模型创新，为诸如阅读理解、文章摘要、语义分类、同义改写等 NLP 任务带了显著的效果提升。但 Transformer 在提高模型精度的同时，也引入了更多的计算量，这导致 Transformer 的线上 NLP 服务在部署方面面临着巨大挑战。
相关信息： VMware招聘机器学习和云原生开发工程师 VMware招聘内源开发工程师 VMware招聘应届生开发工程师 《Harbor权威指南》新书发布 1. 背景 ---- GPU作为一种加速器芯片，在机器学习，特别是深度学习中得到广泛的应用。但是，无论是企业、学校、医院或者政府单位，决定在人工智能领域进行投入时，领导却发现： 投入了100万，光买设备就花了80万，工程师还经常抱怨GPU资源不够用 当工程师雄心勃勃打算开始干活，却发现花了一个多星期，IT环境还没有搞好 究其原因，大致有以下三个：
CTR模型在互联网的搜索、推荐、广告等场景有着广泛的应用。近年来，随着深度神经网络的引入，CTR模型的推理对硬件算力的要求逐渐增加。本文介绍了美团在CTR模型优化的实践。通过分析模型结构特点，结合GPU硬件架构，我们设计了一系列流程对模型进行定制优化，达到了降低延迟、提高吞吐、节省成本的目标。
随着互联网的快速发展，越来越多的图片和视频出现在网络，特别是UCG产品，激发人们上传图片和视频的热情，比如微信每天上传的图片就高达10亿多张。每个人都可以上传，这就带来监管问题，如果没有内容审核，色情图片和视频就会泛滥。前不久，一向以开放著称的tumblr，就迫于压力，开始限制人们分享色情图片。更别提国内，内容审核是UCG绕不过去的坎。还记得前几年出现的职业鉴黄师这一职业么？传说百万年薪，每天看黄片看得想吐，但最近又很少有人提及这一职业，这个应监管而生的职业，因人工智能的出现又快速消亡。（当然也不是完全消亡，毕竟判断是否色情是一个主观的事情，有些艺术和色情之间的边界比较模糊，需要人工加以判断）
得益于更快的计算，更好的存储和易于使用的软件，基于深度学习的解决方案绝对可以看到从概念验证隧道进入现实世界的曙光！看到深度学习模型已广泛应用于该行业的各个领域，包括医疗保健，金融，零售，技术，物流，食品技术，农业等！考虑到深度学习模型需要大量资源并且经常需要大量计算的事实，因此我们需要暂停片刻，并考虑一下最终用户使用模型时的推断和服务时间。
当我们千辛万苦完成了前面的数据获取、数据清洗、模型训练、模型评估等等步骤之后，终于等到老大说“上线”啦。想到辛苦训练出来的模型要被调用还有点小激动呢，可是真当下手的时候就有点懵了：模型要怎么部署？部署在哪里？有什么限制或要求？
选自semianalysis.com 作者：Dylan Patel 机器之心编译 机器之心编辑部 CUDA 闭源库将和 TensorFlow 一样逐渐式微。 十年来，机器学习软件开发的格局发生了重大变化。许多框架如雨后春笋般涌现，但大多数都严重依赖于英伟达的 CUDA，并在英伟达的 GPU 上才能获得最佳的性能。然而，随着 PyTorch 2.0 和 OpenAI Triton 的到来，英伟达在这一领域的主导地位正在被打破。 谷歌早期在机器学习模型架构、训练、模型优化方面都具有很大优势，但现在却难以充分发挥
以 UGC 为中心的直播世界中经常发生用户在某一时间大量涌入的现象，这对于用户规模较大的平台而言是一个亟待解决的问题。Video AI 包含了很多有意思的视频处理功能，包括对低分辨率图像进行超分而获得清晰图像、对视频进行去噪（包括去雨、去雾、去划痕等）、进行对象识别、元数据提取等数百种功能。
2018 年 12 月，英伟达在加拿大蒙特利尔 NeurIPS 大会上发布最新款产品 Titan RTX，作为 2017 年 Titan V 的「继承者」，Titan RTX 价格更低，显存更大，性能更强，且使用图灵架构，具备强大的光线追踪能力。因此，Titan RTX 的发布对 AI 社区而言，是不是做深度学习的一个不错选择呢？
选自Tensorflow 机器之心编译 参与：黄玉胜、黄小天 这个文档和附带的脚本详细介绍了如何构建针对各种系统和网络拓扑的高性能可拓展模型。这个技术在本文档中用了一些低级的 Tensorflow Python 基元。在未来，这些技术将被并入高级 API。 输入管道 性能指南阐述了如何诊断输入管道可能存在的问题及其最佳解决方法。在使用大量输入和每秒更高的采样处理中我们发现 tf.FIFOQueue 和 tf.train.queue_runner 无法使用当前多个 GPU 生成饱和，例如在使用 AlexNet
近年来，深度学习在很多机器学习领域都有着非常出色的表现，在图像识别、语音识别、自然语言处理、机器人、网络广告投放、医学自动诊断和金融等领域有着广泛应用。面对繁多的应用场景，深度学习框架有助于建模者节省大量而繁琐的外围工作，更聚焦业务场景和模型设计本身。
文 / Khanh LeViet 和 Luiz Gustavo Martins，技术推广工程师
在机器学习领域，无论是硬件还是软件，英伟达无疑均拥有巨大优势，后者用 CUDA 建立起了一道软件的护城河。可惜的是，这家公司缺乏远见，未能利用其在机器学习硬软件方面的巨大优势，让自己成为机器学习默认的编译器。而它对可用性与易用性的忽视，让 OpenAI 与 Meta 得以趁虚而入，其主导地位正在被打破。
AI 科技评论按：日前，TensorFlow 团队与 NVIDIA 携手合作，将 NVIDIA 用来实现高性能深度学习推理的平台——TensorRT 与 TensorFlow Serving 打通结合，使用户可以轻松地实现最佳性能的 GPU 推理。目前，TensorFlow Serving 1.13 已实现对 TF-TRT 的支持，而不久后 TensorFlow 2.0 也将支持 TF-TRT 的实现。 TensorFlow 在官方博客中对这项成果进行了发布，雷锋网 AI 科技评论编译如下。
腾讯CVM标准型SR1是腾讯云推出的首款搭载ARM架构处理器的新一代CVM标准型计算实例规格。SR1基于全核一致主频3.0GHz的Ampere Altra处理器，实例核数从1核到64核，并支持1: 2、1: 4等多种处理器与内存配比，相对x86架构实例为用户提供卓越的性价比。
微软刚刚开源了Transformer的突破性优化，大大提升了CPU和GPU上的推理速度。
在今年的敏捷团队建设中，我通过Suite执行器实现了一键自动化单元测试。Juint除了Suite执行器还有哪些执行器呢？由此我的Runner探索之旅开始了！
近日，腾讯正式宣布开源 Transformer 推理加速工具 TurboTransformers。该工具是面向自然语言处理领域中 Transformers 相关模型丰富的线上预测场景所提出的加速方案，已经在微信、腾讯云、QQ 看点等产品的线上服务中广泛应用，这是腾讯通过 GitHub 对外开源的第 100 个项目。
怎样用TensorFlow Serving系统，结合英伟达的Tensor RT，实现高性能深度学习推理？
詹士 Alex 发自 凹非寺 量子位 | 公众号 QbitAI 英伟达的软件护城河正在逐渐消失。 随着PyTorch支持更多GPU厂商，再加上OpenAI的Triton搅局，英伟达手中的利器CUDA 逐渐锋芒不再。 上述观点来自Semi Analysis首席分析师Dylan Patel，相关文章已引发一波业内关注。 有网友看后评价： 英伟达沦落到此种境地，只因为了眼前利益，放弃创新。 Pytorch的作者之一Sasank Chilamkurthy还补刀： 当英伟达之前提出要收购Arm时，我就对潜在的垄断
开源社区的支持度、上手的难易度都是重要的参考。还有人说：学术界用PyTorch，工业界用TensorFlow。
当我们辛苦收集数据、数据清洗、搭建环境、训练模型、模型评估测试后，终于可以应用到具体场景，但是，突然发现不知道怎么调用自己的模型，更不清楚怎么去部署模型！
NVIDIA去年发布了一个线上讲座，题目是《 AI at the Edge TensorFlow to TensorRT on Jetson 》。
该来的终于还是来了，Google蓄力的Edge TPU终于正式对外公布了，不仅如此，此次Google还带来了基于Edge TPU的AIY Edge TPU开发板以及AIY Edge TPU加速器，全面帮助工程师将机器学习部署到AI产品开发中去。
TensorFlow.js是为JavaScript开发者准备的开源库，可以使用JavaScript和高级图层API完全在浏览器中定义，训练和运行机器学习模型！如果你是一名机器学习新手，那么TensorFlow.js是开始学习的好方法。
我们非常高兴能够将训练后的 float16 quantization 作为模型优化工具包（Model Optimization Toolkit）的一部分。这套工具包括了：
面对在线推理服务使用的GPU资源不断增加、GPU利用率普遍较低的挑战，美团视觉研发团队决定通过模型结构拆分和微服务化进行优化，他们提出了一种通用高效的部署架构，来解决这种常见的性能瓶颈问题。
在机器学习的领域中，张量指的是描述神经网络的数学模型中使用的多维数组。换言之，张量通常是一个矩阵或矢量的更高维泛化。 通过一种使用秩来显示维数的简单表示法，张量可以将复杂的 n 维矢量和超形状表示为 n 维数组。张量有两个属性：数据类型和形状。 关于 TensorFlow TensorFlow 是一个开源的深度学习框架，于 2015 年末依据 Apache 2.0 许可进行发布。自那以后，它成为了在全球得到最广泛采用的深度学习框架之一（根据它的 GitHub 项目数量来判断）。 TensorFlow 的起源
骑车不戴头盔识别检测系统通过GPU深度学习技术，骑车不戴头盔识别检测系统对行驶在马路上的骑电动摩托车等未戴头盔的行为进行抓拍，骑车不戴头盔识别检测系统不经过人为干预自动对上述违规行为进行自动抓拍识别。骑车不戴头盔识别检测系统技术上采用 Tesnorflow+TensorRT推理组合，精度高速度快更实用。深度学习应用到实际问题中，一个非常棘手的问题是训练模型时计算量太大。为了加速训练，TensorFlow可以利用GPU或/和分布式计算进行模型训练。TensorFlow可以通过td.device函数来指定运行每个操作的设备，这个设备可以是本设备的CPU或GPU，也可以是远程的某一台设备。
大多数的大型科技公司(如IBM,谷歌,微软,亚马逊)都有易于使用的视觉识别API。一些规模较小的公司也提供类似的产品,如Clarifai。但没有公司能够提供对象检测。 千年隼号宇宙飞船的检测 以下图
日前，谷歌和英伟达宣布将 NVIDIA TensorRT 集成到 TensorFlow 1.7 中。在谷歌开发者博客中，他们介绍了此次合作的详细信息以及整合之后的性能，AI 研习社编译整理如下： TensorRT 是一个可以用于优化深度学习模型，以进行推理，并为生产环境中的 GPU 创建运行环境的库。它能优化 TensorFlow 中的 FP16 浮点数和 INT8 整型数，并能自动选择针对特定平台的内核，以最大化吞吐量，并最大限度的降低 GPU 推理期间的延迟。全新的集成工作流程简化了在 TensorFl
因为神经网络本质上执行大量计算，所以它们在移动设备上尽可能高效地运行是很重要的。一个高效的模型能够在实时视频上获得实时结果 - 无需耗尽电池或使手机变热，就可以在其上煎鸡蛋。
【新智元导读】谷歌官方博客最新发布TensorFlow Fold，通过为每个输入构建单独的计算图解决由于输入的大小和结构不同导致的问题。此外，通过动态批处理，实现了在 CPU上增速10倍以上，在GPU
【新智元导读】 TensorFlow Serving 开源的一年半时间里取得了许多进展和性能提升，包括开箱即用的优化服务和可定制性，多模型服务，标准化模型格式，易于使用的推理API等。本文是研究团队撰写的回顾，并提出接下来创新的方向是Granular batching和分布式模型服务。 自从2016年2月 TensorFlow Serving 开源以来，我们做了一些重大改进。现在，让我们再回到这个项目开始的地方，回顾我们的进展过程，并分享我们下一步的方向。 在 TensorFlow Serving 启动之前
动态链接和静态链接是两种不同的链接方式，它们之间的主要区别在于代码的加载时间和内存使用方式。
AI 研习社按，日前，谷歌和英伟达宣布将 NVIDIA TensorRT 集成到 TensorFlow 1.7 中。在谷歌开发者博客中，他们介绍了此次合作的详细信息以及整合之后的性能，AI 研习社编译整理如下：
不同行业采用人工智能的速度取决于最大化数据科学家的生产力。NVIDIA每个月都会发布优化的NGC容器，为深度学习框架和库提供更好的性能，帮助科学家最大限度地发挥他们的潜力。英伟达持续投资于完整的数据科学栈，包括GPU架构、系统和软件栈。这种整体的方法为深度学习模型培训提供了最好的性能，NVIDIA赢得了提交给MLPerf的所有六个基准测试，这是第一个全行业的AI基准测试。NVIDIA在最近几年引入了几代新的GPU架构，最终在Volta和图灵GPU上实现了张量核心架构，其中包括对混合精度计算的本机支持。NVIDIA在MXNet和PyTorch框架上完成了这些记录，展示了NVIDIA 平台的多功能性。
昨天NVIDIA美国针对Triton on Jetson有一个讲座，我们看看都讲了哪些：
NVIDIA Triton Inference Server提供了针对NVIDIA GPU优化的云推理解决方案。服务器通过HTTP或GRPC端点提供推理服务，从而允许远程客户端为服务器管理的任何模型请求推理。对于边缘部署，Triton Server也可以作为带有API的共享库使用，该API允许将服务器的全部功能直接包含在应用程序中。
【新智元导读】谷歌今天宣布推出用于边缘计算的Edge TPU，作为Cloud TPU的补充，目前Edge TPU仅用于推理，专为在边缘运行TensorFlow Lite ML模型而设计。除了自用，谷歌Edge TPU也将提供给其他厂商使用，进一步把开发者锁定在谷歌生态系统，或对整个智能云计算市场带来巨大冲击！
作者：刘光聪 中兴通讯高级系统架构师，专注机器学习算法，分布式系统架构与优化。 原文：TensorFlow架构与设计 http://www.jianshu.com/p/a5574ebcdeab
数说君导读：MNN，Mobile Neural Network，用于在智能手机、IoT设备等端侧加载深度神经网络模型，进行推理预测。支持 Tensorflow、Caffe、ONNX 等主流模型格式，支持 CNN、RNN、GAN 等常用网络。这是阿里开源的首个移动AI项目，已经用于阿里手机淘宝、手机天猫、优酷等20多个应用之中。覆盖直播、短视频、搜索推荐、商品图像搜索、互动营销、权益发放、安全风控等场景。在IoT等移动设备场景下，也有若干应用。
由于前期OpenVINO的分享已经基本做完了，笔者也可以成功的在CPU和Intel神经棒上完整的部署一些工作了，因此开始来学习TensorRT啦。先声明一下我使用的TensorRT版本是TensorRT-6.0.1.5 。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
