这次版本的主要更新一些性能的优化，包括权衡内存计算，提供 Windows 支持，24个基础分布，变量及数据类型，零维张量，张量变量合并，支持 CuDNN 7.1，加快分布式计算等，并修复部分重要 bug等。
翻译 | 林椿眄 出品 | AI 科技大本营（公众号ID：rgznai100） 一些你可能不知道的优质公众号！ 这次版本的主要更新一些性能的优化，包括权衡内存计算，提供 Windows 支持，24个基础分布，变量及数据类型，零维张量，张量变量合并，支持 CuDNN 7.1，加快分布式计算等，并修复部分重要 bug等。 ▌目录 主要变化 张量/变量合并 零维张量 数据类型 版本迁移指南 新特性 张量 高级的索引功能 快速傅里叶变换 神经网络 权衡内存计算 瓶颈—用于识别代码热点的工具 torch中的分布 2
这篇文章从多个角度探索了ONNX，从ONNX的导出到ONNX和Caffe的对比，以及使用ONNX遭遇的困难以及一些解决办法，另外还介绍了ONNXRuntime以及如何基于ONNXRuntime来调试ONNX模型等，后续也会继续结合ONNX做一些探索性工作。
纵观机器学习领域，主要趋势之一是专注于将软件工程原理应用于机器学习的项目激增。 例如，Cortex再现了部署无服务器功能但具有推理管道的体验。类似地，DVC实现了现代版本控制和CI / CD管道，但仅用于ML。
今天是程序员节，当然是以程序员的方式来度过节日。 很早就听说TensorRT可以加速模型推理，但一直没时间去进行实践，今天就来把这个陈年旧坑填补一下。
纵观机器学习领域，一个主要趋势是专注于将软件工程原理应用于机器学习的项目。例如，Cortex重新创造了部署serverless功能的体验，但使用了推理管道。类似地，DVC实现了现代版本控制和CI/CD管道，但是是针对ML的。
昨天NVIDIA美国针对Triton on Jetson有一个讲座，我们看看都讲了哪些：
近年来，基于Transformer 架构的模型一直是推动NLP在研究和工业上取得突破的动力。BERT、XLNET、GPT或XLM是一些改进了技术水平的模型，它们达到了GLUE等流行基准的顶级水平。
NVIDIA Triton Inference Server提供了针对NVIDIA GPU优化的云推理解决方案。服务器通过HTTP或GRPC端点提供推理服务，从而允许远程客户端为服务器管理的任何模型请求推理。对于边缘部署，Triton Server也可以作为带有API的共享库使用，该API允许将服务器的全部功能直接包含在应用程序中。
本次 Windows Developer Day，最值得期待的莫过于 Windows AI Platform 了，可以说是千呼万唤始出来。观看直播的开发者们，留言最多的也是 Windows AI Platform。 下面结合微软提供的展示过程，文档和 Git Sample 来详细分析一下。 基础概念 基础认知 众所周知，目前 AI（Artificial Intelligence）的主要实现方式就是机器学习（Machine Learning），而 Windows AI Platform 对应的就是 Windo
距离OpenCV 3.0发布已逾三年半了，终于在2018-11-20，OpenCV 4.0正式版强势来袭！至此开始OpenCV 4.x的王朝！
知道你们在催更，这不，模型部署入门系列教程来啦~在前二期的教程中，我们带领大家成功部署了第一个模型，解决了一些在模型部署中可能会碰到的困难。今天开始，我们将由浅入深地介绍 ONNX 相关的知识。ONNX 是目前模型部署中最重要的中间表示之一。学懂了 ONNX 的技术细节，就能规避大量的模型部署问题。
ML.NET 使你能够在联机或脱机场景中将机器学习添加到 .NET 应用程序中。 借助此功能，可以使用应用程序的可用数据进行自动预测。 机器学习应用程序利用数据中的模式来进行预测，而不需要进行显式编程。
arXiv:https://arxiv.org/pdf/2109.15099.pdf
OpenCV4.5.4昨天早晨更新了，本文将简单介绍此版本更新内容，供大家参考了解。
前几天刚刚更新的OpenCV4.5.4版本将基于DNN的人脸检测和人脸识别添加到modules/objdetect中，具体更新介绍如下：
AiTechYun 编辑：Yining 微软正在对人工智能和机器学习进行大笔投资。微软计划在Windows 10中加入更多人工智能功能。这个软件巨头在今天为开发者公开了一个新的人工智能平台Window
本文主要介绍如何使用TNN来对模型性能进行分析，并打印网络结构的每一个op耗时。主要步骤TNN的官方文档已经有介绍，但是官方使用平台都是基于Linux系统进行一些编译操作。
https://github.com/oborchers/Medium_Repo/blob/master/Putting%20GPT-Neo%20into%20Production%20using%C2%A0ONNX/ONNX-Export.ipynb
下面是左边是python框架推理结果，右边是TensorRT-Alpha推理结果。
可以看到在用Calibaration Tool进行Int8量化之前需要先解决如何将我们的原始数据集转为Annotations文件以及我们如何用精度检查工具(Accuracy Checker Tool)去评估我们的量化后模型的表现。其中将原始数据集转换为Annotations文件的时候用命令是比较方便，如果懒得写配置文件的话。而要使用精度检查工具，则必须写配置文件了，具体见本文后面的详细介绍。
AI科技评论按：本文是介绍用TensorFlow构建图像识别系统的第三部分。 在前两部分中，我们构建了一个softmax分类器来标记来自CIFAR-10数据集的图像，实现了约25-30％的精度。 因为有10个不同可能性的类别，所以我们预期的随机标记图像的精度为10％。25-30％的结果已经比随机标记的结果好多了，但仍有很大的改进空间。在这篇文章中，作者Wolfgang Beyer将介绍如何构建一个执行相同任务的神经网络。看看可以提高预测精度到多少！AI科技评论对全文进行编译，未经许可不得转载。 关于前两部分
视觉注意力机制是一个好东西，即插即用，YOLOv5 7.0版本工程代码简洁明了，代码加入视觉注意力模块支持异常方便，以SE注意力为例，只要三步即可完成：
AI 机器学习 (ML) 和深度学习 (DL) 正在成为解决机器人、零售、医疗保健、工业等各个领域的各种计算问题的有效工具。对低延迟、实时响应和隐私的需求已经推动了在边缘运行 AI 应用程序。
今日，微软在开发者日上发布了AI开发者平台。 微软还提到，旗下产品都可以本地直接处理AI任务。另外Win10系统将会Visual Studio 15.7 预览版上增加了ONNX文档到UWP应用里，可自
在张量中创建多个张量。参数张量可以是张量的列表或字典。函数返回的值与张量的类型相同。这个函数是使用队列实现的。队列的QueueRunner被添加到当前图的QUEUE_RUNNER集合中。 如果enqueue_many为False，则假定张量表示单个示例。一个形状为[x, y, z]的输入张量将作为一个形状为[batch_size, x, y, z]的张量输出。如果enqueue_many为真，则假定张量表示一批实例，其中第一个维度由实例索引，并且张量的所有成员在第一个维度中的大小应该相同。如果一个输入张量是shape [*， x, y, z]，那么输出就是shape [batch_size, x, y, z]。容量参数控制允许预取多长时间来增长队列。返回的操作是一个dequeue操作，将抛出tf.errors。如果输入队列已耗尽，则OutOfRangeError。如果该操作正在提供另一个输入队列，则其队列运行器将捕获此异常，但是，如果在主线程中使用该操作，则由您自己负责捕获此异常。
本系列之中我们将会介绍 NVIDIA 出品的 HugeCTR，这是一个面向行业的推荐系统训练框架，针对具有模型并行嵌入和数据并行密集网络的大规模 CTR 模型进行了优化。
北京时间 3 月 8 日凌晨 1 点钟，今年的第一次 Windows Developer Day 正式召开。 因为时间太晚看不了直播，我也是第二天早上在公司看的重播。整个会议过程有很多值得去研究的信息
翻译自博客：IMPLEMENTING A CNN FOR TEXT CLASSIFICATION IN TENSORFLOW 原博文：http://www.wildml.com/2015/12/implementing-a-cnn-for-text-classification-in-tensorflow/ github：https://github.com/dennybritz/cnn-text-classification-tf 在这篇文章中，我们将实现一个类似于Kim Yoon的卷积神经网络语句分类
TNN是腾讯开源的新一代跨平台深度学习推理框架，也是腾讯深度学习与加速Oteam云帆的开源协同成果，由腾讯优图实验室主导，腾讯光影研究室、腾讯云架构平台部、腾讯数据平台部等团队一起协同开发。在经过4个多个月的迭代完善后，TNN新版本v0.3版本正式发布，是首个同时支持移动端、桌面端、服务端的全平台开源版本。TNN新版本在通用性、易用性、性能方面进一步获得提升。 TNN地址： https://github.com/Tencent/TNN 01 通用性 在保证模型统一、接口统一的前提下，依托于硬件厂商提供的加
在过去的几章中，我们已经构建了许多对我们的项目至关重要的系统。我们开始加载数据，构建和改进结节候选的分类器，训练分割模型以找到这些候选，处理训练和评估这些模型所需的支持基础设施，并开始将我们的训练结果保存到磁盘。现在是时候将我们拥有的组件统一起来，以便实现我们项目的完整目标：是时候自动检测癌症了。
微软宣布将多平台通用ONNX机器学习引擎开源，此举将让机器学习框架，向着机器学习框架的标准化和性能优化方向迈进了一大步。
本文主要介绍OpenCV4.5.4中人脸识别模块的使用和简易人脸识别系统的搭建，供大家参考。
第五届Sky Hackathon已于11月29日正式落下帷幕，第一名为来自青岛大学QDU_SMS团队。他们深入优化TensorRT引擎，并且修改Yolo核心代码，最终在置信度和速度上获得了不俗表现，让我们一起看看他们的项目报告书吧！
1、在tensorflow绘图的情况下,使用tf.saved_model.simple_save()方法保存模型
此为修改模型的。如果要修改某节点的，见参考 onnx_cut.py 的 _onnx_specify_shapes()。
TNN是腾讯开源的新一代跨平台深度学习推理框架，也是腾讯深度学习与加速Oteam云帆的开源协同成果，由腾讯优图实验室主导，腾讯光影研究室、腾讯云架构平台部、腾讯数据平台部等团队一起协同开发。在经过4个多个月的迭代完善后，TNN新版本v0.3版本正式发布，是首个同时支持移动端、桌面端、服务端的全平台开源版本。TNN新版本在通用性、易用性、性能方面进一步获得提升。
你能通过“优雅的单宁香”、“成熟的黑醋栗香气”或“浓郁的酒香”这样的描述，预测葡萄酒的价格吗？事实证明，机器学习模型可以。
选自Facebook 作者：Joaquin Quinonero Candela 机器之心编译 近日，Facebook 与微软联合推出了开放式神经网络交换（ONNX）格式，它是一个表征深度学习模型的标准，可实现模型在不同框架之间的迁移。ONNX 是构建开源生态环境的第一步，供人工智能开发者轻松选择并组合最先进的工具。 开发学习模型时，工程师和研究者有很多框架可以选择。在一个项目开始时，开发者必须筛选特征、选定框架。很多时候，在研究和开发实验时所选择的特征与投入生产所需特征并不相同。很多组织缺乏弥补操作模式之间
本文的主要贡献是将附加上下文引入到最先进的一般目标检测中。为了实现这一点，我们首先结合了一个最先进的分类器和一个快速检测框架。然后，我们使用反褶积层来增加SSD+Residual-101，以在目标检测中引入额外的大规模上下文，并提高准确性，特别是对于小目标，我们将生成的系统DSSD称为反卷积单阶段检测器。虽然这两个贡献很容易在高层进行描述，但是一个简单的实现是不会成功的。相反，我们展示了仔细添加额外的学习转换阶段，特别是反褶积中的前馈连接模块和一个新的输出模块，使这种新方法成为可能，并为进一步的检测研究形成了一个潜在的前进道路。结果表明，PASCAL VOC和COCO 检测。我们的513×513输入的DSSD在VOC2007测试中实现了81.5%的mAP，在VOC 2012测试中实现了80.0%的mAP，在COCO上实现了33.2%的mAP，在每个数据集上都优于目前最先进的R-FCN方法。
自编码器（Autoencoder, AE）是一种数据的压缩算法，其中压缩和解压缩函数是数据相关的、有损的、从样本中自动学习的。自编码器通常用于学习高效的编码，在神经网络的形式下，自编码器可以用于降维和特征学习。
现在开始讲迭代器，迭代是指以一定的自动化程度多次重复某个过程，通常又称为循环。说的通俗点就是批量循环处理，简称批处理。
十几个人的团队如何在短时间里开发一个AI“放牛娃”(上） (继续上文） 在 oneCUP，我们不只是尝试训练检测器来查看边界框，我们玩得很开心的另一项技术是Masking，这里我们展示了一种Masing算法，可以生成动物的像素完美分析，我们可以查看仅构成动物并排除所有其他动物的像素，以及有一个模型可以做到这一点，称为 mask CNN，公平地说，它是非常有效的模型，但缺点是它的计算成本很高，它确实有它的用例和我们确实在 oneCUP 上使用它，但我们的检测器的主要驱动力实际上是调整动物的边界框，但我建议
深度学习中，我们一直在训练模型，通过反向传播求导更新模型的权重，最终得到一个泛化能力比较强的模型。同样，如果我们不训练，仅仅随机初始化权重，同样能够得到一个同样大小的模型。虽然两者大小一样，不过两者其中的权重信息分布相差会很大，一个脑子装满了知识、一个脑子都是水，差不多就这个意思。
tensorRT，nvidia发布的dnn推理引擎，是针对nvidia系列硬件进行优化加速，实现最大程度的利用GPU资源，提升推理性能
学习“TensorFlow方式”来构建神经网络似乎是开始机器学习的一大障碍。在本教程中，我们将一步一步地介绍使用Kaggle的Pitchfork数据构建Band s2vec模型时涉及的所有关键步骤。
机器学习模型的应用方法多种多样，不一而足。 例如，在客户流失预测中，当客户呼叫服务时，系统中便可以查找到一个静态统计值，但对于特定事件来说，系统则可以获得一些额外值来重新运行模型。
本篇文章主要内容为在使用OpenVino时的一些注意点，方便带大家快速入门。OpenVino相比TVM和libtorch在intelx86的CPU端还是有很大优势的，可以说在X86上推断速度没有什么框架可以媲美OpenVino。实际测试中OpenVino确实出乎了我的意料，值得尝试。另外，Intel也在大力发展OpenVino(从跟新频率可以看出来)，也有一些相关的活动和比赛可以参与试试。
本文最初发表在 Towards Data Science 博客，经原作者 Ran Rubin 授权，InfoQ 中文站翻译并分享。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
