来源：机器之心本文约2000字，建议阅读5分钟OTO 是业内首个自动化、一站式、用户友好且通用的神经网络训练与结构压缩框架。 在人工智能时代，如何部署和维护神经网络是产品化的关键问题考虑到节省运算成本，同时尽可能小地损失模型性能，压缩神经网络成为了 DNN 产品化的关键之一。 DNN 压缩通常来说有三种方式，剪枝，知识蒸馏和量化。剪枝旨在识别并去除冗余结构，给 DNN 瘦身的同时尽可能地保持模型性能，是最为通用且有效的压缩方法。三种方法通常来讲可以相辅相成，共同作用来达到最佳的压缩效果。 然而现存的剪枝
华为诺亚方舟实验室联合北京大学和悉尼大学发布论文《DAFL：Data-Free Learning of Student Networks》，提出了在无数据情况下的网络蒸馏方法（DAFL），比之前的最好算法在 MNIST 上提升了 6 个百分点，并且使用 resnet18 在 CIFAR-10 和 100 上分别达到了 92% 和 74% 的准确率（无需训练数据），该论文已被 ICCV2019 接收。
机器之心专栏 作者： 陈天翼-微软西雅图-高级研究员 OTO 是业内首个自动化、一站式、用户友好且通用的神经网络训练与结构压缩框架。 在人工智能时代，如何部署和维护神经网络是产品化的关键问题考虑到节省运算成本，同时尽可能小地损失模型性能，压缩神经网络成为了 DNN 产品化的关键之一。 DNN 压缩通常来说有三种方式，剪枝，知识蒸馏和量化。剪枝旨在识别并去除冗余结构，给 DNN 瘦身的同时尽可能地保持模型性能，是最为通用且有效的压缩方法。三种方法通常来讲可以相辅相成，共同作用来达到最佳的压缩效果。 然而现
机器之心报道 作者：高静宜 近日，南京大学计算机科学与技术系教授、MINIEYE 首席科学家吴建鑫所在团队的一篇论文《ThiNet: 一种用于深度神经网络压缩的滤波器级别剪枝算法》被计算机视觉领域顶级国际会议 ICCV 2017 收录。论文中提出了滤波器级别的剪枝优化算法，利用下一层的统计信息指导当前层的剪枝，能够在不改变原网络结构的前提下，让卷积神经网络模型在训练与预测阶段同时实现加速与压缩。ThiNet 框架具普适性，可无缝适配于现有的深度学习框架，有助于减少网络的参数与 FLOPs，同时保留原网络的精
神经网络是计算密集型和内存密集型，很难使它们用有限的硬件资源去部署在嵌入式系统中。为了解决这种限制，本文引入“深度压缩”，一共有三个阶段的流水线：剪枝、量化和霍夫编码，它们一起工作去减少神经网络的存储问题，并在没有影响精确度的情况下压缩了35倍到49倍。最后在ImageNet数据集上的实验结果，将AlexNet压缩了35倍（从240MB压缩到6.9MB）并没有精确度损失；将VGG-16压缩了49倍（从552MB压缩到11.3MB），也没有精确度损失。 训练主要步骤： 剪枝神经网络，只学习重要的连接； 量化
【新智元导读】普林斯顿大学研究人员提出了一种会在训练过程中连接、生长、移除神经元的神经网络。这种神经网络使用梯度和神经元强弱来生长（grow）和修剪（prune），从而实现权重和结构的同时训练。此算法可同时实现神经网络结构的自动选择和超高效压缩。所取得的压缩率，所获得的神经网络模型均为当前业内最好纪录。 神经网络的结构对其性能有极其重要的影响。目前主流的神经网络结构搜索法仍然是试凑法，该方法存在三大问题： 训练过程中神经网络结构是固定的，训练并不能改善结构 时间和计算消耗巨大 生成的网络通常很冗余，计算和存
【新智元导读】在利用深度网络解决问题的时候人们常常倾向于设计更为复杂的网络收集更多的数据以期获得更高的性能。但是，随之而来的是模型的复杂度急剧提升，参数越来越多，给深度学习在设备上的应用带来挑战。阿里iDST团队最新提出的ADMM神经网络压缩和加速算法，可以无损地压缩掉最后一个比特。论文已经被AAAI 2018录用为oral。 近年来，深度学习在人工智能领域取得了重大的突破。在计算机视觉、语音识别等诸多领域，深度神经网络(DNN, Deep Neural Network)均被证明是一种极具成效的问题解决方式
机器之心报道 作者：Hecate He 来自微软、浙江大学等机构的研究者提出了一种 one-shot DNN 剪枝框架，无需微调即可从大型神经网络中得到轻量级架构，在保持模型高性能的同时还能显著降低所需算力。 大型神经网络学习速度很快，性能也往往优于其他较小的模型，但它们对资源的巨大需求限制了其在现实世界的部署。 剪枝是最常见的 DNN 压缩方法之一，旨在减少冗余结构，给 DNN 模型瘦身的同时提高其可解释性。然而，现有的剪枝方法通常是启发式的，而且只针对特定任务，还非常耗时，泛化能力也很差。 在一篇标题为
选自斯坦福大学 作者：Kedar Tatwawadi 机器之心编译 参与：李泽南、黄小天 神经网络不仅可以分析、识别特征，提出预测，还可以压缩文件。斯坦福大学的研究者最近提交的论文中，循环神经网络捕捉长期依赖关系的优势被用于无损压缩任务中，这种被称为 DeepZip 的技术已在文本和基因组数据文件中得到了实验。研究人员称，其结果颇具潜力。 正在进行的大数据变革让我们收集了大量不同类型的数据，如图像、文本和音频等；新类型的数据如 3D VR 数据、用于自动驾驶的点云数据、不同类型的基因组数据等，占据着巨量的存
二值网络是非常极致的一种神经网络，它的权重、激活值只有+1 与-1 两种状态。那么这么极简的神经网络到底能干什么，它的优势与限制都有什么？这就是本文关注的，我们希望通过基本概念、性能里程碑看看二值神经网络这几年到底有什么发展。
但在众多收录的论文中，一篇名为《 “Low-Resource” Text Classification: A Parameter-Free Classification Method with Compressors 》的论文开始引起大家热议。这篇论文由滑铁卢大学、 AFAIK 机构联合完成，但既不是获奖论文更不是主会议论文。
该文讨论了利用循环神经网络（RNN）进行无损压缩的工作，分析了在数据压缩中使用RNN的可行性，并探讨了在合成和真实数据集上的实验结果。结果表明，基于RNN的模型可以有效地压缩数据，显示出良好的压缩比和低压缩误差。
百度NLP专栏 作者：百度NLP 引言 近年来，我们在神经网络模型与 NLP 任务融合方面深耕，在句法分析、语义相似度计算、聊天生成等各类方向上，均取得显著的进展。在搜索引擎上，语义相似度特征也成为了相关性排序系统最为重要的特征之一。模型越趋复杂，由最初的词袋模型（BOW）发展至建模短距离依赖关系的卷积神经网络（CNN），建模长距离依赖关系的循环神经网络（RNN），以及基于词与词之间匹配矩阵神经网络（MM-DNN）等等。同时，由于语言复杂、表达多样、应用广泛，为了更好的解决语言学习的问题，我们将更多的 NL
选自Stanford 机器之心编译 参与：路雪、蒋思源 韩松，2017 年斯坦福大学电子工程系博士毕业，师从 NVIDIA 首席科学家 Bill Dally 教授。他的研究也广泛涉足深度学习和计算机体系结构，他提出的 Deep Compression 模型压缩技术曾获得 ICLR'16 最佳论文，ESE 稀疏神经网络推理引擎获得 FPGA'17 最佳论文，对业界影响深远。他的研究成果在 NVIDIA、Google、Facebook 得到广泛应用，博士期间创立了深鉴科技，2018 年将任职 MIT 助理教授
AI科技评论按：神经网络功能强大，但是其巨大的存储和计算代价也使得它的使用特性，特别是在一些计算能力相对较弱的移动设备上受到了很大的限制。为了解决这个问题， 最近有许多针对于神经网络压缩和加速的工作被提出， 例如神经网络剪枝， 权重矩阵低秩分解，权重量化等。这次分享主要是针对于权重量化这一类方法。
作者 | Alexander Wong, Zhong Qiu Lin, and Brendan Chwyl
SysML简介：SysML，全名为 System and Machine Learning，其目标群体是计算机系统和机器学习的交叉研究。会议由斯坦福大学的研究人员牵头，致力于发展这两方面领域的新的交集，包括机器学习在计算机系统应用上的实践方法和设计概念，以及与实践相结合的新的机器学习方法和理论。
最近，越来越多的图像被压缩并发送到后端设备进行机器视觉分析任务（例如目标检测），而不仅仅是供人类观看。然而，大多数传统的或可学习的图像编解码器都是最小化人类视觉系统的失真，而没有考虑到机器视觉系统的需求。在这项工作中，我们提出了一种用于机器视觉任务的图像压缩前处理方法。我们的框架不依赖于可学习的图像编解码器，而是可用于传统的非可微分编解码器，这意味着它与编码标准兼容，并且可以轻松部署在实际应用中。具体而言，我们在编码器之前增加一个神经网络前处理模块，用于保留对下游任务有用的语义信息并抑制无关信息以节省比特率。此外，我们的神经网络前处理模块是量化自适应的，可以在不同的压缩比下使用。更重要的是，为了联合优化前处理模块和下游机器视觉任务，我们在反向传播阶段引入了传统非可微分编解码器的代理网络。我们在几个具有不同骨干网络的代表性下游任务上进行了广泛的实验。实验结果表明，我们的方法通过节省约20%的比特率，在编码比特率和下游机器视觉任务性能之间取得了更好的权衡。
如今「深度神经网络」已经学会对话、驾驶汽车、打视频游戏、玩围棋、绘画并辅助科研，这使其人类构建者很是困惑，并为深度学习算法的成果深感意外。这些学习系统的设计并没有一条明确的原则，除了来自大脑神经元的灵感（其实并没有人知道大脑是如何工作的），并且 DNN 早就和大脑神经元的原理相去甚远。 像大脑一样，深度神经网络也有很多层神经元。当神经元被激活时，它会发出信号，连接上面一层的神经元。在深度学习的过程中，网络中的连接会根据需要被加强或减弱，从而让网络更好地根据输入（例如一张狗的照片的像素）发送信号，信号层层向
我们先来看看当前深度学习平台中，卷积层的实现方式，其实当前所有的深度学习平台中，都是以矩阵乘法的方式实现卷积的(如图1左侧)：
选自QuantaMagazine 作者：Natalie Wolchover 机器之心编译 参与：黄小天、刘晓坤、路雪 耶路撒冷希伯来大学的计算机与神经科学家 Naftali Tishby 提出了一项名为「信息瓶颈」（Information Bottleneck）的新理论，有望最终打开深度学习的黑箱，以及解释人脑的工作原理。这一想法是指神经网络就像把信息挤进瓶颈一样，只留下与一般概念最为相关的特征，去掉大量无关的噪音数据。深度学习先驱 Geoffrey Hinton 则在发给 Tishby 的邮件中评价道：「
一个称为「信息瓶颈」的新想法有助于解释当今人工智能算法的黑箱问题——以及人类大脑的工作原理。
【新智元导读】在深度学习应用突飞猛进的现在，我们比任何时候都急需理论上的突破。日前，希伯来大学计算机科学家和神经学家Naftali Tishby等人提出了一种叫做“信息瓶颈”的理论，在AI圈激发热议。信息瓶颈理论认为，深度神经网络在学习过程中像把信息从瓶颈中挤压出去一般，去除噪音输入，只保留与通用概念最相关的特征。Tishby认为这一理论不但能够解释深度学习的根本原理，还能解释人类学习过程。Hinton表示，信息瓶颈理论是近年来少有的突破，“这简直太有趣了，”Hinton写道：“我还得听上10,000次才能
Philippe 首先介绍道，在最近的视频编解码器中，环路后处理滤波已经成为一种至关重要的组件。它可以减少压缩伪影，并减少与原始样本的失真。AVC 首先引入了去块滤波器，之后 HEVC 额外引入了 Sample Adaptive Offset 后处理滤波器，以减少振铃效应和颜色偏差。最近发布的 VVC 标准设计了一种自适应的环路滤波器，使用基于维那滤波器的自适应滤波系数，来最小化重建像素和原始像素之间的 MSE。
项目地址：https://github.com/NervanaSystems/distiller/
最近对深卷积神经网络 (CNNs) 的研究主要集中在提高计算机视觉数据集的精确度上。对于给定的精度级别, 通常可以用不同的 CNN 体系结构来实现了该精度级别。而具有更少参数的 CNN 体系结构具有以下几个优点:
本文首发于我的知乎：https://zhuanlan.zhihu.com/p/104753473
在某些领域中，物理学可以通过其他方法为机器学习做出贡献，而不是用于理论研究和领域特定问题的工具。新型硬件平台可以帮助建立昂贵的信息处理管道，并扩展CPU和GPU的数量限制功能。这种硬件帮助程序也称为“ AI加速器”，物理研究必须提供各种可能增强机器学习的设备。
近年来，深度神经网络模型在计算机视觉识别、语音识别、自然语言处理等领域取得了巨大的成功。但是受限于较高的计算复杂度和较大的存储需求，深度模型的部署在有限资源设备上面临着诸多挑战，因此相继出现了各种模型压缩和加速技术。其中知识蒸馏是一种典型的方法，它能从一个大的教师模型中学习到一个小的学生模型，受到了工业界和学术界的广泛关注。
在多媒体系统中，不同的终端设备需要不同分辨率大小和不同质量的图像，但大多数现有的基于神经网络的图像压缩方法必须将同一图像的不同版本单独压缩为多个比特流，从而导致低编码效率。为了解决这个问题，有一些关于可缩放图像压缩的研究，其中图像的各种版本以分层方式的编码到单个比特流中。每个层负责对图像的一个对应版本进行编解码，并且通过不同的预测方法来减少相邻层之间的冗余。
编者注：本文为英特尔中国研究院最新研究成果，主要介绍了一个名为“动态外科手术”算法，有效地解决了处理大型网络时重训练时间长，误剪枝率高的问题。利用该算法，我们可以轻易地将LeNet和AlexNet这两个经典网络的参数总量分别压缩108倍和17.7倍。 英特尔中国研究院于近期提出了一种名为“动态外科手术”的神经网络压缩算法，获得了业内的广泛关注以及国内外专家的高度评价。利用该方法，研究人员可以在保证原始模型性能不降的前提下大幅度压缩网络结构。让我们带您一起深入浅出地理解这一算法。 如果您有定期关注IT、互联网
由于内存和计算资源有限，很难在嵌入式设备上部署卷积神经网络（CNN）。特征图中的冗余是那些成功的CNN的重要特点，但很少在神经体系结构设计中进行研究。本文提出了一种新颖的Ghost模块，可以通过简单的操作生成更多的特征图。基于一系列内在的特征图，我们应用了一系列简单的线性变换以生成许多ghost特征图，这些ghost特征图可以充分揭示内部特征的信息。提出的Ghost模块可以作为即插即用组件来升级现有的卷积神经网络。Ghost boottlenecks 旨在堆叠Ghost模块，然后可以轻松建立轻量级的GhostNet。实验表明：我们的GhostNet可以实现比MobileNetV3更高的识别性能（例如75.7％top-1精度）。
对于识别、检测、语义分割、人体姿势检测等富有挑战性的任务，当前最佳性能通常是通过卷积神经网络（CNN）取得的。有证据表明，这些方法成功背后的关键特征是过度参数化（over-parametrization），其有助于找出良好的局部最小值。但与此同时，过度参数化导致大量冗余，并且从统计学角度看，由于过度参数化增加的参数过多，它或许会阻碍泛化。
在计算机视觉任务中，为了将预训练的深度神经网络模型应用到各种移动设备上，学习一个轻便的网络越来越重要。当我们可以直接访问训练数据集时，现有的深度神经网络压缩和加速方法对于训练紧凑的深度模型是非常有效的，但是现实情况却是，有了隐私保护，法规政策等，数据集的回去越来越困难，为此，本文提出了一种利用生成对抗网络(GANs)训练高效深度神经网络的新框架DAFL（Data-Free Learning）。
AI 科技评论按：深度学习的发展带给人工智能领域的影响可谓是革命性的，然而该领域目前还存在很多未解决的问题，其中就包括不可解释性等问题。而希伯来大学计算机科学家和神经学家Naftali Tishby 等人提出的「信息瓶颈」理论，则尝试来解决神经网络的一系列问题，自提出以来便一直受到 AI 界的广泛关注。IBM 研究院也开展相关研究来分析这一理论，以期能够解决神经网络中的某些问题，相关成果发表在 IBM 研究院官网博客上，AI 科技评论编译如下。
本文介绍了一种基于神经网络的无损数据压缩算法，该算法使用循环神经网络（RNN）进行数据压缩，并使用算术编码进行解码。该算法可以在保持较高的压缩率的同时，大大减少计算复杂度，并且在合成数据集上表现良好。实验结果表明，该算法可以比传统的压缩算法（如gzip）更有效地压缩数据，并且在某些情况下，可以比最先进的算法（如CABAC）更快地压缩数据。
在Qualcomm Technologies，我们一直在积极研究1,2,3并开发AI解决方案，旨在使人工智能在设备，机器，车辆和事物之间无处不在。在过去的十年中，我们对功率效率的关注已导致每瓦特AI性能的显着改善，从而带来了从设备上虚拟助手，翻译到智能安全摄像头和以安全为中心的驾驶等各种增强体验。
导读 | 本篇文章将解读腾讯多媒体实验室“腾讯天籁”团队在Interspeech2020上同佐治亚理工学院和中国科学技术大学等单位联合发表的3篇论文。Interspeech是语音技术领域的国际顶级会议，今年于10月25至29日在线上举行，根据主办方发布的数据，Interspeech2020共接收到有效论文投稿 2140 篇，其中 1022 篇被接收。 ▌01 在本篇论文中，探索了语音增强领域的深度张量-向量回归模型（deep tensor-to-vector regression mode
作者：Aidan N. Gomez、Ivan Zhang、Kevin Swersky、Yarin Gal、Geoffrey E. Hinton
AI领域顶会NeurIPS正在加拿大蒙特利尔举办。本文针对实验室关注的几个研究热点，模型压缩、自动机器学习、机器学习与最优化算法，选取23篇会议上入选的重点论文进行分析解读，与大家分享。Enjoy！
在这篇文章中，我将介绍一下我们最近的文章[1609.09106] HyperNetworks。我作为Google Brain Resident工作在这篇论文上- 一个伟大的研究计划，我们可以从事一年的机器学习研究，并且享受工资和福利！Brain团队正在接受2017年计划的申请：请参阅g.co/brainresidency。
本文对数据压缩的「前世今生」进行简要的回顾，重点分析基于深度学习的有损压缩、无损压缩方法，对基于深度学习的数据压缩进行了探讨和展望。
📷 大数据文摘出品 作者：Caleb 英伟达碰上OpenAI会擦出怎样的火花？ 就在刚刚，英伟达创始人兼首席执行官黄仁勋在GTC的炉边谈话中与OpenAI共同创办人Ilya Sutskever进行了
本文将通过介绍入选NLP领域顶级学术会议 ACL 的论文，解读腾讯 AI Lab 的重点研究方向：自然语言理解、对话系统和文本生成，以及机器翻译等。
回归和神经网络的区别：人工神经网络和符号回归这两种方法都可以在不用预先定义模型的情况下建立自变量和因变量之间的关系，但是两者之间也有不同之处，人工神经网络更多关注在自变量和因变量之间的关系，回归分析更关注与目标系统的内部结构，建立自变量和因变量之间的数学模型。也就是说在根据已有的试验结果建立自变量和因变量两者之间的关系后，我们更多关注与在另一组实验条件下，系统的输出是多少，不关注目标系统的内部结构。
视觉数据编码顶级国际论坛之一的 PCS 2022 论文入选结果公布！ 本次，腾讯多媒体实验室共有5篇论文入选，内容含视频压缩、视频数据集、神经网络压缩图像/视频压缩、高维媒体压缩等多个领域。 以下为入选论文简介： 用于屏幕内容编码的开放视频数据集 An Open Video Dataset for Screen Content Coding Y. Wang, X. Zhao, X. Xu, S. Liu, Z. Lei, M. Afonso, A. Norkin, T. Daede 2022 IEE
BP神经网络现在来说是一种比较成熟的网络模型了,因为神经网络对于数字图像处理的先天优势,特别是在图像压缩方面更具有先天的优势,因此,我这一段时间在研究神经网络的时候同时研究了一下关于BP网络实现图像压缩的原理和过程,并且是在MATLAB上进行了仿真的实验,结果发现设计的BP神经网络具有不错的泛化能力,对于用于图像压缩方面的效果还不错. 1:BP神经网络的模型的架构和训练的原理 BP神经网络是现在目前的发展的比较成熟的神经网络之一了,也是一种比较给力的非线性的可微分函数进行权值修正和调整的多层前馈人工神经网络
作者 | Larry Hardesty等 编译 | ziqi Zhang 没错！人工智能是很火，神经网络也很火，但你真的懂它吗？神经网络到底是怎么工作的？没有人知道。 它像一只黑匣子，我们可以用他，却理解不了它。可是最近，麻省理工学院（MIT）的精英们似乎找了答案。 这些精英们采用了什么方法？他们找出的答案又在多大程度上具有可信度呢？人们对这个方法有怎样的质疑？他们的方法能带领人们真正解开这个黑匣子的秘密吗？ AI科技大本营编译了这篇发表在麻省理工大学网站上的《神经网络如何思考》一文，以下，e
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
云直播
对象存储
