这是卷积神经网络学习路线的第16篇文章,介绍ICLR 2017的SqueezeNet。近些年来深层卷积网络的主要方向集中于提高网络的准确率。而对于相同的正确率,更小的CNN架构可以提供如下优势:(1)在分布式训练中,与服务器通信需求更小。(2)参数更少,从云端下载模型的数据量少。(3)更适合在FPGA等内存受限的设备上部署。基于这些优点,这篇论文提出了SqueezeNet。它在ImageNet上实现了和AlexNet相同的准确率,但是只使用了AlexNet的参数。更进一步,使用模型压缩技术,可以将SqueezeNet压缩到0.5M,这是AlexNet的。
SqueezeNet是轻量化网络的代表结构之一,不太严格的说,在轻量化模型这个范畴中,Squeezenet是最早的一个,其针对ImageNet数据集分类任务的模型大小只有4.8M,这还包括了最后512*1000分类的全连接层。 论文如下:SQUEEZENET: ALEXNET-LEVEL ACCURACY WITH 50X FEWER PARAMETERS AND <0.5MB MODEL SIZE 这个论文刚刚出现的时候,是非常惊艳的,因为16年时,一个模型动不动就有大几十兆,而一个不到0.5M的模型可以得到alxnet相似的准确率是很难得的,这使得模型向移动端部署成为可能。
论文: SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size
在深度学习领域,人们一般把注意力集中在如何提高神经网络的准确度上,所以,神经网络的层次越来越深,参数也越来越多,但带来的问题就是神经网络对于硬件的要求越来越高,但在嵌入式硬件上比如手机、自动驾驶的计算平台,这将很吃力,所以,有一些人会将精力放在如何精简和优化网络模型上,以便它们能够比较顺利运行在硬件条件有限的嵌入式设备上面。
最近对深卷积神经网络 (CNNs) 的研究主要集中在提高计算机视觉数据集的精确度上。对于给定的精度级别, 通常可以用不同的 CNN 体系结构来实现了该精度级别。而具有更少参数的 CNN 体系结构具有以下几个优点:
当前CNN模型基本都是 float32,将其转换为 INT8 可以降低模型大小,提升速度,精度降低的也不太多。那么在实际中如何实现这个量化了?在网上找到了三种实践方法, 基于腾讯的NCNN, Tensorflow ,Nvidia 的 TensorRT,这里先介绍其中的一种。
作者: 叶 虎 编辑:赵一帆 01 引言 SqueezeNet是Han等提出的一种轻量且高效的CNN模型,它参数比AlexNet少50x,但模型性能(accuracy)与AlexNet接近。 在可接受的性能下,小模型相比大模型,具有很多优势: 更高效的分布式训练,小模型参数小,网络通信量减少; 便于模型更新,模型小,客户端程序容易更新; 利于部署在特定硬件如FPGA,因为其内存受限。因此研究小模型是很有现实意义的。 Han等将CNN模型设计的研究总结为四个方面: 模型压缩:对pre-trained的模
SqueezeNet是Han等提出的一种轻量且高效的CNN模型,它参数比AlexNet少50x,但模型性能(accuracy)与AlexNet接近。
今年二月份,UC Berkeley和Stanford一帮人在arXiv贴了一篇文章: SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and<0.5MB model size(https://arxiv.org/abs/1602.07360) 这篇文章做成了许多人梦寐以求的事——压缩神经网络参数。但和以往不同,原作不是在前人网络基础上修修补补(例如Deep Compression),而是自己设计了一个全新的网络,它用了比AlexNet
在NIN的思路和减小卷积核尺寸的思路驱使下,就有人开始研究新的网络模型,并把它们成功应用于移动设备中了,MobileNet和SqueezeNet就是其中的典型代表。它们的特点就是尺寸比较小,计算量也比较小,当然在移动设备上也非常省电,数据处理的延迟也小。我们这一节就重点介绍一下SqueezeNet的结构特点。Sqeeze是英文压榨的意思,虽然看上去有点形象,确实压榨出了不少的空间——其实也证明AlexNet提供的参数们是多么冗余。不过千万别把它翻译成压榨网络,因为你这么说真的是中国人听不懂外国人不明白,所有的术语尽可能使用英文交流是最好的。
这个报告记录了DeepDetect开源深度学习服务在各种计算平台和流行神经网络架构上的性能。
我们在torch.utils.model_zoo中提供了预训练模型。预训练模型可以通过传递参数pretrained=True构造:
截止到今年,已经有超过 20 亿活跃的安卓设备。安卓手机的迅速普及很大程度上是因为各式各样的智能 app,从地图到图片编辑器应有尽有。随着深度学习的出现,我们的手机 app 将变得更加智能。下一代由深度学习驱动的手机 app 将可以学习并为你定制功能。一个很显著的例子是「Microsoft Swiftkey」,这是一个键盘 app, 能通过学习你常用的单词和词组来帮助你快速打字。
截至 2018 年,全球活跃的安卓设备已经超过了 20 亿部。安卓手机的迅速普及在很大程度上得益于各种各样的智能应用,从地图到图片编辑器无所不有。随着深度学习技术的兴起,移动应用注定会变得更加智能。深度学习加持下的下一代移动应用将专门为你学习和定制功能。微软的「SwiftKey」就是一个很好的例子,它能够通过学习你常用的单词和短语来帮助你更快地打字。
本文介绍了如何使用Core ML在iOS平台上进行模型前向推理,并使用UIImage进行加载和输入,支持多线程和GPU加速。同时,还针对SqueezeNet进行了实例演示。
我们常见的网络模型比如AlexNet、GoogleNet、VGG都因为权重文件太大无法在移动端直接运用,而且因为计算浮点参数过多无法实时运行,所以针对这种情况先后出现了SqueezeNet与MobileNet两种权重参数和文件大小都得到优化的可以在嵌入式边缘设备上运行的网络模型,两种模型都可以通过tensorflow Lite被压缩到2MB大小左右,还依然可以实现比较好的分类与图像检测效果。
机器之心专栏 作者:余霆嵩 本文就近年提出的四个轻量化模型进行学习和对比,四个模型分别是:SqueezeNet、MobileNet、ShuffleNet、Xception。 目录 一、引言 二、轻量化模型 2.1 SqueezeNet 2.2 MobileNet 2.3 ShuffleNet 2.4 Xception 三、网络对比 一、引言 自 2012 年 AlexNet 以来,卷积神经网络(简称 CNN)在图像分类、图像分割、目标检测等领域获得广泛应用。随着性能要求
自从AlexNet一举夺得ILSVRC 2012 ImageNet图像分类竞赛的冠军后,卷积神经网络(CNN)的热潮便席卷了整个计算机视觉领域。CNN模型火速替代了传统人工设计(hand-crafted)特征和分类器,不仅提供了一种端到端的处理方法,还大幅度地刷新了各个图像竞赛任务的精度,更甚者超越了人眼的精度(LFW人脸识别任务)。CNN模型在不断逼近计算机视觉任务的精度极限的同时,其深度和尺寸也在成倍增长。
纵览轻量化卷积神经网络:SqueezeNet、MobileNet、ShuffleNet、Xception
本文就近年提出的四个轻量化模型进行学习和对比,四个模型分别是:SqueezeNet、MobileNet、ShuffleNet、Xception。
作者 | 唐洁 责编 | 何永灿 通过深度学习技术,物联网(IoT)设备能够得以解析非结构化的多媒体数据,智能地响应用户和环境事件,但是却伴随着苛刻的性能和功耗要求。本文作者探讨了两种方式以便将深度学习和低功耗的物联网设备成功整合。 近年来,越来越多的物联网产品出现在市场上,它们采集周围的环境数据,并使用传统的机器学习技术理解这些数据。一个例子是Google的Nest恒温器,采用结构化的方式记录温度数据,并通过算法来掌握用户的温度偏好和时间表。然而,其对于非结构化的多媒体数据,例如音频信号和视觉图像则显得
本文主要介绍了在Caffe中使用的各种神经网络结构,包括Alexnet、Squeezenet、VGG、ResNet、Inception、DenseNet等。这些网络结构在计算机视觉上都有很广泛的应用,例如物体识别、图像分类等。本文还介绍了这些网络结构的预训练模型,可供使用者直接使用。
卷积神经网络的结构优化和深度加深,带来非常显著的图像识别效果提升,但同时也带来了高计算复杂度和更长的计算时间,实际工程应用中对效率的考虑也很多,研究界与工业界近年都在努力「保持效果的情况下压缩网络复杂度」,也诞生了很多轻量化网络。在本篇内容中,ShowMeAI对常见主流轻量级网络进行展开讲解。
选自 Nvidia Blog 作者:Aaron Markham、贾扬清 机器之心编译 昨天,Facebook 推出了 Caffe2,一个兼具表现力、速度和模块性的开源深度学习框架。它沿袭了大量的 Caffe 设计,可解决多年来在 Caffe 的使用和部署之中发现的瓶颈问题。最终,Caffe2 打开了算法实验和新产品的大门。通过在内部用于各种深度学习和增强现实任务,Caffe2 已经在 Facebook 对于规模和性能的需求上得到了锻造。同时,它为移动端应用提供了令人印象深刻的新功能,例如高级相机和即时通讯功
本文介绍了神经网络模型压缩技术的研究进展,包括基于知识蒸馏、剪枝、量化、低秩近似等方法。这些方法旨在减小模型的大小和计算量,以便在资源受限的设备上高效地运行。同时,文章还探讨了这些方法在实际应用中的效果和挑战。
在前面的章节,我们讨论了各种JavaScript概念和运行在浏览器上的各种深度学习框架。在本章中,我们将所有的知识付诸于实践,证明该技术的潜力。
本文建议复制代码去跑跑看,增加一下手感。如果有些数据需要科学上网,公众号回复【torchvision】获取代码和数据。
一个完整的神经网络由这两部分构成,Tensorflow 在保存时除了这两个文件还会在目录下自动生成 checkpoint, checkpoint的内容如下,它只记录了目录下有哪些网络。
AI研习社消息,日前,百度在 GitHub 上开源了移动端深度学习框架 mobile-deep-learning(MDL)的全部代码以及脚本,这项研究旨在让卷积神经网络(CNNC)能更简单和高速的部署
前言 最近使用 PyTorch 感觉妙不可言,有种当初使用 Keras 的快感,而且速度还不慢。各种设计直接简洁,方便研究,比 tensorflow 的臃肿好多了。今天让我们来谈谈 PyTorch 的预训练,主要是自己写代码的经验以及论坛 PyTorch Forums 上的一些回答的总结整理。 直接加载预训练模型 如果我们使用的模型和原模型完全一样,那么我们可以直接加载别人训练好的模型: my_resnet = MyResNet(*args, **kwargs) my_resnet.load_sta
【新智元导读】百度开源了其移动端深度学习框架Mobile Deep Learning (MDL)的全部代码和脚本。MDL是一个基于卷积的神经网络,支持iOS gpu计算,体积小,速度快,可以用于使用手机的相机识别图片中的对象等应用。 GitHub地址:https://github.com/baidu/mobile-deep-learning在开源PaddlePaddle深度学习框架的一年后,百度再次将另一AI技术投入公共领域——一个旨在将AI放到智能手机上的项目。 25日,百度在GitHub开源了其移动端深
【新智元导读】美国西部最大黑客马拉松LA Hacks 2018上周落下帷幕,36小时的比赛时间里,加州理工学院大二学生、美籍华人Eric Zhao仅用16小时,完成了一个“狗脸计算器”并获得优胜。借用
在过去的几年里,许多深度学习模型涌现出来,例如层的类型、超参数等。在本系列中,我将回顾几个最显着的 deeplearn 图像分类的模型。
之所以说:“吊打YOLOv3”,因为CornerNet-Lite在FPS和mAP上都超过了YOLOv3,具体详见下文介绍。
春节后第一个休息日,量子位给大家准备了一个不一样的故事。 在这个故事里,主人公David Brailovsky(就叫阿D吧)参加了一场计算机视觉比赛。这个挑战赛要求基于卷积神经网络(CNN),做出一个识别红绿灯的人工智能应用模型。 于是阿D花了10周的时间,从0开始,一点一滴摸索着,搭建、调试、训练和一个深度学习系统。而且还在最后的比赛中一举夺魁,赢了5000美元。 主人公把这个有点逆袭的过程,原原本本的写了下来。量子位也希望对人工智能感兴趣的朋友仔细看一看。不用担心,并不是AI专家才能理解这篇文章。
选自AWS 机器之心编译 参与:思源 在过去的五年中,深度神经网络已经解决了许多计算困难的问题,特别是计算机视觉。因为深度神经网络需要大量的计算力来训练模型,所以我们经常使用多块 GPU 或云端服务器进行分布式地训练。实际上,在深度神经网络模型经过训练后,它只需要相对较少的计算资源就能执行预测。这就意味着我们能将模型部署到低功耗的边缘设备中,并且在没有网络连接的情况下运行。 亚马逊的开源深度学习引擎 Apache MXNet 除了支持多 GPU 训练和部署复杂模型外,还可以生成非常轻量级的神经网络模型。我们
标题:Backbones-Review:Feature Extraction Networks for Deep Learning and Deep Reinforcement Learning Approaches
AI科技评论消息,日前,百度在 GitHub 上开源了移动端深度学习框架 mobile-deep-learning(MDL)的全部代码以及脚本,这项研究旨在让卷积神经网络(CNNC)能更简单和高速的部
前言 最近使用 PyTorch 感觉妙不可言,有种当初使用 Keras 的快感,而且速度还不慢。各种设计直接简洁,方便研究,比 tensorflow 的臃肿好多了。今天让我们来谈谈 PyTorch 的预训练,主要是自己写代码的经验以及论坛 PyTorch Forums 上的一些回答的总结整理。 直接加载预训练模型 如果我们使用的模型和原模型完全一样,那么我们可以直接加载别人训练好的模型: my_resnet = MyResNet(*args, **kwargs) my_resnet.load_st
英特尔在OpenVINO模型加速库中设计了一个全新的车牌识别模型用于识别各种车牌包括中文车牌识别,其中在BITVehicle数据集上对中文车牌的识别准确率高达95%以上。官方发布的OpenVINO支持预训练模型中已经包含了LRPNet模型,可以用于实时的车牌识别。
可重现性是许多研究领域的基本要求,包括基于机器学习技术的研究领域。然而,许多机器学习出版物要么不可再现,要么难以复制。
轻量级网络的核心是在尽量保持精度的前提下,从体积和速度两方面对网络进行轻量化改造,本文对轻量级网络进行简述,主要涉及以下网络:
【GiantPandaCV导语】毕设的一部分,前段时间,在yolov5上进行一系列的消融实验,让他更轻(Flops更小,内存占用更低,参数更少),更快(加入shuffle channel,yolov5 head进行通道裁剪,在320的input_size至少能在树莓派4B上一秒推理10帧),更易部署(摘除Focus层和四次slice操作,让模型量化精度下降在可接受范围内)。版权属于GiantPandaCV,未经允许请勿转载
我们常见的卷积是一个二维的操作,即一个卷积核在图像上进行滑动。如果再考虑上各个通道间的信息融合,那么就是一个三维的操作,包含了通道,宽度,高度三个维度。如果将各个维度进行拆分呢?会不会更加高效?
神经网络,特别是深度学习的研究最近在计算机视觉的领域和计算机科学的其他重要领域取得了许多突破。在这些技术的应用中,自动驾驶技术十分火热。几乎每个人都听说过它,许多大公司都为此投入巨额资金。由人工智能的控制汽车能够带你去任何地方,让你不必再把时间浪费在开车上。 在这篇文章中,我会告诉你怎样训练一个使用前面道路图像的进行自动驾驶的神经网络。你可以在Jupyter Notebook找到所有的代码和每一步的解释,也可以访问下面链接阅读详细的文章。 代码:https://github.com/normandipalo
由简入繁,由繁入简。已疯…… LeNet:Gradient based learning applied to document recognition AlexNet:ImageNet Classification with Deep Convolutional Neural Networks ZFNet:Visualizing and understanding convolutional networks VGGNet:Very deep convolutional networks for larg
随着人工智能的高速发展,开发者们对于能够应对产品多样化挑战的学习框架TensorFlow,也有着很高的热情。除了各类科技产品,零售行业也同样将TensorFlow运用于大规模的深度学习中。
为了丰富游戏短视频内容,针对王者荣耀,需要一套自动化剪辑精彩时刻的系统,以能够快速根据主播直播内容生成精彩时刻反馈到游戏短视频社区。
领取专属 10元无门槛券
手把手带您无忧上云