作者：George Seif 机器之心编译 参与：Nurhachu Null、刘晓坤 这篇文章可以作为一个设计指南，为特定分类任务的 CNN 设计提供指导。作者围绕准确率、速度、内存消耗三个指标的权衡，从网络类型、架构设计、数据处理和迁移学习等方面介绍了 CNN 设计过程中使用的方法。 你想开始做图像分类，但是无从着手。应该使用哪个预训练网络？如何修改网络以使其满足需求？你的网络应该包含 20 层还是 100 层？哪些是最快的、最准确的？这些是你为图像分类选择最好的 CNN 时会遇到的众多问题。 当选择
该论文指出识别每张图片所需要的最小分辨率是不同的，而现有方法并没有充分挖掘输入分辨率的冗余性，也就是说输入图片的分辨率不应该是固定的。论文进一步提出了一种动态分辨率网络 DRNet，其分辨率根据输入样本的内容动态决定。一个计算量可以忽略的分辨率预测器和我们所需要的图片分类网络一起优化训练。在推理过程中，每个输入分类网络的图像将被调整到分辨率预测器所预测的分辨率，以最大限度地减少整体计算负担。
与云相比，移动系统受计算资源限制。然而众所周知，深度学习模型需要大量资源 。为使设备端深度学习成为可能，应用程序开发者常用的技术之一是压缩深度学习模型以降低其资源需求，但准确率会有所损失。尽管该技术非常受欢迎，而且已被用于开发最先进的移动深度学习系统，但它有一个重大缺陷：由于应用程序开发者独立开发自己的应用，压缩模型的资源-准确率权衡在应用开发阶段的静态资源预算的基础上就被预先确定了，在应用部署后仍然保持不变。
AI 科技评论按：在深度学习中，数据是非常重要的。但是我们拿到的数据往往可能由大部分无关数据和少部分我们所关心的数据组成。那么，如何对这些数据集进行处理，才能得到我们所需要结果呢？工程师 George Seif 认为，可以通过权重平衡法和采样法来解决这个问题。下面是他的观点，雷锋网 AI 科技评论整理。
在深度学习中，数据是非常重要的。但是我们拿到的数据往往可能由大部分无关数据和少部分我们所关心的数据组成。那么，如何对这些数据集进行处理，才能得到我们所需要结果呢？工程师 George Seif 认为，可以通过权重平衡法和采样法来解决这个问题。
「度量学习（Metric Learning）」即学习一个度量空间，在该空间中的学习异常高效，这种方法用于小样本分类时效果很好，不过度量学习方法的效果尚未在回归或强化学习等其他元学习领域中验证。
无约束人脸识别是计算机视觉领域中最难的问题之一。人脸识别在罪犯识别、考勤系统、人脸解锁系统中得到了大量应用，因此已经成为人们日常生活的一部分。这些识别工具的简洁性是其在工业和行政方面得到广泛应用的主要原因之一。但是同时，这种易用性掩盖了工具设计背后的复杂度和难度。很多科学家和研究人员仍然在研究多种技术以获得准确、稳健的人脸识别机制，未来其应用范围仍然会以指数级增加。2012 年，Krizhevsky 等人 [1] 提出 AlexNet，这一变革性研究是人脸识别领域的一项重大突破，AlexNet 赢得了 ImageNet 挑战赛 2012 的冠军。之后，基于 CNN 的方法在大部分计算机视觉问题中如鱼得水，如图像识别、目标检测、语义分割和生物医疗图像分析等。过去几年研究者提出了多种基于 CNN 的方法，其中大部分方法处理问题所需的复杂度和非线性，从而得到更一般的特征，然后在 LFW [12]、Megaface [13] 等主要人脸数据集上达到当前最优准确率。2012 年之后，出现了很多基于深度学习的人脸识别框架，如 DeepFace [14]、DeepID [15]、FaceNet [16] 等，轻松超越了手工方法的性能。
论文：NestDNN: Resource-Aware Multi-Tenant On-Device Deep Learning for Continuous Mobile Vision
[https://arxiv.org/abs/1708.02002](https://arxiv.org/abs/1708.02002)
这里使用到了眼疾识别数据集iChallenge-PM，是百度大脑和中山大学中山眼科中心联合举办的iChallenge比赛中，提供的关于病理性近视（Pathologic Myopia，PM）的医疗类数据集，包含1200个受试者的眼底视网膜图片，训练、验证和测试数据集各400张。
在机器学习中，过拟合（overfitting）会使模型的预测性能变差，通常发生在模型过于复杂的情况下，如参数过多等。本文对过拟合及其解决方法进行了归纳阐述。
尽管大模型非常强大， 但是解决实践的问题也可以不全部依赖于大模型。一个不太确切的类比，解释现实中的物理现象，未必要用到量子力学。有些相对简单的问题，或许一个统计分布就足够了。对机器学习而言， 也不用言必深度学习与神经网络，关键在于明确问题的边界。
近年来 AI 领域的发展令人震惊，但为完成这些壮举而训练神经网络的成本也异常巨大。以大规模语言模型 GPT-3 和艺术生成器 DALL-E 2 为例，它们需要在高性能 GPU 集群上训练数月时间，耗资数百万美元，消耗百万亿计的基本计算。
剪枝是深度神经网络 (DNN) 的主要压缩方法之一，从 DNN 模型中删除不太相关的参数以减少其内存占用。为了获得更好的最终精度，通常迭代地执行剪枝，在每一步中删除越来越多的参数，并对剩余的参数应用微调(即额外的训练周期），一直持续到达到目标压缩比。然而，这个过程可能非常耗时。若采取一次性剪枝（在一个步骤中修剪所有参数并进行一次微调）来缓解这个问题，又可能会带来较高的准确性损失。
作者：Rohith Gandhi 机器之心编译 参与：Nurhachu Null、路 本文简要介绍了提升神经网络性能的方法，如检查过拟合、调参、算法集成、数据增强。 神经网络是一种在很多用例中能够提
1.环境搭建以及前置条件 1.前置环境： 1.mac 2.pycharm 3.python3 4.Anaconda 2.环境搭建： 1.官网下载并安装Anaconda 2.官网下载并安装pycharm 3.在pycharm中使用Anaconda 1.preference-->project-->project interpreter 2.将Anaconda的解释器当做一个project interpreter添加 4.下载assignment1作业项目并导入pycharm中，作业下载 。 5.下载数据
每天给你送来NLP技术干货！ ---- 作者丨Mahitha Singirikonda 来源丨机器之心 导读 在机器学习中，过拟合（overfitting）会使模型的预测性能变差，通常发生在模型过于复杂的情况下，如参数过多等。本文对过拟合及其解决方法进行了归纳阐述。 正如巴菲特所言：「近似的正确好过精确的错误。」 在机器学习中，如果模型过于专注于特定的训练数据而错过了要点，那么该模型就被认为是过拟合。该模型提供的答案和正确答案相距甚远，即准确率降低。这类模型将无关数据中的噪声视为信号，对准确率造成负面
选自Statsbot 作者：Vadim Smolyakov 机器之心编译 参与：Jane W 集成学习（Ensemble learning）通过组合几种模型来提高机器学习的效果。与单一模型相比，该方法可以提供更好的预测结果。正因为如此，集成方法在许多著名的机器学习比赛（如 Netflix、KDD 2009 和 Kaggle 比赛）中能够取得很好的名次。 集成方法是将几种机器学习技术组合成一个预测模型的元算法，以达到减小方差（bagging）、偏差（boosting）或改进预测（stacking）的效果。 集
深度神经网络（DNN）在图像、语言处理等领域获得了巨大成功，而如何将这些网络部署在ASIC、FPGA等嵌入式设备仍是热门研究方向。结构搜索，以及传统的剪枝、量化等压缩方法，都可以有效减小模型的内存占用和计算量，故而已经成为模型部署前的必经工序。其中模型的量化操作简单，收益直观，可以在损失很小的精度的前提下轻松将模型大小压缩数倍，成倍的提升运算速度，故而一直是模型压缩的热点研究方向。
选自arXiv 作者：林宇鋆、韩松等 机器之心编译 参与：刘晓坤 来自清华大学和斯坦福大学的研究者们发现，分布式随机梯度下降训练中 99.9% 的梯度交换都是冗余的——通过他们提出的深度梯度压缩（DGC）方法，神经网络训练可以大幅降低通信带宽需求。在多个基准模型上的对比实验表明，该方法可以在不降低准确率的情况下达到 270 倍到 600 倍的梯度压缩率，使得小带宽甚至移动设备上的大规模分布式训练变为可能。 作者简介 林宇鋆是清华大学电子工程系 NICS 实验室 2014 级本科生，于 2017 年暑假在斯坦
2012 年，Hinton 等人在其论文《Improving neural networks by preventing co-adaptation of feature detectors》中提出了 dropout。同年，AlexNet 的出现开启了深度学习的新纪元。AlexNet 使用 dropout 显著降低了过拟合，并对其在 ILSVRC 2012 竞赛中的胜利起到了关键作用。可以这么说，如果没有 dropout，我们目前在深度学习领域看到的进展可能会被推迟数年。
华为诺亚方舟实验室联合北京大学和悉尼大学发布论文《DAFL：Data-Free Learning of Student Networks》，提出了在无数据情况下的网络蒸馏方法（DAFL），比之前的最好算法在 MNIST 上提升了 6 个百分点，并且使用 resnet18 在 CIFAR-10 和 100 上分别达到了 92% 和 74% 的准确率（无需训练数据），该论文已被 ICCV2019 接收。
模型优化工具包是一套先进的技术工具包，可协助新手和高级开发者优化待部署和执行的机器学习模型。自推出该工具包以来， 我们一直努力降低机器学习模型量化的复杂性
作者：Noah Frazier-Logue、Stephen José Hanson
作者：Joseph Bethge、Marvin Bornstein、Adrian Loy、Haojin Yang、Christoph Meinel
这段时间在百度的AIStudio上学习了MNIST数据集上的手写数字识别的课程，就简单做一下笔记吧！
Better, Faster, Stronger Sequence Tagging Constituent Parsersgodweiyang.com
选自openreview 作者：Jörn-Henrik Jacobsen 机器之心编译 参与：Nurhachu Null、刘晓坤 本文介绍了一种可逆网络架构 i-RevNet，证明对于分类网络的泛化能力，通过信息丢弃构造信息瓶颈并不是必要条件，该结论甚至对 ImageNet 这样的大型数据集也是成立的；此外，通过保留中间表征的所有信息，使得逆向完全地恢复原图变得可行。 虽然卷积神经网络（CNN）在进行图像分类的时候特别有效（He et al., 2016; Krizhevsky et al., 2012），
还记得在理解 LSTM 的时候，我们会发现，它用一种门控机制记住重要的信息而遗忘不重要的信息。在此之后，很多机器学习方法都受到了门控机制的影响，包括 Highway Network 和 GRU 等等。北大的研究者同样也是，它们将门控机制加入到 CNN 剪枝中，让模型自己决定哪些滤波器不太重要，那么它们就可以删除了。
选自GitHub 作者：Sylvain Gugger 机器之心编译 参与：Tianci LIU、思源 深度模型中的学习率及其相关参数是最重要也是最难控制的超参数，本文将介绍 Leslie Smith 在设置超参数（学习率、动量和权重衰减率）问题上第一阶段的研究成果。具体而言，Leslie Smith 提出的 1cycle 策略可以令复杂模型的训练迅速完成。它表示在 cifar10 上训练 resnet-56 时，通过使用 1cycle，能够在更少的迭代次数下，得到和原论文相比相同、甚至更高的精度。 通过采用
机器之心报道 机器之心编辑部 深度学习三巨头之一 Geoffrey Hinton 在 2012 年提出的 dropout 主要用来解决过拟合问题，但近日的一项工作表明，dropout 能做的事情不止于此。 2012 年，Hinton 等人在其论文《Improving neural networks by preventing co-adaptation of feature detectors》中提出了 dropout。同年，AlexNet 的出现开启了深度学习的新纪元。AlexNet 使用 dropout
这篇论文提出了一种高稀疏性基础大型语言模型（LLMs）的新方法，通过有效的预训练和部署，实现了模型在保持高准确度的同时，显著提升了处理速度。
很多人使用谷歌地图（Google Maps）获取精确的交通预测和预估到达时间（Estimated Time of Arrival，ETA）。这是很重要的工具，尤其是当你将途经交通拥堵路段或者需要按时参加重要的会议。
近年来，深度学习方法的快速发展使得无需任何特征工程的端到端学习成为可能，这有利于BCI运动想象应用的发展。慕尼黑工业大学和澳大利亚研究发展团队(Research and Development, Integrated Research, Sydney 2060) 在论文中将深度学习方法与传统分类算法在数据集上进行了验证比较。
Riptide 是一种新的模型量化方法，可以将模型量化至 1、2 位。研究团队今年三月在 MLSys 上介绍了 Riptide，这篇文章主要讲一下为什么要构建 Riptide，并快速了解它的幕后工作原理。团队计划来年将 Automatic ultra low-bit 功能添加到 Octomizer 中。在此之前，读者可以使用开源 Riptide 项目和 MLSys 论文中的信息来进行模型优化。
运行速度和算力一直是制约深度学习模型发展的瓶颈。研究人员一直在研究如何能够进一步提升模型的训练和推断速度，并减少对硬件性能的依赖。今日，一位名为 David Page 的 myrtle.ai 科学家和他的团队对 ResNet 训练进行了一系列改造，将在单 GPU 上训练 CIFAR10 数据集并达到 94% 准确率所需的时间减少到了 26 秒，比 DAWNBench 排行榜现在的第一名高了 10 秒以上。这一项目获得了 Jeff Dean 的点赞。
FBNet系列是完全基于NAS方法的轻量级网络系列，分析当前搜索方法的缺点，逐步增加创新性改进，FBNet结合了DNAS和资源约束，FBNetV2加入了channel和输入分辨率的搜索，FBNetV3则是使用准确率预测来进行快速的网络结构搜索
**论文: Gaussian YOLOv3: An Accurate and Fast Object Detector Using Localization
本文图片皆引自吴恩达机器学习教学视频，是对视频内容的提炼和总结，本文内容适合正在入门的初学者。
预训练大语言模型（LLM）在特定任务上的性能不断提高，随之而来的是，假如 prompt 指令得当，其可以更好的泛化到更多任务，很多人将这一现象归功于训练数据和参数的增多，然而最近的趋势表明，研究者更多的集中在更小的模型上，不过这些模型是在更多数据上训练而成，因而在推理时更容易使用。
今年的深度学习顶会ICLR上，新加坡国立大学尤洋教授团队的一项成果被收录为Oral论文。
如今训练神经网络最常见的方法是使用梯度下降或 Adam 等变种。梯度下降是寻找函数极小值的迭代优化算法。简单的说，在最优化问题中，我们对某个度量 P 感兴趣，想找到一个在某些数据（或分布）D上最大化（或最小化）该度量的函数（或函数的参数）。这听起来就像是机器学习或深度学习。我们有一些指标，例如准确率，甚至更好的精度/召回率或F1值；有一个带有可学习参数的模型（我们的网络）；还有数据（训练和测试集）。使用梯度下降，我们将“搜索”或“优化”模型的参数，从而最终使训练和测试集上的数据指标（准确率）最大化。
1. 权重的初始化 1.1 fine-tuning 神经网络的训练的有两种方式，第一种是自己从头到尾训练一遍；第二种是使用别人训练好的模型，然后根据自己的实际需求做改动与调整。后者我们叫做fine-tuning. 在model zoo有大量训练好的模型（不知道的可以百度一下model zoo) fine-tuning相当于站在巨人的肩膀上，使用别人已经训练好了的优秀的模型去实现自己的需求。一般分为以下两种调整方式： 1.只修改FC（全连接层），比如原来的模型是1000个类别，而你实际上只需要分2个类别，那
本文介绍了可提升大语言模型的训练后量化表现的增强型 SmoothQuant 技术，说明了这项技术的用法，并证明了其在准确率方面的优势。此方法已整合至英特尔® Neural Compressor(1) 中。
来源：sandipanweb 编译：Bot 编者按：之前，论智曾在TOP 10：初学者需要掌握的10大机器学习（ML）算法介绍了一些基础算法及其思路，为了与该帖联动，我们特从机器学习热门课程HSE的Introduction to Deep Learning和吴恩达的Neural Networks and Deep Learning中挑选了一些题目，演示Python、TensorFlow和Keras在深度学习中的实战应用。 “课后作业”第二题如何用一个只有一层隐藏层的神经网络分类Planar data，来自吴
近来，大规模神经网络彻底改变了生成式模型，使模型具有前所未有的捕捉许多变量之间复杂关系的能力，例如建立高分辨率图像中所有像素的联合模型。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
