约翰，不可忽视直觉。因为直觉表示处理过快的数据，这让有意识的人根本无法理解。——Sherlock Holmes
在 PSPNet 与 DeeplabV3中，有对 BN 层对语分割有效性的使用，故再次对 BN 层提出的论文阅读学习，并理解其 Caffe 实现.
在计算机视觉任务中，为了将预训练的深度神经网络模型应用到各种移动设备上，学习一个轻便的网络越来越重要。当我们可以直接访问训练数据集时，现有的深度神经网络压缩和加速方法对于训练紧凑的深度模型是非常有效的，但是现实情况却是，有了隐私保护，法规政策等，数据集的回去越来越困难，为此，本文提出了一种利用生成对抗网络(GANs)训练高效深度神经网络的新框架DAFL（Data-Free Learning）。
神经网络的训练是深度学习中的核心问题之一。神经网络的训练过程是指通过输入训练数据，不断调整神经网络的参数，使其输出结果更加接近于实际值的过程。本文将介绍神经网络的训练过程、常见的训练算法以及如何避免过拟合等问题。
---- 新智元报道 作者：刘宁 编辑：好困 【新智元导读】「彩票假说」指出神经网络可能存在准确率和原始网络相近的子网络。然而，这种中奖特性在许多情况中很难被观测到。最近，王言治教团队发现并揭示了中奖特性的潜在条件和基本原理。 在深度模型压缩领域中，「彩票假说」（Lottery Tickets Hypothesis）指出一个原始神经网络可能存在中奖彩票的子网络（Winning ticket），该子网络可以达到和原始网络相近的准确率。 然而，这种中奖特性（Winning property）在许多情况
我们身处的时代，网络攻击正愈演愈烈，特别是网络空间领域上升到网络战的战略高度之后，几乎每天都有网络攻击事件发生，而目前网络安全厂商竭尽全力开发的安全软硬件在保护个人和企业的信息安全方面始终存在差距。详细来说，现今的网络安全技术及产品只解决了安全一半的问题，更关键的另一半需要我们的网络安全技术人员在关键的时候进行干预和解决。这就对我们的网络安全技术人员提出了要求，技术人员必须能够胜任网络安全的岗位的能力并拥有对应解决问题的技能。但是当前的网络安全技能培训方法在很大程度上依赖于安全专家或网络红队，这些安全专家或网络红队为网络人员的安全培训提供了具有挑战性的培训路径和彼此磨炼战术的对手。这样的培训周期长、人力培训成本高且培训的安全专家或网络红队始终不足，无法满足大规模网络人员安全培训的技能要求；而提供的网络安全培训产品在一定程度上又无法满足实战性技能培训人才的要求。
提高模型效果一直是机器学习（包括深度学习）中的关键问题。然而，独立神经网络在层数较多的情况下，往往会受到边缘效应的影响。同时，集成是进一步提高模型效果的有效技术。
尽管通过扩展导致具有数千亿参数的大型网络在统治和效率方面表现突出，但训练过参数化模型的必要性仍然难以理解，且替代方法不一定能使训练高性能模型的成本降低。在本文中，我们探索了低秩训练技术作为训练大型神经网络的替代方法。我们引入了一种名为 ReLoRA 的新方法，该方法利用低秩更新来训练高秩网络。我们将 ReLoRA 应用于预训练最多达 350M 参数的变换器语言模型，并展示了与常规神经网络训练相当的性能。此外，我们观察到 ReLoRA 的效率随着模型大小的增加而提高，使其成为训练多十亿参数网络的有效方法。我们的研究发现揭示了低秩训练技术的潜力及其对扩展规律的影响。代码已在 GitHub 上提供。
「Rethinking ImageNet Pre-training」这篇惊艳的论文向我们展示了：使用从随机初始化的状态开始训练的标准模型在 COCO 数据集上也可以在目标检测和实例分割任务中取得十分出色的结果，其结果可以与使用 ImageNet 预训练的模型所得到的结果相媲美。研究人员惊奇地发现，使用随机初始化的模型具有很强的鲁棒性。在以下三种情况下，模型的结果仍然能保持在比较高的水平上：（1）即使仅仅使用 10% 的训练数据，（2）使用更深和更宽的模型，（3）处理多任务并使用多种评价指标。
模型压缩可以有效地减少模型的存储和计算资源需求，提高模型的推理速度和效率，从而实现在移动设备、边缘设备等资源受限的场景中进行高效的机器学习应用。常用的模型压缩方法有4种：知识蒸馏（Knowledge Distillation，KD）、 轻量化模型架构、 剪枝（Pruning）、 量化（Quantization）。
批量归一化（BN：Batch Normalization：解决在训练过程中，中间层数据分布发生改变的问题，以防止梯度消失或爆炸、加快训练速度）
华为诺亚方舟实验室联合北京大学和悉尼大学发布论文《DAFL：Data-Free Learning of Student Networks》，提出了在无数据情况下的网络蒸馏方法（DAFL），比之前的最好算法在 MNIST 上提升了 6 个百分点，并且使用 resnet18 在 CIFAR-10 和 100 上分别达到了 92% 和 74% 的准确率（无需训练数据），该论文已被 ICCV2019 接收。
本文来自来自迪菲赫尔曼迪导（强烈推荐此导）：深度解析预训练权重的本质和作用：你真的了解它们吗？_预训练权重是干什么的-CSDN博客
Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
深度神经网络极易受到对抗样本的攻击。防御对抗样本攻击一个直观有效的方式就是对抗训练比如Free adversarial training 和Fast adversarial training，但问题是对抗训练比正常的训练要慢，主要原因在于对抗训练需要模型格外引入对抗样本进行训练，另外对抗训练的理论基础还不够扎实。
目前在深度学习领域，一方面需要追求更高的性能，采用强大、复杂的模型网络和实验方法；另一方面又需要关注如何将算法更稳定、高效地在硬件平台上落地。复杂的模型固然展现更好的性能，但过高的存储空间需求和计算资源消耗，是影响在各硬件平台上的落地的重要原因之一。尤其在NLP领域，以BERT、GPT为代表的预训练模型规模越来越大。
深度学习在计算机视觉、自然语言处理等领域取得了很多重大突破。神经网络的表达能力通常随着其网络深度呈指数增长，这一特性赋予了它很强的泛化能力。然而深层的网络也产生了梯度消失或梯度爆炸，以及模型中的信息传递变差等一系列问题。研究人员使用精心设计的权值初始化方法、BatchNorm 或 LayerNorm 这类标准化技术来缓解以上问题，然而这些技术往往会耗费更多计算资源，或者存在其自身的局限。
前几天，我们介绍了「机器学习领域的七大谣传」，其中一个谣传就是「训练超深度残差网络怎么少得了批归一化（BN）！」。文中介绍了论文《Fixup Initialization: Residual Learning Without Normalization》表明在不引入任何归一化方法的情况下，通过使用原版 SGD，可以有效地训练一个 10,000 层的深度网络。也就是说「训练超深残差网络可以不用批归一化」。
这个例子说明了一个函数拟合的神经网络如何根据测量结果来估计脂肪百分比(BFP) 。
本文提出了一种大批量训练算法 AGVM (Adaptive Gradient Variance Modulator)，不仅可以适配于目标检测任务，同时也可以适配各类分割任务。AGVM 可以把目标检测的训练批量大小扩大到 1536，帮助研究人员四分钟训练 Faster R-CNN，3.5 小时把 COCO 刷到 62.2 mAP，均打破了目标检测训练速度的世界纪录。
今天介绍的是一篇个性化搭配推荐的论文，是 2017 年时候的论文，这也是比较早的开始结合搭配和个性化推荐的一个工作，基于度量学习和排序学习的方法。
编译 | 林椿眄 从围棋、Atari游戏到图像识别、语言翻译领域，神经网络都已经取得了重大的突破。但是，经常被人忽略的是，神经网络的成功是在特定的应用情景下所取得，这些情景通常是在一系列研究的开始就确定好了的设置，包括所使用的神经网络的类型，所使用的数据以及训练的方法等。如今，这些设置，也被称为超参数，通常可以通过经验，随机搜索或者大规模的研究过程来决定。 在最新发表的文章中，我们介绍了一种新的训练神经网络的方法，这种方法能够帮助研究者快速地选择最适用于此任务的超参数和模型。 这种技术，被称为基于种群的
选自arXiv 作者：叶承曦（Chengxi Ye) 、杨叶舟 （Yezhou Yang) 、Cornelia Fermüller、Yiannis Aloimonos 机器之心编辑部 近日，马里兰大学和亚利桑那州立大学的研究者叶承羲、杨叶舟、Cornelia Fermüller、Yiannis Aloimonos 发表了一篇论文《On the Importance of Consistency in Training Deep Neural Networks》，在此文章中作者们对神经网络多年以来存在的训练一
摘要：DIGITS是一款面向数据科学家和研究人员的交互式深度学习开发工具。新的DIGITS 2包含了多GPU自动扩展功能，不论为单个数据集开发优化的神经网络还是在多个数据集上训练多重网络，都可使用多GPU开发并行优化网络。 DIGITS 是一款面向数据科学家和研究人员的交互式深度学习开发工具，设计的初衷是为了适应优越的深度神经网络的迅速开发和部署。NVIDIA在2015年3月份推出了DIGITS，今天发布的DIGITS 2，包含了多GPU自动扩展功能。不管是为单个数据集开发优化的神经网络还是在多个数据集上训
蒸馏模型是一种将知识从教师网络（teacher）传递到学生网络（student）的有效且广泛使用的技术。通常来说，蒸馏模型是从功能强大的大型网络或集成网络转移到结构简单，运行快速的小型网络。本文决定打破这种预先定义好的“强弱关系”，提出了一种深度相互学习策略(deep mutual learning, DML)。
当前神经网络层之前的神经网络层的参数变化，引起神经网络每一层输入数据的分布产生了变化，这使得训练一个深度神经网络变得复杂。这样就要求使用更小的学习率，参数初始化也需要更为谨慎的设置。并且由于非线性饱和（注：如sigmoid激活函数的非线性饱和问题），训练一个深度神经网络会非常困难。我们称这个现象为：internal covariate shift。同时利用归一化层输入解决这个问题。我们将归一化层输入作为神经网络的结构，并且对每一个小批量训练数据执行这一操作。Batch Normalization（BN） 能使用更高的学习率，并且不需要过多地注重参数初始化问题。BN 的过程与正则化相似，在某些情况下可以去除Dropout
我将借鉴自己的经验，列出微调背后的基本原理，所涉及的技术，及最后也是最重要的，在本文第二部分中将分步详尽阐述如何在 Keras 中对卷积神经网络模型进行微调。
DIGITS 是一款面向数据科学家和研究人员的交互式深度学习开发工具，设计的初衷是为了适应优越的深度神经网络的迅速开发和部署。NVIDIA在2015年3月份推出了DIGITS，今天发布的DIGITS 2，包含了多GPU自动扩展功能。不管是为单个数据集开发优化的神经网络还是在多个数据集上训练多重网络，DIGITS 2都能够很轻松快捷地使用多GPU开发并行优化网络。 深度学习使用深度神经网络（DNNs）和大数据集来教计算机从输入数据中检测可识别的概念，去解释或理解自然语言以及解读信息等。深度学习已经运用在研究界
随着美国对网络战的政策及顶层设计越来越清晰，美军继续构建网络任务部队（Cyber MissionForce, CMF）并将专业的网络军团制度化，美国开始着手进行网络（赛博）空间作战培训平台的规划建设工作。网络空间作战培训平台强调持续网络训练环境（PersistentTraining Environment，缩写PTE）的概念，虽然美国网络司令部每年都会举办大规模的演习，比如“网络卫士”和“网络夺旗”项目，但已无法满足美军网络任务部队的网络作战试验演训需求。根据美国国防部规划的内容，“持续网络训练环境（PCTE）将为国防部（DoD）网络任务部队提供标准化的培训能力，使他们能够访问现有的网络培训靶场（CTR）以及可用的培训资源和内容。当前环境没有能力维持持久性环境，并且主要用于大型演习（例如，Cyber Flag）。服务网络组件已经建立了自己的培训环境，但是没有标准化的功能或内容。2015年11月17日，PCTE系统方法与国防部负责采购、技术和物流的副部长办公室（OUSD AT＆L）的输出以及由参谋长联席会议主席（CJCS）J6领导的“替代方案的网络靶场评估（EOA）”结果和议题文件审议”。计划、模拟、培训和仪器仪表执行办公室（PEO STRI）被指定为PCTE的国防部采购负责人。该计划由2016年《国防授权法》第1645条所指示。根据PCTE执行委员会制定的IOC定义、原型、集成和测试工作将在2019财年完成，以达到初始作战能力（IOC）所需的能力。”美国国防部于2016年邀请美国陆军负责领导网络持续训练环境（PersistentTraining Environment，PTE）的项目开发工作，以帮助在实时虚拟环境中培训来自美国网络司令部的网络任务部队（CMF）。这个项目就是至NCR项目之后美国国防部又一重量级的网络空间靶场建设项目--持续赛博训练环境（Persistent Cyber Training Environment，PCTE）。目前该项目由美陆军模拟、培训和仪器计划执行办公室（PEOSTRI）管理。
稀疏网络训练一直是深度学习中训练神经网络的难点。随着网络规模和数据量的不断增加，训练成本也不断提升。如何有效的训练稀疏网络来维持合理的训练开销便十分重要。另一方面，找到有效的稀疏网络训练方法对理解神经网络的工作原理同样很有帮助。
机器之心专栏 机器之心编辑部 来自美国东北大学、圣克拉拉大学和 Meta 的研究者提出对偶彩票假说（Dual Lottery Ticket Hypothesis，DLTH），随机的子网络都可以被转换成中奖彩票。 稀疏网络训练一直是深度学习中训练神经网络的难点。随着网络规模和数据量的不断增加，训练成本也不断提升。如何有效的训练稀疏网络来维持合理的训练开销变得十分重要。另一方面，找到有效的稀疏网络训练方法对理解神经网络的工作原理同样很有帮助。 近日，来自美国东北大学，圣克拉拉大学和 Meta 的研究者提出对偶
就像在学校上课一样，神经网络在“训练”阶段得到的教育跟大多数人一样——学会去做一份工作。
Gan 因为是2个网络，不方便一起训练，所以才交替迭代训练。 先是判别网络： 假设现在有了生成网络（当然可能不是最好的），那么给一堆随机数组，就会得到一堆假的样本集（因为不是最终的生成模型，现在生成网络可能处于劣势，导致生成的样本不太好，很容易就被判别网络判别为假）。 现在有了这个假样本集(真样本集一直都有)，我们再人为地定义真假样本集的标签，很明显，这里我们默认真样本集的类标签为1，而假样本集的类标签为0，因为我们希望真样本集的输出尽可能为1，假样本集为0。 现在有了真样本集以及它们的label(都是
在机器学习中，经常提到训练集和测试集，验证集似有似无。感觉挺好奇的，就仔细查找了文献。以下谈谈训练集、验证集和测试集。
深度神经网络已经在计算机视觉领域取得了巨大的成功，如 AlexNet、VGG 等。这些模型动辄就有上亿的参数，传统的 CPU 对如此庞大的网络一筹莫展，只有具有高计算能力的 GPU 才能相对快速的训练神经网络。如 2012 年 ImageNet 比赛中夺冠的 AlexNet 模型使用了 5 个卷积层和 3 个全连接层的 6000 万参数的网络，即使使用当时顶级的 K40 来训练整个模型，仍需要花费两到三天时间。卷积层的出现解决了全连接层的参数规模问题，但叠加若干个卷积层后，模型的训练开销仍然很大。
要理解什么是深度神经网络的“训练（training）”，我们可以把它类比成在学校中学习。神经网络和大多数人一样——为了完成一项工作，需要接受教育。
实际上，很少的人会训练整个卷积神经网络（使用随机的初始化），因为相对来说，很少有足够大的数据集可以用于训练。作为代替，常见的方式是在一个很大的数据集中预训练一个卷积神经网络（比如ImageNet，120万张1000类别图片），然后或者将这个训练后的网络参数作为初始化参数，或者直接作为一个特质提取器用于所关注的任务。三种常见的迁移学习类型如下所示：
【新智元导读】美国斯坦福大学的研究人员已经证明，可以直接在光学芯片上训练人工神经网络。这一重大突破表明，光学电路可以实现基于电子的人工神经网络的关键功能，进而可以以更便宜、更快速和更节能的方式执行语音识别、图像识别等复杂任务。
根据齐鲁晚报报道，最近威海一彩民获得了1219万大奖，可以说是非常幸运了，看的一众神经网络“炼丹师”们羡慕不已。
来源：otoro 编译：weakish 在之前的文章中，hardmaru讨论了一种生成算法，可以在诸如MNIST或CIFAR-10这样的低分辨率图像上训练，以任意高的分辨率生成数字图像。这篇文章探索了之前模型的一些变化，以生成更有趣的结果。 具体来说，我们删除了在变分自编码器中使用的像素到像素的重构损失函数。我们用一个分类网络取代了用于检测虚假图像的判别网络。之前使用的生成网络是一个相对较大的网络，包含由128个全连接节点组成的4层网络，我们尝试用一个更深的网络来取代之前的生成网络，新网络有96层，但每层只
深度学习通常是训练深度（多层）神经网络，用于模式识别（如语音、图像识别）；深度网络 指是具有深层（多层）网络结构的神经网络。
论文地址：https://arxiv.org/pdf/1908.01580v1.pdf
近日，由中科院信工所、香港中文大学（深圳）和腾讯AILab共同提出的一种可学习的对抗训练框架LAS-AT，被CVPR 2022（Oral）顺利接收。通过引入“可学习的攻击策略”，LAS-AT可以学习自动产生攻击策略以提高模型的鲁棒性。该框架由一个使用对抗样本进行训练以提高鲁棒性的目标网络和一个产生攻击策略以控制对抗样本生成的策略网络组成。在不同数据集上的实验结果展现了LAS-AT的优越性。
深度神经网络（DNNs）在各种任务上取得了显著的进展，在工业应用中取得了显著的成功。在这些应用中，模型优化的追求突出地表现为一个普遍的需求，它提供了提高模型推理速度的潜力，同时最小化精度折衷。这一追求包括各种技术，尤其是模型削减、量化以及高效模型设计。高效模型设计包括神经架构搜索（NAS）和手工设计方法。模型削减已成为工业应用中优化模型的主要策略。作为主要加速方法，模型削减关注于有意去除冗余权重，同时保持准确性。
训练深度神经网络是一个乏味的过程。更实际的方法，如重新使用训练好的网络解决其他任务，或针对许多任务使用相同的网络。这篇文章中，我们会讨论两个重要的方法：迁移学习和多任务学习。
迁移学习：遇到一个新问题，不是从头训练一个网络模型，而是在现有的预训练模型上，再次训练或者直接使用。
安全性与保障性一直是机器人技术的两个主要问题。学术界处理这两个问题时，通常采用两种方法：1.用大量的数据训练深度模型，提高其环境适应性；2.进行对抗训练，提高其稳健性。
本文通过介绍一个基于神经网络的多分类模型，对State Farm汽车保险公司的数据进行了分析。该模型使用了Kaggle上的数据集，并通过预处理、训练、校验等步骤，最终得到了一个具有86.3%准确率的模型。此外，还对最难区分的两种行为进行了进一步的分析。总体来说，该模型的效果较好，可以用于实际应用中进行汽车行为预测。
七期飞跃计划还剩7个名额，联系小编，获取你的专属算法工程师学习计划（联系小编SIGAI_NO1）
由中国科学院大学研究人员发表在 2023 年 CVPR 上的 iTPN 网络模型，通过为上下游任务设计一个统一的框架，大大提升了正确率和训练速度。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
