梯度裁剪（Gradient Clipping）是一种防止梯度爆炸或梯度消失的优化技术，它可以在反向传播过程中对梯度进行缩放或截断，使其保持在一个合理的范围内。梯度裁剪有两种常见的方法：
谷歌在KDD 2023发表了一篇工作，探索了推荐系统ranking模型的训练稳定性问题，分析了造成训练稳定性存在问题的潜在原因，以及现有的一些提升模型稳定性方法的不足，并提出了一种新的梯度裁剪方式，提升了ranking模型的训练稳定性。下面给大家详细介绍一下这篇文章。
论文: High-Performance Large-Scale Image Recognition Without Normalization
因此，本文的重点是在不是使用BN来构建图像识别的卷积残差神经网络。但是如果没有BN，这些网络通常无法很好地运行或无法扩展到更大的批处理大小，但是本篇论文构建的网络可以使用大的批次进行伦联，并且比以前的最新方法（例如LambdaNets）更有效 。训练时间与准确率如下图表显示，对于在ImageNet上进行的相同的top-1准确性评分，NFnet比EffNet-B7快8.7倍。此模型是没有任何其他培训数据的最新技术，也是新的最新迁移学习。NFnets目前在全球排行榜上排名第二，仅次于使用半监督预训练和额外数据的方法。
https://www.paddlepaddle.org.cn/documentation/docs/zh/guides/advanced/gradient_clip_cn.html
梯度爆炸是一个在训练过程中大的误差梯度不断累积，导致神经网络模型权重出现大幅更新的问题。这会影响你的模型不稳定，无法从你的训练数据中学习。 在这篇文章中，我将带你了解深度人工神经网络的梯度爆炸问题。
不够快！还不够快？ 在 NLP 和 CV 任务上，为了加速神经网络的训练，借助 32K 的批量大小（batch size）和 8 块 GPU，只需 14 分钟就完成 ImageNet 的训练，76 分钟完成 Bert 的训练。研究人员对训练速度的渴望从来没有停止过。 那，只用 1 块 GPU 够不够？在推荐系统上，不仅可以，还能将批量大小继续提升！ 最近，字节跳动AML（应用机器学习团队）和新加坡国立大学的研究人员提出了一个新的优化方法 CowClip，在公开点击率预测数据集 Criteo 上最高支持 12
论文题目：RANGER21: A SYNERGISTIC DEEP LEARNING OPTIMIZER 论文链接：https://arxiv.org/pdf/2106.13731.pdf
目前深度神经网络模型的优化方法主要是梯度下降。我们使用梯度下降的方法来进行误差的反向传播，不断地调整模型参数，以降低模型所产生的误差，使模型更好实现从输入到输出的映射。目前因为各种因素，神经网络可以做的层数更深，神经元更多。相较于以前得到了性能上较大的提升。
我们知道，在传递给机器学习模型的数据中，我们需要对数据进行归一化（normalization）处理。
机器之心报道 编辑：张倩、杜伟 稀疏模型在深度学习领域发挥着越来越重要的作用。对于给定的 token 或样本，它可以只激活模型的一小部分，从而在拥有很大的参数量的同时也能做到计算友好。但是，如何可靠地训练这类模型依然是一个需要解决的问题。在这篇文章中，来自谷歌的 Barret Zoph、Irwan Bello、William Fedus 、Jeff Dean 等研究者给出了一份「高效稀疏专家模型设计指南」。 稀疏专家神经网络展示了纯规模的优势，并为当今常用的静态神经网络架构提供了一种有效的替代方案。稀疏专
最先进的深度神经网络 (DNN) 剪枝技术在训练开始前一次性应用，借助剪枝分数的单一标准评估稀疏架构。基于单独分数的剪枝权重对于某些架构和修剪率很有效，但对于其他架构和剪枝率也可能失败。作为剪枝分数的通用基线，有研究者引入了广义synaptic score（GSS）的概念。
Keras有一个简洁的API来查看模型的每一层输出尺寸，这在调试网络时非常有用。现在在PyTorch中也可以实现这个功能。
RNN是深度学习算法的核心构件，为了更好的理解算法，我们从动机、结构，到反向传播和学习策略，逐步分析，然后不借助深度学习框架，实现RNN模型，再应用于时序数据的分析预测，验证这个模型。
在使用PyTorch进行深度学习任务时，我们经常会遇到类型错误（TypeError）的异常。这篇技术博客文章将着重讲解一个常见的TypeError异常：TypeError: clamp(): argument 'min' must be Number, not Tensor。我们将详细解释这个异常的原因，并提供一些解决办法。
在深度学习中，优化算法是非常重要的，因为它们可以帮助我们训练出更好的模型。然而，现有的优化算法需要调整大量的超参数，这是一项非常耗时和困难的任务。此外，现有算法忽略了神经网络结构信息，而采用隐式的体系结构信息或体系结构不可知的距离函数。
第 10 章介绍了人工神经网络，并训练了第一个深度神经网络。 但它非常浅，只有两个隐藏层。 如果你需要解决非常复杂的问题，例如检测高分辨率图像中的数百种类型的对象，该怎么办？ 你可能需要训练更深的 DNN，也许有 10 层或更多，每层包含数百个神经元，通过数十万个连接相连。 这可不像公园散步那么简单，可能碰到下面这些问题：
自从扩散模型发布以来，GAN的关注度和论文是越来越少了，但是它们里面的一些思路还是值得我们了解和学习。所以本文我们来使用Pytorch 来实现SN-GAN
本文主要整理了深度学习相关算法面试中经常问到的一些核心概念，并给出了细致的解答，分享给大家。
图像质量是一个属性的组合，表明一个图像如何如实地捕获原始场景。影响图像质量的因素包括亮度、对比度、锐度、噪声、色彩一致性、分辨率、色调再现等。
我想简要地介绍两篇关于修剪神经网络的论文： Learning Sparse Neural Networks through L0 Regularization – Christos Louizos, Max Welling, Diederik P. Kingma (2018) 链接：https://arxiv.org/abs/1712.01312 Faster gaze prediction with dense networks and Fisher pruning – Lucas Theis, Iry
设置当前使用的GPU设备仅为0号设备，设备名称为 /gpu:0： os.environ["CUDA_VISIBLE_DEVICES"] = "0"
选自inference 作者：Ferenc Huszár 机器之心编译 参与：陈韵竹、思源 本文解读了两篇近期关于神经网络修剪的论文，分别是 L_0 正则化方法和 Fisher 修剪方法。作者对两种方法的工作机制进行了精简的总结和解释，可以帮助我们快速领会论文的方法论思想。 我想简单介绍近期两篇关于神经网络修剪的论文（免责声明，其中一篇是我们自己的论文）： Christos Louizos, Max Welling, Diederik P. Kingma (2018) 《Learning Sparse Ne
机器之心专栏 机器之心编辑部 测试时自适应（Test-Time Adaptation, TTA）方法在测试阶段指导模型进行快速无监督 / 自监督学习，是当前用于提升深度模型分布外泛化能力的一种强有效工具。然而在动态开放场景中，稳定性不足仍是现有 TTA 方法的一大短板，严重阻碍了其实际部署。为此，来自华南理工大学、腾讯 AI Lab 及新加坡国立大学的研究团队，从统一的角度对现有 TTA 方法在动态场景下不稳定原因进行分析，指出依赖于 Batch 的归一化层是导致不稳定的关键原因之一，另外测试数据流中某些
如果怀疑神经网络过度拟合了数据，即存在高方差问题那么最先想到的方法可能就是正则化，另一个解决高方差的方法就是准备更多数据，这也是非常可靠的办法，但你可能无法时时准备足够多的训练数据或者获取数据的成本很高。
论文提出类特定控制门CSG来引导网络学习类特定的卷积核，并且加入正则化方法来稀疏化CSG矩阵，进一步保证类特定性。从实验结果来看，CSG的稀疏性能够引导卷积核与类别的强关联，在卷积核层面产生高度类相关的特征表达，从而提升网络的性能以及可解释性
论文: Training Interpretable Convolutional Neural Networks by Differentiating Class-specific Filters
当使用libtorch进行C++深度学习开发时，有时可能会遇到错误error C1021: 无效的预处理器命令“warning”。这个错误意味着在源代码中使用了无效的预处理器命令warning，通常是因为在编译时开启了特定的警告选项。本篇文章将详细介绍这个错误的原因以及如何解决它。
本文首发于 【集智书童】，白名单账号转载请自觉植入本公众号名片并注明来源，非白名单账号请先申请权限，违者必究。
地址：https://zhuanlan.zhihu.com/p/363319763
编译 | AI科技大本营 参与 | 刘 畅 编辑 | 明 明 【AI科技大本营导读】本文介绍了两篇自动学习神经网络架构方向的最新方法，他们主要是通过计算扔掉一些参数/特征来实现的。第一篇L0方法看起来像是一个更简单的优化算法，第二篇Fisher修剪法论文来自于作者及其实验室。 第一篇论文：《Christos Louizos, Max Welling, Diederik P. Kingma (2018) Learning Sparse Neural Networks through $L_0$ Reg
一年一度的校园招聘已经开始了，为了帮助参加校园招聘、社招的同学更好的准备面试，SIGAI整理出了一些常见的机器学习、深度学习面试题。理解它们，对你通过技术面试非常有帮助，当然，我们不能只限于会做这些题目，最终的目标是真正理解机器学习与深度学习的原理、应用。
Libtorch是Pytorch的C++接口，实现了在C++中进行网络训练、网络推理的功能。
虽然两级检测器取得了巨大的成功，但是单级检测器仍然是一种更加简洁和高效的方法，在训练过程中存在着两种众所周知的不协调，即正、负样本之间以及简单例子和困难例子之间在数量上的巨大差异。在这项工作中，我们首先指出，这两个不和谐的本质影响可以用梯度的形式来概括。此外，我们提出了一种新的梯度协调机制(GHM)来对冲不协调。GHM背后的原理可以很容易地嵌入到交叉熵(CE)等分类损失函数和smooth l1 (SL1)等回归损失函数中。为此，我们设计了两种新的损失函数GHM-C和GHM-R来平衡梯度流，分别用于anchor分类和bounding box细化。MS COCO的消融研究表明，无需费力的超参数调整，GHM-C和GHM-R都可以为单级探测器带来实质性的改进。在没有任何附加条件的情况下，该模型在COCO test-dev set上实现了41.6 mAP，比目前最先进的Focal Loss(FL) + SL1方法高出0.8。
“他山之石，可以攻玉”，站在巨人的肩膀才能看得更高，走得更远。在科研的道路上，更需借助东风才能更快前行。为此，我们特别搜集整理了一些实用的代码链接，数据集，软件，编程技巧等，开辟“他山之石”专栏，助你乘风破浪，一路奋勇向前，敬请关注。
设置当前使用的GPU设备为0, 1号两个设备，名称依次为 /gpu:0、/gpu:1： os.environ["CUDA_VISIBLE_DEVICES"] = "0,1" ，根据顺序表示优先使用0号设备,然后使用1号设备。
选自arXiv 机器之心编译 深度学习中的正则化与优化策略一直是非常重要的部分，它们很大程度上决定了模型的泛化与收敛等性能。本文主要以深度卷积网络为例，探讨了深度学习中的五项正则化与七项优化策略，并重点解释了当前最为流行的 Adam 优化算法。本文主体介绍和简要分析基于南洋理工的概述论文，而 Adam 方法的具体介绍基于 14 年的 Adam 论文。 近来在深度学习中，卷积神经网络和循环神经网络等深度模型在各种复杂的任务中表现十分优秀。例如卷积神经网络（CNN）这种由生物启发而诞生的网络，它基于数学的卷积运
每天给你送来NLP技术干货！ ---- 炼丹笔记编辑 z.defying@DataWhale 1. 指定GPU编号 设置当前使用的GPU设备仅为0号设备，设备名称为 /gpu:0： os.environ["CUDA_VISIBLE_DEVICES"] = "0" 设置当前使用的GPU设备为0, 1号两个设备，名称依次为 /gpu:0、/gpu:1： os.environ["CUDA_VISIBLE_DEVICES"] = "0,1" ，根据顺序表示优先使用0号设备,然后使用1号设备。 指定GP
AdderNet: DoWe Really Need Multiplications in Deep Learning? CVPR2020 https://arxiv.org/abs/1912.1
本文是视频https://www.bilibili.com/video/BV1dp4y177L4的笔记。
ShowMeAI为斯坦福CS224n《自然语言处理与深度学习(Natural Language Processing with Deep Learning)》课程的全部课件，做了中文翻译和注释，并制作成了GIF动图！
在小数据量的时代，如 100、1000、10000 的数据量大小，可以将数据集按照以下比例进行划分：
关键字全网搜索最新排名 【机器学习算法】：排名第一 【机器学习】：排名第一 【Python】：排名第三 【算法】：排名第四 源 | 数盟 深度学习中，卷积神经网络和循环神经网络等深度模型在各种复杂的任务中表现十分优秀。例如卷积神经网络（CNN）这种由生物启发而诞生的网络，它基于数学的卷积运算而能检测大量的图像特征，因此可用于解决多种图像视觉应用、目标分类和语音识别等问题。 但是，深层网络架构的学习要求大量数据，对计算能力的要求很高。神经元和参数之间的大量连接需要通过梯度下降及其变体以迭代的方式不断调整。此外
首先权值共享就是滤波器共享，滤波器的参数是固定的，即是用相同的滤波器去扫一遍图像，提取一次特征特征，得到feature map。在卷积网络中，学好了一个滤波器，就相当于掌握了一种特征，这个滤波器在图像中滑动，进行特征提取，然后所有进行这样操作的区域都会被采集到这种特征，就好比上面的水平线。
根据中国互联网络信息中心（CNNIC）第47次《中国互联网络发展状况统计报告》，截至2020年12月，中国网民规模达到9.89亿人，其中网络视频（含短视频）用户规模达到9.27亿人，占网民整体的93.7%，短视频用户规模为8.73亿人，占网民整体的88.3%。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
