来源：机器之心本文约4500字，建议阅读9分钟今天介绍一篇来自卡耐基梅隆大学等单位 ECCV 2022 的一篇关于快速知识蒸馏的文章。 今天介绍一篇来自卡耐基梅隆大学等单位 ECCV 2022 的一篇关于快速知识蒸馏的文章，用基本的训练参数配置就可以把 ResNet-50 在 ImageNet-1K 从头开始 (from scratch) 训练到 80.1% (不使用 mixup，cutmix 等数据增强)，训练速度（尤其是数据读取开销）相比传统分类框架节省 16% 以上，比之前 SOTA 算法快 30%
机器之心专栏 机器之心编辑部 今天介绍一篇来自卡耐基梅隆大学等单位 ECCV 2022 的一篇关于快速知识蒸馏的文章，用基本的训练参数配置就可以把 ResNet-50 在 ImageNet-1K 从头开始 (from scratch) 训练到 80.1% (不使用 mixup，cutmix 等数据增强)，训练速度（尤其是数据读取开销）相比传统分类框架节省 16% 以上，比之前 SOTA 算法快 30% 以上，是目前精度和速度双双最优的知识蒸馏策略之一，代码和模型已全部开源！ 论文和项目网址：http:/
点击上方↑↑↑“OpenCV学堂”关注我来源：公众号 机器之心 授权 今天介绍一篇来自卡耐基梅隆大学等单位 ECCV 2022 的一篇关于快速知识蒸馏的文章，用基本的训练参数配置就可以把 ResNet-50 在 ImageNet-1K 从头开始 (from scratch) 训练到 80.1% (不使用 mixup，cutmix 等数据增强)，训练速度（尤其是数据读取开销）相比传统分类框架节省 16% 以上，比之前 SOTA 算法快 30% 以上，是目前精度和速度双双最优的知识蒸馏策略之一，代码和模型已全部
选自Sebastian Raschka博客 机器之心编译 机器之心编辑部 关于 PyTorch 炼丹，本文作者表示：「如果你有 8 个 GPU，整个训练过程只需要 2 分钟，实现 11.5 倍的性能加速。」 如何提升 PyTorch「炼丹」速度？ 最近，知名机器学习与 AI 研究者 Sebastian Raschka 向我们展示了他的绝招。据他表示，他的方法在不影响模型准确率的情况下，仅仅通过改变几行代码，将 BERT 优化时间从 22.63 分钟缩减到 3.15 分钟，训练速度足足提升了 7 倍。 作者
关注并星标 从此不迷路 计算机视觉研究院 公众号ID｜ComputerVisionGzq 学习群｜扫码在主页获取加入方式 论文和项目网址：http://zhiqiangshen.com/projects/FKD/index.html 代码：https://github.com/szq0214/FKD 计算机视觉研究院专栏 作者：Edison_G 今天介绍一篇来自卡耐基梅隆大学等单位 ECCV 2022 的一篇关于快速知识蒸馏的文章，用基本的训练参数配置就可以把 ResNet-50 在 ImageN
训练好的模型，用自己蒸馏一下，就能提高性能，是不是很神奇，这里面的原理到底是什么呢，这要从模型集成开始说起。
近日，深度学习领域知名研究者、Lightning AI 的首席人工智能教育者 Sebastian Raschka 在 CVPR 2023 上发表了主题演讲「Scaling PyTorch Model Training With Minimal Code Changes」。
工业视觉、自动驾驶、安防、新零售等我们身边熟知的各行各业都需要目标检测技术，由于其很好的平衡了标注成本、检测精度和速度等，成为当前智能制造产业升级浪潮中被商业化应用最为广泛的AI技术之一。
近年来，深度学习已经成功应用到多种问题中。迁移学习在计算机视觉问题上的成功运用使得许多应用成为可能：VGG[6] 和 ResNets [7] 等大型 CNN 在 ImageNet 等大型图像数据集上进行预训练 [8,9] 然后在计算机视觉任务中作为骨干网络架构。这些模型可以为新任务提取有用的特征，而无需在执行每个任务时都从头开始训练 [2], [10]–[12]。
卷积网络版的network slimming在ICCV 2017上被提出，作为神经网络剪枝领域代表性的工作之一，目前已被引用超过1400次，五年之后的CVPR 2022，原作者团队跟Meta、印度理工等单位联合打造了ViT版的slimming，据悉该工作得到了四个审稿人一致推荐接收！ 论文：https://arxiv.org/pdf/2201.00814.pdf 代码：https://github.com/Arnav0400/ViT-Slim 是什么原因让network slimming的ViT版本收到了
新智元编译 来源：arxiv 编辑：闻菲、克雷格 【新智元导读】今天，ArXiv上公布了深度森林系列最新的第三弹——可做表示学习的多层GBDT，冯霁、俞扬和周志华提出了一种新颖的具有显式表示学习能
GitHub 地址：https://github.com/rasbt/cvpr2023
机器之心专栏 机器之心编辑部 时隔 5 年，network slimming 原作者团队打造出了 ViT 版的 slimming，入选 CVPR 2022。 卷积网络版的 network slimming 在 ICCV 2017 上被提出，作为神经网络剪枝领域代表性的工作之一，目前已被引用超过 1400 次，五年之后的 CVPR 2022，原作者团队跟 Meta、印度理工学院等机构的研究者联合打造了 ViT 版的 slimming，据悉该工作得到了四个审稿人一致推荐接收！ 论文地址：https://arx
现在目标检测器很少能同时实现训练时间短，推理速度快，精度高。为了达到平衡，作者就提出了Train-Friendly Network(TTFNet)。作者从light-head, single-stage, and anchor-free设计开始，这使得推理速度更快。然后作者重点缩短训练时间。
【GiantPandaCV导语】调研分类方法的时候师姐推荐的一篇paper，其核心是训练的时候使用小分辨率，测试的时候使用大分辨率（训练分辨率的1.15倍），能够有效提升验证精度。
春节后第一个休息日，量子位给大家准备了一个不一样的故事。 在这个故事里，主人公David Brailovsky（就叫阿D吧）参加了一场计算机视觉比赛。这个挑战赛要求基于卷积神经网络(CNN)，做出一个识别红绿灯的人工智能应用模型。 于是阿D花了10周的时间，从0开始，一点一滴摸索着，搭建、调试、训练和一个深度学习系统。而且还在最后的比赛中一举夺魁，赢了5000美元。 主人公把这个有点逆袭的过程，原原本本的写了下来。量子位也希望对人工智能感兴趣的朋友仔细看一看。不用担心，并不是AI专家才能理解这篇文章。
LLM的问题就是权重参数太大，无法在我们本地消费级GPU上进行调试，所以我们将介绍3种在训练过程中减少内存消耗，节省大量时间的方法:梯度检查点，LoRA和量化。
“10b”、“13b”、“70b” 等术语通常指的是大型神经网络模型的参数数量。其中的 “b” 代表 “billion”，也就是十亿。表示模型中的参数量，每个参数用来存储模型的权重和偏差等信息。例如：
卷积神经网络(CNNs)已经在许多计算机视觉任务的应用成功，包括图像分类、目标检测、语义分割等。精度和模型效率之间的权衡也已被广泛讨论。
深度学习模型如何缩小到可以放到微处理器呢?作为炼丹师,模型变的越来越复杂,模型大小也不断增加.在工业场景下光训练数据就有几百T,训练就要多机多卡并行跑数天.到底如何把这些模型部署在小型嵌入式设备的呢?
4分钟训练ImageNet！腾讯机智创造AI训练世界纪录 by 腾讯机智团队 注：腾讯机智机器学习平台由TEG架构平台部和运营管理部团队携手，并和中国香港浸会大学计算机科学系褚晓文教授团队深度合作联袂打造。 为了让大家可以更好的理解「如何4分钟训练ImageNet」，腾讯技术工程公众号特别邀请腾讯机智团队的工程师通过语音录播分享的方式在「腾讯技术课」里同步录制了语音+PPT解说版。 背景 2018年6月25日，OpenAI在其Dota2 5v5中取得一定成绩后介绍，其在训练中batch
【新智元导读】腾讯机智机器学习平台和香港浸会大学计算机科学系褚晓文教授团队合作，在ImageNet数据集上，4分钟训练好AlexNet，6.6分钟训练好ResNet-50，创造了AI训练世界新纪录。本文带来详细解读。
注：腾讯机智机器学习平台由TEG架构平台部和运营管理部团队携手，并和香港浸会大学计算机科学系褚晓文教授团队深度合作联袂打造。本文转载自腾讯技术工程公众号
2018年6月25日，OpenAI在其Dota2 5v5中取得一定成绩后介绍，其在训练中batch size取100W，而1v1的训练batch size更是达到800W；训练时间则是以周计。腾讯内部对游戏AI一直非常重视，也面临大batch size收敛精度和低训练速度慢的问题；目前batch size超过10K则收敛不到基准精度，训练时间以天计，这对于快速迭代模型来说是远远不够的。
随着端侧算力日益增长，以及模型小型化方案日趋成熟，使得高精度的深度学习模型在移动端、嵌入式等终端设备上流畅运行成为可能。
随着端侧算力日益增长，以及模型小型化方案日趋成熟，使得高精度的深度学习模型在移动端、嵌入式等终端设备上流畅运行成为可能。然而将深度学习融合到终端设备上依旧面临平衡复杂神经网络结构的精度和设备性能约束的挑战，往往需要模型开发者在深入理解模型结构的基础上，各种调参并进行细致全面的优化才能达到理想的效果。
机器之心专栏 机器之心编辑部 今天跟大家分享一篇来自CMU等机构的论文《Sliced Recursive Transformer》，该论文已被 ECCV 2022 接收。 目前 vision transformer 在不同视觉任务上如分类、检测等都展示出了强大的性能，但是其巨大的参数量和计算量阻碍了该模型进一步在实际场景中的应用。基于这个考虑，本文重点研究了如何在不增加额外参数量的前提下把模型的表达能力挖掘到极致，同时还要保证模型计算量在合理范围内，从而可以在一些存储容量小，计算能力弱的嵌入式设备上部署。
近年来，大型语言模型（LLMs）在自然语言处理领域取得了显著的进展，如GPT-series(GPT-3, GPT-4)、Google-series(Gemini, PaLM), Meta-series(LLAMA1&2), BLOOM, GLM等模型在各种任务中展现出惊人的能力。然而，随着模型规模的不断增大和参数数量的剧增，这些模型的成功往往伴随着巨大的计算和存储资源消耗，给其训练和推理带来了巨大挑战，也在很大程度上限制了它们的广泛应用。因此，研究如何提高LLMs的效率和资源利用，使其在保持高性能的同时降低资源需求，成为了当前领域的热点问题。
点击上方↑↑↑“OpenCV学堂”关注我来源：公众号 机器之心 授权 今天跟大家分享一篇来自CMU等机构的论文《Sliced Recursive Transformer》，该论文已被 ECCV 2022 接收。 目前 vision transformer 在不同视觉任务上如分类、检测等都展示出了强大的性能，但是其巨大的参数量和计算量阻碍了该模型进一步在实际场景中的应用。基于这个考虑，本文重点研究了如何在不增加额外参数量的前提下把模型的表达能力挖掘到极致，同时还要保证模型计算量在合理范围内，从而可以在一些存储
深度学习(deep learning)已经广泛应用于各个领域，解决各类问题，例如在图像分类问题下，如图1，区分这10类目标的准确率目前可以轻松做到94%。然而，deep learning是一种data hungry的技术，需要大量的标注样本才能发挥作用。
网络训练速度的提升对神经网络的发展至关重要。过去的研究着重于如何在 GPU 和更专业的硬件设备上进行矩阵和张量的相关运算，从而代替 CPU 进行网络训练。GPU 和TPU 等相关专业计算硬件的通用性不像 CPU 那么广泛，但是由于特殊的设计和计算单元构造，能够在一些专门的任务中具有大幅超越 CPU 的表现。
这剂解药就是VisualDL 2.0——飞桨可视化分析工具全面改版升级，帮众位开发者们从 「炼丹萌新」 变身「太上老君」。
以机器自动设计网络结构为目标的神经网络搜索（NAS，Neural Architecture Search）有望为机器学习带来一场新的革命。
深度学习在广泛应用于目标检测、分类等计算机视觉任务中。但这些应用往往需要很大的计算量和能耗。例如处理一张图片分类，VGG-16需要做 150亿次计算，而YOLOv3需要执行390亿次计算。
自从Bert网络模型产数量超过3亿规模，当时候只是觉得性能好，没想到GPT系列出来后，GPT-3直接用170B规模的参数量模型精度碾压竞品。
摘要：最近的研究，如BitNet，正在为1位大型语言模型（LLM）的新时代铺平道路。在这项工作中，我们引入了一个1位LLM变体，即BitNet b1.58，其中LLM的每个单个参数（或权重）都是三进制{-1，0，1}。它匹配全精度（即，FP 16或BF 16）Transformer LLM在困惑度和最终任务性能方面具有相同的模型大小和训练令牌，同时在延迟、内存、吞吐量和能耗方面具有更高的成本效益。更重要的是，1.58位LLM定义了一个新的缩放定律和配方，用于训练新一代的LLM，这些LLM既具有高性能又具有成本效益。此外，它实现了一种新的计算范式，并为设计针对1位LLM优化的特定硬件打开了大门。https://arxiv.org/abs/2402.17764
为此本章将从构建验证集、模型训练和验证、模型保存与加载和模型调参几个部分讲解，在部分小节中将会结合Pytorch代码进行讲解。
非结构化稀疏是一种常见的模型压缩策略。本文中，我们将分享一套基于飞桨（PaddlePaddle） 的非结构化稀疏训练和推理的端到端系统，以及为保证训练精度与推理速度而做的优化策略。移动端实测 MobileNetV1，稀疏度 80%，精度损失小于 1%，FP32 和 INT8 模型推理加速 70% 和 60%；稀疏度 90%，精度损失 2.7%，FP32 和 INT8 加速 178% 和 132%。
工地扬尘智能监测系统算法模型通过yolov7网络算法模型技术，工地扬尘智能监测系统算法模型利用AI视频智能分析技术，并将数据传输到数据中心进行分析。工地扬尘智能监测系统算法模型之所以选择YOLOv7，是因为YOLOv7 的发展方向与当前主流的实时目标检测器不同，研究团队希望它能够同时支持移动 GPU 和从边缘到云端的 GPU 设备。除了架构优化之外，该研究提出的方法还专注于训练过程的优化，将重点放在了一些优化模块和优化方法上。这可能会增加训练成本以提高目标检测的准确性，但不会增加推理成本。研究者将提出的模块和优化方法称为可训练的「bag-of-freebies」。
春天来了，经过一个冬天的“窖藏”，按耐不住的小伙伴纷纷行动了起来，踏一踏满园的春色，赶一趟娇艳的花丛。
随着生活节奏的加快，「等待」已经越来越成为人们希望远离的事情。但是在深度学习领域，模型的参数、数据集的规模等等动辄就是以亿为单位，甚至更大，因此当模型训练成功之时，放一首张靓颖的「终于等到你」作为背景音乐实在是太应景了。
---- 新智元报道 来源：专知 【新智元导读】这篇《大规模深度学习模型高效训练研究》综述对训练加速的一般技术进行了详细的回顾。通用加速技术发展的未来工作进行了分析和讨论，启发研究人员重新思考和设计新的范式。 近年来，深度学习领域取得了重大进展，特别是在计算机视觉(CV)、自然语言处理(NLP)和语音等领域。 在大量数据上训练的大规模模型的使用在实际应用、提高工业生产力和促进社会发展方面具有巨大的前景。然而，它的训练过程极不稳定，对计算资源的要求非常严格。 随着计算能力适应性需求的不断提高，大量研
深度学习发展势头迅猛，但近两年涌现的诸多深度学习框架让初学者无所适从。如 Google 的 TensorFlow、亚马逊的 MXNet、Facebook 支持的 PyTorch、Theano、Caffe、CNTK、Chainer、百度的 PaddlePaddle、DSSTNE、DyNet、BigDL、Neon 等等。
在本文中，我将描述并展示4种不同的Pytorch训练技巧的代码，这些技巧是我个人发现的，用于改进我的深度学习模型的训练。
最近，清华朱军团队提出了一种使用INT4算法实现所有矩阵乘法的Transformer训练方法。
PyTorch 1.6 nightly增加了一个子模块 amp ，支持自动混合精度训练。值得期待。来看看性能如何，相比Nvidia Apex 有哪些优势？
目前深度学习模型能处理许多不同类型的问题，对于一些教程或框架用图像分类举例是一种流行的做法，常常作为类似“hello, world” 那样的引例。FastAI 是一个构建在 PyTorch 之上的高级库，用这个库进行图像分类非常容易，其中有一个仅用四行代码就可训练精准模型的例子。随着v1版的发布，该版本中带有一个data_block的API，它允许用户灵活地简化数据加载过程。今年夏天我参加了Kaggle举办的Freesound General-Purpose Audio Tagging 竞赛，后来我决定调整其中一些代码，利用fastai的便利做音频分类。本文将简要介绍如何用Python处理音频文件，然后给出创建频谱图像(spectrogram images)的一些背景知识，示范一下如何在事先不生成图像的情况下使用预训练图像模型。
作者：Tong He、Zhi Zhang、Hang Zhang、Zhongyue Zhang、Junyuan Xie、Mu Li
领取专属 10元无门槛券
手把手带您无忧上云
