【导读】近日，机器学习工程师Tarang Shah发布一篇文章，探讨了机器学习中模型的度量指标的相关问题。本文首先介绍了机器学习中两个比较直观和常用的度量指标：精确度和召回率，然后详细讲解了目标检测领
为此本章将从构建验证集、模型训练和验证、模型保存与加载和模型调参几个部分讲解，在部分小节中将会结合Pytorch代码进行讲解。
使用机器学习方法，可以从个体的脑功能连通性中以适度的准确性预测认知表现。然而，到目前为止，预测模型对支持认知的神经生物学过程的洞察有限。为此，特征选择和特征权重估计需要是可靠的，以确保具有高预测效用的重要连接和环路能够可靠地识别出来。我们全面研究了基于健康年轻人静息状态功能连接网络构建的认知性能各种预测模型的特征权重-重测可靠性(n=400)。尽管实现了适度的预测精度(r=0.2-0.4)，我们发现所有预测模型的特征权重可靠性普遍较差(ICC＜0.3)，显著低于性别等显性生物学属性的预测模型(ICC≈0.5)。较大的样本量(n=800)、Haufe变换、非稀疏特征选择/正则化和较小的特征空间略微提高了可靠性(ICC＜0.4)。我们阐明了特征权重可靠性和预测精度之间的权衡，并发现单变量统计数据比预测模型的特征权重稍微更可靠。最后，我们表明，交叉验证折叠之间的特征权重度量一致性提供了夸大的特征权重可靠性估计。因此，如果可能的话，我们建议在样本外估计可靠性。我们认为，将焦点从预测准确性重新平衡到模型可靠性，可能有助于用机器学习方法对认知的机械性理解。
在过去两年中，深度学习的速度加速了 30 倍。但是人们还是对 “快速执行机器学习算法” 有着强烈的需求。
在分类任务中，我们可以用混淆矩阵来判断模型的性能，混淆矩阵记录了A类被分为B类的次数，以下是一个动物识别任务的混淆矩阵，要知道cat被预测成了几次dog，那么就查看混淆矩阵的第1行第2列
Large mini-batch 分布式深度学习是满足需求的关键技术。但是由于难以在不影响准确性的情况下在大型集群上实现高可扩展性，因此具有较大的挑战难度。
今天开始学习进阶的知识，有兴趣的您请继续阅读和学习： 深度学习之高手进阶 我们在进行深度学习的时候一般会按照这4个步骤进行。 获取数据 很大程度上，数据的多少决定模型所能达到的精度。再好的模
深度学习在广泛应用于目标检测、分类等计算机视觉任务中。但这些应用往往需要很大的计算量和能耗。例如处理一张图片分类，VGG-16需要做 150亿次计算，而YOLOv3需要执行390亿次计算。
【GiantPandaCV导语】调研分类方法的时候师姐推荐的一篇paper，其核心是训练的时候使用小分辨率，测试的时候使用大分辨率（训练分辨率的1.15倍），能够有效提升验证精度。
原文：Medium 作者：Shiyu Mou 来源：机器人圈 本文长度为4600字，建议阅读6分钟 本文为你介绍图像分类的5种技术，总结并归纳算法、实现方式，并进行实验验证。 图像分类问题就是从固定的一组分类中，给输入图像分配标签的任务。这是计算机视觉的核心问题之一，尽管它看似简单，却在实际生活中有着各种各样的应用。 传统方式：功能描述和检测。 也许这种方法对于一些样本任务来说是比较好用的，但实际情况却要复杂得多。 因此，我们将使用机器学习来为每个类别提供许多示例，然后开发学习算法来查看这些示例
Vision Transformers(ViTs)和MLPs标志着在用通用神经架构替换手动特征或归纳偏置方面的进一步努力。现有工作通过大量数据为模型赋能，例如大规模预训练和/或重复的强数据增广，并且还报告了与优化相关的问题（例如，对初始化和学习率的敏感性）。
关键词：训练集（train set）、验证集（valid set）、测试集（test set） 。
本文介绍 CVPR 2021 接收的目标检测论文 You Only Look One-level Feature。
内容一览：人脸识别可以锁定人类身份，这一技术延申到鲸类，便有了「背鳍识别」。「背鳍识别」是利用图像识别技术，通过背鳍识别鲸类物种。传统的图像识别依赖于卷积神经网络 (CNN) 模型，需要大量训练图像，并且只能识别某些单物种。近期，夏威夷大学的研究人员训练了一种多物种图像识别模型，该模型在鲸类应用中表现出色。
在图像分类任务中，图像数据的增广是一种常用的正则化方法，主要用于增加训练数据集，让数据集尽可能的多样化，使得训练的模型具有更强的泛化能力，常用于数据量不足或者模型参数较多的场景。除了 ImageNet 分类任务标准数据增广方法外，还有8种数据增广方式非常常用，这里对其进行简单的介绍和对比，大家也可以将这些增广方法应用到自己的任务中，以获得模型精度的提升。这8种数据增广方式在ImageNet上的精度指标如 图1 所示。
航空图像中的目标检测是一个具有挑战性且有趣的问题。随着无人机成本的降低，航空影像数据量的激增，拥有能够从航空数据中提取有价值的信息的模型将非常有用。
在探索mnist数据集过程中，学习率的不同，对我们的实验结果，各种参数数值的改变有何变化，有何不同。
在机器学习领域，对于大多数常见问题，通常会有多个模型可供选择。当然，每个模型会有自己的特性，并会受到不同因素的影响而表现不同。
春节后第一个休息日，量子位给大家准备了一个不一样的故事。 在这个故事里，主人公David Brailovsky（就叫阿D吧）参加了一场计算机视觉比赛。这个挑战赛要求基于卷积神经网络(CNN)，做出一个识别红绿灯的人工智能应用模型。 于是阿D花了10周的时间，从0开始，一点一滴摸索着，搭建、调试、训练和一个深度学习系统。而且还在最后的比赛中一举夺魁，赢了5000美元。 主人公把这个有点逆袭的过程，原原本本的写了下来。量子位也希望对人工智能感兴趣的朋友仔细看一看。不用担心，并不是AI专家才能理解这篇文章。
【GiantPandaCV导语】本文介绍了一篇发表于NeuIPS20发表的半监督神经网络结构搜索算法，通过在训练预测器的过程中引入半监督算法，一定程度上提升了预测器的准确率。
作者：布奇·昆托（Butch Quinto） 来源：大数据DT（ID：hzdashuju） 有监督学习 有监督学习是利用训练数据集进行预测的机器学习任务。有监督学习可以分为分类和回归。回归用于预测“价格”“温度”或“距离”等连续值，而分类用于预测“是”或“否”、“垃圾邮件”或“非垃圾邮件”、“恶性”或“良性”等类别。 分类包含三种类型的分类任务：二元分类、多类别分类和多标签分类。回归中包含线性回归和生存回归。 无监督学习 无监督学习是一种机器学习任务，它在不需要标记响应的情况下发现数据集中隐藏
正则化技术对于防止模型过度拟合至关重要，并能使它们在验证和测试集上表现更好。本指南提供了可用于TensorFlow中正则化的四种关键方法的代码的全面概述。
2018 IEEE International Conference on Cluster Computing
前段时间我们支持了 YOLOX，在复现中多亏了 5 位社区用户的积极参与，使其有望在短时间发布，在此再次表示感谢！
该数据集包含6个常见天气类别的60000张图像，这些类别包括晴天，多云，下雨，下雪，薄雾和雷雨天气。
研究人员在本研究中，通过对非人类灵长类动物的皮质内信号解码手指连续运动，将RNN与其他神经网络结构进行了实时比较。下面是实验过程。
来源：Deephub Imba本文约2000字，建议阅读5分钟本文为你介绍了如批量大小在机器学习中的重要性。 批大小是机器学习中重要的超参数之一。这个超参数定义了在更新内部模型参数之前要处理的样本数量。 上图为使用 SGD 测试不同批量大小的示例。 批量大小可以决定许多基于深度学习的神经网络的性能。有很多研究都在为学习过程评估最佳批量大小。例如，对于 SGD可以使用批量梯度下降（使用批量中的所有训练样本）或小批量（使用一部分训练数据），甚至在每个样本后更新（随机梯度下降）。这些不同的处理方式可以改变模型训
1）内存利用率提高了，大矩阵乘法的并行化效率提高。 2）跑完一次 epoch（全数据集）所需的迭代次数减少，对于相同数据量的处理速度进一步加快。 3）在一定范围内，一般来说 Batch_Size 越大，其确定的下降方向越准，引起训练震荡越小。 随着 Batch_Size 增大，处理相同数据量的速度越快。 随着 Batch_Size 增大，达到相同精度所需要的 epoch 数量越来越多。” 由于最终收敛精度会陷入不同的局部极值，因此 Batch_Size 增大到某些时候，达到最终收敛精度上的最优。
FastViT 是苹果公司在 ICCV 2023上发表的网络结构设计的论文，在速度和精度上取得比较好的折衷，速度上既能和MobileOne这种轻量级网络匹敌，精度上也不输PoolFormer、ConvNeXt等比较新的大网络结构。
翻译 | 张建军 出品 | 人工智能头条（公众号ID：AI_Thinker） 在机器学习领域，对于大多数常见问题，通常会有多个模型可供选择。当然，每个模型会有自己的特性，并会受到不同因素的影响而表现不同。 每个模型的好坏是通过评价它在某个数据集上的性能来判断的，这个数据集通常被叫做“验证/测试”数据集。这个性能由不同的统计量来度量，包括准确率（ accuracy ）、精确率（ precision ）、召回率（ recall ）等等。选择我们会根据某个特定的应用场景来选择相应的统计量。而对每个应用来说，找到
本文介绍我们在ICCV 2021 LVIS Challenge Workshop上的冠军解决方案。
研究人员构建了一个城市规模的摄影测量点云数据集，并通过大量实验，指出了大规模三维点云语义理解中面临的问题，包括如何对大规模点云进行采样和分区，是否需要使用RGB颜色信息，类别分布不均衡以及泛化性能等。
图像分类、目标检测、图像分割等各类视觉技术都离不开骨干网络（backbone），一个强有力的骨干网络可以为模型带来更高的效率及精度，所以它的设计一直都是业界研究者关注的重点方向。
如今训练神经网络最常见的方法是使用梯度下降或 Adam 等变种。梯度下降是寻找函数极小值的迭代优化算法。简单的说，在最优化问题中，我们对某个度量 P 感兴趣，想找到一个在某些数据（或分布）D上最大化（或最小化）该度量的函数（或函数的参数）。这听起来就像是机器学习或深度学习。我们有一些指标，例如准确率，甚至更好的精度/召回率或F1值；有一个带有可学习参数的模型（我们的网络）；还有数据（训练和测试集）。使用梯度下降，我们将“搜索”或“优化”模型的参数，从而最终使训练和测试集上的数据指标（准确率）最大化。
最近，Jeff Leek 在 Simply Stats 上发表了一篇题为「如果你的数据量不够大就不要使用深度学习」（Don’t use deep learning your data isn’t that big）的文章（链接见文末），认为只有获得了谷歌、Facebook 这样规模的数据才有资格做深度学习。对于这点 Andrew L. Beam（本文作者）并不反对，他认为这使我们清楚地意识到深度学习并不是一种万能的灵药；但是，虽然 Beam 同意其核心观点，但是其还有很多不明确或不清晰的地方，并且 Be
本节描述了应用机器学习技术时的一些常见缺陷。这个部分的想法是让你意识到这些陷阱，并帮助你不要走进这些坑。
最近，基于Transformers的模型在图像分类和检测等视觉任务中显示出了巨大的潜力。 然而，变压器网络的设计是具有挑战性的。 已经观察到，深度、嵌入尺寸和头部的数量在很大程度上影响视觉变形器的性能。 以前的模型基于手工手工配置这些维度。 在这项工作中，我们提出了一个新的一次性架构搜索框架，即AutoFormer，专门用于视觉Transformers搜索。 在超网训练期间，自动前缠绕不同块的重量在同一层。 受益于该战略，训练有素的超级网络允许数千个子网得到非常好的训练。 具体来说，这些继承自超级网络权重的子网的性能与那些从头开始重新训练的子网相当。 此外，搜索模型，我们参考的AutoFormers，超过了最近的先进水平，如ViT和DeiT。 特别是AutoFormer-tiny/small/base在ImageNet上实现了74.7%/81.7%/82.4%的top-1精度，分别为5.7M/22.9M/53.7M参数。 最后，我们通过提供下游基准和蒸馏实验的性能来验证自动成形机的可移植性。
过拟合就是训练出来的模型在训练集上表现很好，但是在测试集上表现较差的一种现象！下图给出例子：
原标题 | Building a Vocal Emotion Sensor with Deep Learning
场景：一旦我们使用Python DataFrame Merge()方法连接两个数据集，我们可能会看到空值或占位符字符串（如NaN）表示该数字为空。
在中小型网络架构上，ViT的性能仍低于CNN，特别是与经过神经架构搜索(NAS)高度优化的CNN架构，如AlphaNet, FBNetV3等相比。
糖尿病视网膜病变是导致失明的主要原因之一，影响约 78% 的人，糖尿病病史为 15 年或更长时间。DR 经常导致脉管系统结构的逐渐变化并导致异常。DR 是通过目视检查视网膜眼底图像是否存在视网膜病变来诊断的，例如微动脉瘤 (MA)、视网膜内微血管异常 (IRMA)、非灌注区和新生血管。这些病变的检测对于 DR 的诊断至关重要。 已经有一些工作使用眼底图像进行 DR 诊断 。随着越来越受欢迎，OCT 血管造影 (OCTA) 能够在微血管水平上非常详细地显示视网膜和脉络膜血管系统 。特别地，扫描源 (SS)-OCTA 还允许对脉络膜脉管系统进行单独评估。已经有一些工作使用 SS-OCTA 对糖尿病视网膜病变的定性特征进行分级。此外，超宽光学相干断层扫描血管造影成像 (UW-OCTA) 模式显示典型 OCTA 未捕获的视网膜周边病理负担较高。一些作品已经在 DR 分析中使用了 UW-OCTA 。传统的DR分级诊断主要依靠眼底照相和FFA，尤其是PDR，严重危害视力健康。FA主要用于检测有无新生血管。眼底摄影很难发现早期或小的新生血管病变。FA 是一种侵入性眼底成像，不能用于过敏、怀孕或肝肾功能不佳的患者。超宽OCTA可以无创检测DR新生血管的变化，是帮助眼科医生诊断PDR的重要成像方式。但是，目前还没有能够使用 UW-OCTA 进行自动 DR 分析的作品。在DR分析过程中，首先需要对UW-OCTA的图像质量进行评估，选择成像质量较好的图像。然后进行DR分析，例如病变分割和PDR检测。因此，构建灵活、鲁棒的模型以实现图像质量自动评估、病灶分割和 PDR 检测至关重要。为了促进机器学习和深度学习算法在UW-OCTA图像自动图像质量评估、病灶分割和PDR检测中的应用，促进相应技术在DR临床诊断中的应用，提供了一个标准化的超宽（扫描源）光学相干断层扫描血管造影（UW-OCTA）数据集，用于测试各种算法的有效性。有了这个数据集，不同的算法可以测试它们的性能并与其他算法进行公平的比较，并促进相应技术在DR临床诊断中的应用，提供标准化的超宽（扫描源）光学相干断层扫描血管造影（UW-OCTA）数据集，用于测试各种算法的有效性。
秘密研发3年，DeepMind去年宣称，首次成功用AI控制「托卡马克」内部等离子体。其重磅成果登上Nature。
AI科技评论按：本文原作者忆臻，原载于作者的知乎专栏。 今天郭江师兄在实验室讲解了全体机器学习会第一章的知识，大家讨论了一下过拟合的知识，这里我根据自己的理解，整理了一下原因，力求同最通俗的语言来描述
今天郭江师兄在实验室讲解了全体机器学习会第一章的知识，大家讨论了一下过拟合的知识，这里我根据自己的理解，整理了一下原因，力求同最通俗的语言来描述，可能不是太严谨，但是总体思想能保证正确！ 一、过拟
简单安装几个R软件包，你就直接在自己电脑上打造出一个文本分类器，用进行机器来评估人类写作。 本文是一篇极简的上手教程，它想用清晰明了的步骤告诉读者，机器学习不神秘，关键是动手！仅需七步，你也一样能“作诗”，完全无需像曹子建那样“才高八斗”。 作者 | Fedor Karmanov 翻译 | AI科技大本营（rgznai100） 参与 | Joe，波波 在本教程中，我们将用到大量的R软件包，以快速实现一个用于亚马逊评论数据的分类器算法。该分类器能以极高的准确度来判断一个评论是正面的还是负面的。 为了明确
今天学习的是 Google 2019 年的工作《Cluster-GCN: An Efficient Algorithm for Training Deep and Large Graph Convolutional Networks》，发表于 KDD 2019。
AlphaFold是一个预测蛋白质三维空间结构的深度学习模型。据开发者介绍，用户只需要给出蛋白质序列，这个模型能给出“原子精度”（Atomic accuracy）级别的预测。模型刚刚开源不久，一些数据库、安装包在境外服务器，不容易安装。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
