机器之心报道 机器之心编辑部 鉴于语言模型预训练成本巨大，因而研究者一直在寻找减少训练时间和成本的新方向。Adam 及其变体多年来一直被奉为最先进的优化器，但其会产生过多的开销。本文提出了一种简单的可扩展的二阶优化器 Sophia，在与 Adam 比较中，Sophia 在减少了 50% step 数量的情况下实现了与 Adam 相同的验证预训练损失。 大语言模型（LLM）的能力随着其规模的增长而取得了显著的进展。然而，由于庞大的数据集和模型规模，预训练 LLM 非常耗时，需要进行数十万次的模型参数更新。例如
在训练数据的时候，可能会发现模型的效果不是很好，于是就需要对模型进行调整，一般有以下几种方式：
身份认证旨在确认样本和人的身份之间的从属关系。典型的身份认证包含人脸识别(face recognition)、行人重识别(personre-identification)，基于移动设备的身份验证。
特征选择是指从所有可用的特征中选择最相关和最有用的特征，以用于模型的训练和预测。而特征工程则涉及对原始数据进行预处理和转换，以便更好地适应模型的需求，包括特征缩放、特征变换、特征衍生等操作。
本文图片皆引自吴恩达机器学习教学视频，是对视频内容的提炼和总结，本文内容适合正在入门的初学者。
在机器学习中，模型评估是指对训练好的模型进行性能评估的过程。评估模型的性能是为了确定模型在解决特定问题或任务上的效果如何。是机器学习流程中至关重要的一步，它可以帮助我们了解模型的优劣，并做出进一步的改进或决策。
种族偏见是生物特征识别中的一个重要问题，但在人脸识别领域还没有得到深入的研究。在这篇论文中，我们首先提供了一个名为“自然环境下的多种族人脸”（RFW）的数据库。利用该数据库，我们验证了四个商业API和四个当前最先进算法都存在种族偏见。然后，我们进一步提出利用深度无监督域自适应算法来解决种族偏差，并提出了一个深度信息最大化自适应网络（IMAN）。在算法中，我们以白种人作为源域，其他种族作为目标域来缓解这种偏差。这种无监督的方法一方面在域层面减小源域和目标域的全局分布，另一方面在类别层面学习有区分性的目标域特征。此外，我们还提出了一种新的互信息损失，在没有标签的情况下，进一步提高了网络输出的鉴别性。通过在RFW、GBU和IJB-A数据库上进行的大量实验表明，IMAN学习到的特征在不同种族和不同数据库上有很好的泛化性。
知识点： 准确率（Accuracy）,精确率（Precision）,召回率（Recall）,均方根误差（RMSE）
文末GitHub链接提供了生成以下图片所需的数据集和源代码。本文的所有内容都可以在具有1G内存GPU的笔记本电脑上复现。
文章从模型评估的基本概念开始，分别介绍了常见的分类模型的评估指标和回归模型的评估指标以及这些指标的局限性。部分知识点举例加以阐述，以便加深理解。思维导图如下： 1 基本概念 模型评估用来评测模型的
Batch_size(批尺寸)首先决定的是下降的方向，是机器学习中一个重要参数，所以本文主要探索不同的batch_size对精度和损失的影响。
损失函数是在机器学习和优化算法中使用的一种衡量模型预测结果与真实值之间差异的函数。其目标是最小化模型的预测误差，从而提高模型的性能。
1. 人类学习 在一次自然测验前，王老师给同学们讲了 10 道不同风格的训练题。舒岱梓同学死记硬背的学，基本上是死记每道题的细节和解题步骤；肖春丹同学心不在焉的学，老师讲的时候他一直在分心；甄薛申同学举一反三的学，主要学习老师讲的解题思路和方法。讲完题后老师开始发卷子测验，里面有 10 道测验题。舒岱梓同学把训练题学的太过以至于测验题稍微变动一点就做不好了，典型的应试教育派；肖春丹同学学习能力低下，训练题都学不好，测验题一样也做不好，典型的不学无术派；甄薛申同学学到了题里的普遍规律，发现所有题都是万变不离
Deepfakes 是一种合成视频，通过深度学习技术将原视频中的人脸进行替换，然后输出新的视频。
【磐创AI导读】：评估一个模型是建立一个有效的机器学习模型的核心部分，本文为大家介绍了一些机器学习模型评估指标，希望对大家有所帮助。想要获取更多的机器学习、深度学习资源，欢迎大家点击上方蓝字关注我们的公众号：磐创AI。
大部分深度学习算法都有许多超参数来控制不同方面的算法表现。有些超参数会影响算法运行的时间和存储成本，有些超参数会影响学习到的模型质量以及在新输入上推断正确结果的能力。有两种选择超参数的基本方法，手动选择和自动选择。手动选择超参数需要了解超参数做了些什么，以及机器学习模型如何才能取得良好的范数。自动选择超参数算法大大减少了了解这些想法的需要，但它们往往需要更高的计算成本。
本章旨在帮助您开始使用神经网络解决实际问题。您将巩固从第二章和第三章中获得的知识，并将所学应用于三个新任务，涵盖神经网络的三种最常见用例 — 二元分类、多类分类和标量回归：
今天给大家介绍来自德国亚琛工业大学韩天宇团队发表在Nature Communications上的文章，文章为了提高病理学检测神经网络模型的鲁棒性，引入对抗训练方法到神经网络模型中，并且提出双批次正则化技术来进一步改进对抗训练方法。该工作在X-ray、CT和MRI图像数据集中进行了实验，实验结果表明提出的双批次正则化对抗训练方法可以获得较高的鲁棒性和准确性，并为预测结果提供了一定的可解释性。
6.2，验证曲线、学习曲线、ROC曲线、准确度、精确率、召回率、F1_Score
这篇论文探讨了在放大Transformer模型时遇到的一系列训练不稳定性问题，并提出了研究和预测这些不稳定性的方法。作者指出，尽管将Transformer模型扩展到更大的规模已经在从聊天模型到图像生成等多个领域取得了显著进展，但并非每一次训练尝试都会成功。在训练大型Transformer模型时，研究人员报告了一些不稳定性，这些不稳定性会减缓或破坏学习过程。
机器之心专栏 机器之心编辑部 本文介绍被机器学习顶级国际会议 AAAI 2023 接收的论文 《Improving Training and Inference of Face Recognition Models via Random Temperature Scaling》。论文创新性地从概率视角出发，对分类损失函数中的温度调节参数和分类不确定度的内在关系进行分析，揭示了分类损失函数的温度调节因子是服从 Gumbel 分布的不确定度变量的尺度系数。从而提出一个新的被叫做 RTS 的训练框架对特征抽取的可
LSTM 01：理解LSTM网络及训练方法 LSTM 02：如何为LSTM准备数据 LSTM 03：如何使用Keras编写LSTM LSTM 04：4种序列预测模型及Keras实现 LSTM 05：Keras实现多层LSTM进行序列预测 LSTM 06：Keras实现CNN-LSTM模型 LSTM 07：Keras实现Encoder-Decoder LSTM LSTM 08：超详细LSTM调参指南
①误差(error)：学习器的预测输出与样本的真实输出之间的差异 ②训练误差(training error)或经验误差(empirical error)：在训练集上的误差 ③测试误差(test error)：在测试集上的误差 ④泛化误差(generalization error)：学习器在所有新样本上的误差 ⑤过拟合(overfitting)：学习能力过于强大，把训练样本自身的一些特点当成所有潜在样本都会有的一般性质，导致泛化能力下降 ⑥欠拟合(underfitting)：学习能力太差，对训练样本的一般性质尚未学好 在过拟合问题中，训练误差很小，但测试误差很大；在欠拟合问题中，训练误差和测试误差都比较大。目前，欠拟合问题容易克服，如在决策树中扩展分支，在神经网络中增加训练轮数；但过拟合问题是机器学习面临的关键障碍。 ⑦模型选择：在理想状态下，选择泛化误差最小的学习器。
最后，我们观察到一个简单的策略：只有在没有机会爆破的情况下才拿牌，这大大提高了我们获胜的几率，因为它将爆破的风险完全转移到了赌场。
原文标题：Teaching A Neural Net To Play Blackjack
构建机器学习模型的想法应基于建设性的反馈原则。你可以构建模型，从指标得到反馈，不断改进，直到达到理想的准确度。评估指标能体现模型的运转情况。评估指标的一个重要作用在于能够区分众多模型的结果。
源 | AI科技大本营 互联网公司每天都面临着处理大规模机器学习应用程序的问题，因此我们需要一个可以处理这种超大规模的日常任务的分布式系统。最近，以集成树为构建模块的深度森林（Deep Forest）算法被提出，并在各个领域取得了极具竞争力的效果。然而，这种算法的性能还未在超大规模的任务中得到测试。近日，基于蚂蚁金服的参数服务器系统“鲲鹏”及其人工智能平台“PAI”，蚂蚁金服和南京大学周志华教授的研究团队合作开发了一种分布式的深度森林算法，同时提供了一个易于使用的图形用户界面（GUI）。 为了满足现实世界
内容一览：在被不锈钢包围的世界中，我们可能都快忘记了腐蚀的存在。然而，腐蚀存在于生活中的方方面面。无论是锈迹斑斑的钢钉，老化漏液的电线，还是失去光泽的汽车，这一切的发生都与腐蚀有关。据统计，全世界每年由金属腐蚀带来的经济损失超过 2.5 万亿美元，远超过其他自然灾害。其中，腐蚀在中国造成的经济损失约 3,949 亿美元，占中国 GDP 的 4.2%。正因为此，研究者们一直在探索抗蚀性能更好的合金或是金属保护膜。如今，在优化材料抗蚀性能的过程中，AI 派上了用场。
但是,现有的深度学习去噪方法存在一个关键问题——泛化能力差。大多数方法都是在高斯噪声上训练和测试的。当遇到训练过程中未见过的噪声时,这些方法的效果会急剧下降。因为深度网络很容易过拟合训练数据,普通的学习方式使得网络仅仅学会如何去除高斯噪声,未学会图像的内在结构。
最近的研究表明，局部描述符学习得益于L2归一化的使用，然而，文献中缺乏对这种效应的深入分析。在本文中，我们研究了L2归一化如何影响训练期间的反向传播描述符梯度。根据我们的观察，我们提出了一个新的局部描述符HyNet，它可以在匹配方面带来最先进的结果。HyNet引入了一种混合相似性度量，用于度量三态边际损失，一个正则化项约束描述符范数，以及一种新的网络体系结构，该体系结构对所有中间特征映射和输出描述符执行L2正则化。在包括补丁匹配、验证和检索在内的标准基准上，HyNet大大超过了以前的方法，并且在3D重建任务上优于完整的端到端方法。代码和模型可在https://github.com/yuruntian/HyNet上找到。
虽然两级检测器取得了巨大的成功，但是单级检测器仍然是一种更加简洁和高效的方法，在训练过程中存在着两种众所周知的不协调，即正、负样本之间以及简单例子和困难例子之间在数量上的巨大差异。在这项工作中，我们首先指出，这两个不和谐的本质影响可以用梯度的形式来概括。此外，我们提出了一种新的梯度协调机制(GHM)来对冲不协调。GHM背后的原理可以很容易地嵌入到交叉熵(CE)等分类损失函数和smooth l1 (SL1)等回归损失函数中。为此，我们设计了两种新的损失函数GHM-C和GHM-R来平衡梯度流，分别用于anchor分类和bounding box细化。MS COCO的消融研究表明，无需费力的超参数调整，GHM-C和GHM-R都可以为单级探测器带来实质性的改进。在没有任何附加条件的情况下，该模型在COCO test-dev set上实现了41.6 mAP，比目前最先进的Focal Loss(FL) + SL1方法高出0.8。
预训练模型能否在视觉任务上复刻在自然语言任务中的成功？华为诺亚方舟实验室联合北京大学、悉尼大学、鹏城实验室提出底层视觉 Transformer，使用 ImageNet 预训练，在多项视觉任务上达到 SOTA。
选自arXiv 作者：Xiang Li, Shuo Chen, Xiaolin Hu, Jian Yang 机器之心编译 参与：朱乾树、蒋思源 自批量归一化提出以来，Dropout 似乎就失去了用武之处，流行的深度架构也心照不宣地在批归一化上不采用 Dropout。而近日南京理工大学和清华大学的研究表明 Dropout 在网络测试的时候神经元会产生方差偏移，因而进一步分析与理解如何能避免方差偏移风险，并克服二者组合的局限性。 在批归一化提出之前，Dropout 几乎是所有的最优网络的标配，尽管很简单，但它成
针对场景文本检测任务，近期基于DEtection TRansformer (DETR) 框架预测控制点的研究工作较为活跃。在基于DETR的检测器中，query的构建方式至关重要，现有方法中较为粗糙的位置先验信息构建导致了较低的训练效率以及性能。除此之外，在如何监督模型方面，之前工作中使用的点标签形式影射了人的阅读顺序，本文观察到这实际上会降低检测器的鲁棒性。
【AI科技大本营导读】互联网公司每天都面临着处理大规模机器学习应用程序的问题，因此我们需要一个可以处理这种超大规模的日常任务的分布式系统。最近，以集成树为构建模块的深度森林（Deep Forest）算法被提出，并在各个领域取得了极具竞争力的效果。然而，这种算法的性能还未在超大规模的任务中得到测试。近日，基于蚂蚁金服的参数服务器系统“鲲鹏”及其人工智能平台“PAI”，蚂蚁金服和南京大学周志华教授的研究团队合作开发了一种分布式的深度森林算法，同时提供了一个易于使用的图形用户界面（GUI）。
在前一部分我们讨论了VP9到HEVC的帧间转码加速算法，在这一部分我们探讨帧内部分的转码加速算法。表1所示为HEVC和VP9在部分编码技术上的异同，我们可以发现相似点与不同点。对于帧内编码来说，一方面，无论是VP9还是HEVC，都仍然用四叉树的形式对编码块进行逐级划分，两者的划分方式是相似的；另一方面，从表中的帧内预测模式数目对比可以明显的发现，在帧内模式，尤其是方向模式上，VP9的方向数目较少，而HEVC的方向数目较多，这是两者比较明显的不同。我们正是从这两个方面出发对转码的帧内部分进行加速。 表1. H
在深度学习的学习过程中，模型性能对batchsize虽然没有学习率那么敏感，但是在进一步提升模型性能时，batch_size就会成为一个非常关键的参数。
(1) 误差：学习器的实际预测输出与样本的真实输出之间的差异；其中学习器在训练集上的误差称为”训练误差“（training error），在新样本上的误差称为”泛化误差“（generalization error）。值得一提的是，学习器就是在训练集上训练出来的，但实际上在回到训练集上对样本预测结果时，仍有误差。（即结果值与标记值不同）
它由节点层组成，其中每个节点连接到上一层的所有输出，每个节点的输出连接到下一层节点的所有输入。
神经网络在训练时的优化首先是对模型的当前状态进行误差估计，然后为了减少下一次评估的误差，需要使用一个能够表示错误函数对权重进行更新，这个函数被称为损失函数。
本文内容均来自吴恩达的《机器学习训练秘籍》，算是对其的概括以及自身对该书的理解感悟
在机器学习问题中，要求模型执行两个相互矛盾的任务：1. 最小化训练数据集上的预测误差 2. 最大化其对看不见的数据进行泛化的能力。根据模型，损失函数和评估方法的测试方式不同，模型可能最终会记住训练数据集（不良结果），而不是学数据的充分表示（预期结果）。这称为过拟合，通常会导致模型的泛化性能下降。过拟合可能会在各种模型上发生，尽管通常会在较复杂的模型上，例如随机森林，支持向量机和神经网络。 在模型训练期间，请在训练和验证集上观察训练指标，例如您的损失输出和r得分。比如，在训练神经网络时，您可以使用学习曲线在训练过程中跟踪每个周期的验证错误。理想情况下，随着模型的训练，验证和训练误差将会减少，您的训练误差将接近零，但这并不是我们关心的指标！您应该更密切注意验证集的错误。当您的验证错误再次增加而训练错误继续减少时，您可能会记住训练数据，从而过度拟合了数据。 过拟合可能会对模型的泛化能力产生不利的影响。也就是说，为新的和看不见的数据返回不合理的输出预测，从而使测试数据集的效果较差。如果您发现模型非常容易拟合训练数据，请考虑降低模型的复杂度或者使用正则化。
大型的 Transformer 往往可以在许多任务上实现 sota，但训练这些模型的成本很高，尤其是在序列较长的时候。在 ICLR 的入选论文中，我们发现了一篇由谷歌和伯克利研究者发表的优质论文。文章介绍了两种提高 Transformer 效率的技术，最终的 Reformer 模型和 Transformer 模型在性能上表现相似，并且在长序列中拥有更高的存储效率和更快的速度。论文最终获得了「8，8，6」的高分。
2008年的金融危机以惊人的方式向世界揭示了金融模型的脆弱性。自金融危机以来，有一 个词一再出现：模型风险（model risk）。
从最左上角开始看： Regression(回归):输出的目标是一个数值。如预测明天的PM2.5数值。 接下来是Classification(分类):该任务的目标是将数据归为某一类，如进行猫狗分类。 在分类任务中，将涉及线性和非线性的模型。其中，非线性的模型包含了Deep-Learning，SVM，决策树，K-NN等等。 结构化学习相对于回归或者分类来说，输出的是一个向量，结构化学习的输出可以是图像、语句、树结构等等。目前最火的的GAN就是一个典型的结构化学习样例。 回归、分类和结构化学习可以归为有监督任务，除此之外还有半监督任务以及无监督任务。 有监督模型对于模型的输入全部都是有标签的数据，半监督模型对于模型的输入，部分是有标签的数据，部分是没有标签的数据。无监督模型对于模型的输入全部都是没有标签的数据。 除此之外，因为手动对数据进行标注的代价很大，因此可以考虑将其他领域以及训练好的模型迁移到自己的任务中来，这叫做迁移学习。 目下，还有另外一个当下很火的技术叫做Reinforcement Learning(增强学习)。增强学习和监督学习的主要区别是：在有监督学习中，我们会对数据给出标签，然后拿模型得到的结果与结果进行对比，将结果进行一些处理之后用来优化模型。而在增强学习中，我们不会给模型正确的答案，取而代之的是我们会给模型一个分数，以此来表示模型结果的好坏程度。在增强学习中，模型并不知道为什么不好，只知道最终的结果评分。
来自Amazon，google，Meta, Microsoft等的面试问题，问题很多所以对问题进行了分类整理，本文包含基础知识和数据分析相关问题
由于没有一个成熟的理论来解释神经网络，所以配置神经网络通常是困难的，经常被同学们调侃为“炼丹”。
解决一个机器学习问题都是从问题建模开始，首先需要收集问题的资料，深入理解问题，然后将问题抽象成机器可预测的问题。在这个过程中要明确业务指标和模型预测目标，根据预测目标选择适当指标用于模型评估。接着从原始数据中选择最相关的样本子集用于模型训练，并对样本子集划分训练集和测试集，应用交叉验证的方法对模型进行选择和评估。
在评估模型如何在训练期间获得最佳性能时，OpenAI和DeepMind都试图绘制帕累托边界（Pareto frontier），但他们没有明确说明是使用该理论绘制的。
本文介绍了多项式函数拟合的基本原理、应用场景以及求解方法，通过一个具体的例子详细演示了如何使用最小二乘法进行多项式函数拟合，并分析了过拟合现象以及解决方法。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
