文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

李飞飞高徒、AI“网红”Karpathy：训练神经网络不得不看的33个技巧

以下是新智元对这篇“神经网络炼丹术”的译介： 30行代码训练神经网络？Too young 几周前，我在推特上发了一条“最常见的神经网络错误”的推文，列举了一些与训练神经网络相关的常见错误。...比如，ImageNet将在30个epoch上衰减10倍。如果你没有训练ImageNet那么这肯定不是想要的结果。如果你不小心，代码可能会过早地将学习率趋零，导致模型无法收敛。...在我自己的研究中总是完全禁用学习率衰减（学习速率为常数）并在最后进行调整。 4.正则化 理想情况下，我们要处理的是大型模型，至少能够拟合训练集。...如果您在测试时无法负担计算，请考虑使用黑暗知识将您的整体提升到网络中。 保持训练。我经常看到人们在验证损失趋于平稳时就想停止模型训练。根据我的经验，网络会长时间不间断地进行训练。...有一次我在冬假期间不小心没有停止训练，当我第二1月份回来时，发现模型性能达到了SOTA水平。

1.1K30

神经网络调参经验大汇总。

验证是否减少了训练loss，在这个阶段，我们更加希望看到在数据集上欠拟合，因为你正在使用一个玩具模型。试着稍微增加它的容量。你的训练损失有没有像应该的那样减少？...我喜欢这两个阶段的原因是，如果我们在任何模型上都无法达到低错误率，那么这可能再次表明一些问题、bug或错误配置。 这一步的一些建议： 选择模型。要达到良好的训练效果，您需要为数据选择合适的结构。...我总是建议人们简单地找到最相关的论文，然后复制粘贴他们最简单的体系结构，以获得良好的性能。例如，如果您正在对图像进行分类，请不要成为英雄，只需在第一次运行时复制粘贴ResNet-50即可。...在我自己的工作中，我总是禁用学习速率完全衰减（我使用一个常数LR），并在最后一直调整它。 04 正则化 理想情况下，我们现在所处的位置是，我们有一个至少拟合训练集的大模型。...在极限情况下，如果参数a很重要，但更改b没有效果，那么您宁愿更全面地对a进行采样，而不是多次在几个固定点进行采样。 超参数优化。

66620
您找到你想要的搜索结果了吗？
是的
没有找到

Macheine Learning Yearning学习笔记(四)

如果你在训练集上的分类误差是15%（85%的准确率），但是你的目标是5%错误率（95%准确率），那么第一个要解决的问题是提高算法在训练集上的性能。你的开发/测试集上的性能通常比在训练集上要差。...该分类器错误率为15%，该算法在训练集上学的不好，但是它在开发集上的错误几乎没有比在训练集错误更高。因此，该分类器具有较高的偏差（high bias），但是较低的方差。...假设在语音识别问题上，你的算法达到： 训练错误率 = 15% 开发错误率 = 30% 训练集上的表现以及接近最优的错误率14%。因此，在偏差上或者在训练集的表现上没有太多提升的空间。...但是，如果最优错误率是14%，那么同样的训练集上的表现告诉我们，在分类器的偏差几乎没有改进的余地。...除了之前描述的处理高偏差的方法之外，我有时也对训练数据进行错误分析，遵循类似于在 Eyeball 开发集上错误分析的规则。

32130

『 论文阅读』Understanding deep learning requires rethinking generalization

更准确地说，当对真实数据进行完全随机标记的训练时，神经网络实现了0个训练误差。当然测试错误和随机预测差不多。...通过标签随机化，强制使模型的泛化误差大大地增加，而不改变模型，包括其大小、超参数和优化器。 论文在CIFAR10和ImageNet分类基准上训练的几种不同的标准体系。简单说明如下观点。...在神经网络中，几乎总是选择运行随机梯度下降输出的模型。分析线性模型中，SGD如何作为隐式正则化器。对于线性模型，SGD总是收敛到一个小规模的解决方案。 因此，算法本身将解决方案隐含地规范化。...虽然没有明确的正则化，weight decay打开情况下，在CIFAR10上，Inception和MLP都完全适合随机训练集。 然而，AlexNetweight decay开启无法收敛于随机标签。...传统方法使用模型复杂度量度解决了大型人造神经网络的泛化能力。论文认为还没有发现一个精确的正式措施，在这些措施下，这些巨大的模式是简单的。 即使最终的模型不具有泛化性，优化仍然是经验上的容易的。

90930

一文带你读懂机器学习和数据科学的决策树

其中pk是特定预测节点中分类k的训练实例的比例。 理想情况下，节点的错误值应为零，这意味着每个拆分在100％的时间内输出单个分类。...如果我们选择一个分区，其中每个输出根据输入数据混合了类别，那么我们实际上根本没有获得任何信息; 我们不知道特定节点即特征是否对我们分类数据有任何影响！...另一方面，如果我们的分割对每个输出类别的百分比都很高，那么我们已经获得了在特定特征变量上以特殊方式分割的信息来给我们一个特定的输出！...在每个节点，我们都能够确切地看到我们的模型做出了什么决定。 在实践中，我们将能够完全理解我们的准确度和误差来自何处，模型可以很好地处理哪种类型的数据，以及输出如何受到特征值的影响。...在Twitter上关注我，我发布所有关于最新和最好的AI，技术和科学的内容！ 想要继续查看该篇文章相关链接和参考文献？

43120

ML工作流程（第4部分） - 完整性检查和数据分割

即使你的数据是分类的、名义上的或连续的，总是非常有用。绘制一个条形图，描绘每个数据维度的不同值的数量。数据分割好的，我们纠正了特征提取后数据表示的正确性。...由于这些算法很可能过度拟合，所以使用训练数据作为训练时间的唯一度量可能会误导到极端的过度拟合。相反，使用每个迭代性能的Validation-Set，并停止训练和验证值在某个级别分散。...我推荐这么做。 Test-Set：在Train-Set和Validation-Set之后完成模型之后，应该使用它。根据训练和验证步骤设置模型的所有参数后，Validation-Set会测量性能。...我相信很多人对我提出的数据分割方案不太情愿，他们会把这个粒度级别看作简单的训练，测试分割+交叉验证方案。但是，我向他们保证，特别是在这个行业里，这个阵型是对抗理性过度合理化的最佳选择。...顺便说一句，我们有一个深度学习社区过度适合Image-Net的巨大文献。我的解决方案是使用单独的数据集，通过去年数据集的训练模型对每年的比赛进行排名。

71400

随机森林

通过在同一个训练数据集上训练多个弱分类器(weak classifier)，然后把这一组弱分类器集成起来，产生一个强分类器（strong classifier）。...特点 (1) 每次迭代改变的是样本的分布，而不是重复采样 (2) 样本分布的改变取决于样本是否被正确分类：总是分类正确的样本权值低，总是分类错误的样本权值高（通常是边界附近的样本） (3) 最终的结果是弱分类器的加权组合...Boosting：每一轮的训练集不变，只是训练集中每个样例在分类器中的权重发生变化。而权值是根据上一轮的分类结果进行调整。...但这仍然不能完全解决过度拟合问题，过度拟合的典型表现是决策树对训练数据错误率很低，而对测试数据其错误率却非常高。过度拟合常见原因有： 训练数据中存在噪声； 数据不具有代表性。...RandomForest在以决策树为基学习器构建Bagging集成的基础上，进一步在决策树的训练过程中引入了随机属性选择。

39510

Energy-efficient Amortized Inference with Cascaded Deep Classifiers论文笔记

在大量不同数据集的实验下, 使用级联的ResNet分类器, 我们证明我们的方法比标准的训练好的ResNets要表现出色, 并且只需要少于20%和50%的FLOPs耗费在CIFAR-10/100数据集上,...其他的考虑了级联分类器在目标检测中快速地拒绝更进一步, 如果能够简单判断的情况下....从第一个分类开始累计的资源消耗, 即 ? . 实际上, 我们也包括累计的停止策略 ? 对于相应的 ? 的计算代价, 重要的是, 一旦我们在 ? 个分类器处停止, 我们便不再运行比 ?...动作: 基于当前分类器的输出概率, 我们的停止策略模块决定在当前时间步以概率 ? , 如果它最终在 ? 步停止, 我们使用当前模型 ? 来预测Label, 即, ?...是用来在训练数据的mini-batch上来最小化梯度估计器的变化 整理一下当前的内容 现在我们知道了整个模型的大致架构, 流程是这样的: 首先是图片的输入, 传到当前的分类器, 并且得到结果 接着将结果

37641

R: 学习Gradient Boosting算法，提高预测模型准确率

我们随后会对难以分类的样本分配较大的权重。 好！我明白你脑中会产生类似的疑问，像‘难以分类的样本’是什么意思？我怎么知道应该要给错误分类的样本多少额外的权重？不要着急，接下来我将回答你所有的疑问。...倘若我们在误差项（error）上再建立一个模型呢？比如， error = G(x) + error2 也许，你会看到误差率提高到一个更高的数字，比如84%。...如果这有可能的话，为什么没有接近100%的准确率呢？ 在本文中我将以清晰简洁的方式来回答这些问题，Boosting通常用于弱学习，即没有分离白噪声的能力。...这时我们有3/10的误分类率。现在我们对3个误分类的样本分配更高的权重，此时，对它们分类非常重要。因此，垂直线向右边缘靠近。我们重复这个操作，然后以恰当的权重组合每个学习模型。...我来给你解释一下。简单地看一下e指数的参数，alpha是学习率，y是真实的响应（+1或-1），h(x)是通过学习得到的预测分类。

1.1K110

如何写一篇不水的机器学习论文？这17页指南从建模、评估到写报告，手把手教你

“凑合”的例子包括将期望分类特征的模型应用于由数字特征组成的数据集、将假定变量之间没有依赖关系的模型应用于时间序列数据，或者只相信最新的模型（旧的不一定不合适）。 3、一定要优化模型的超参数。...4、在执行超参数优化和特征选择要小心：防止测试集“泄漏”，不要在模型训练开始之前对整个数据集进行特征选择。理想情况下应使用与训练模型所用数据完全相同的数据。...作者一共提了5点： 1、一个模型在训练集上的表现几乎毫无意义，保证测试集与训练集之间的独立。 2、在连续迭代多个模型，用前面的数据指导下一个的配置时使用验证集，千万不要让测试集参与进来。...可以根据验证集对模型进行测量：当分数开始下降时，停止训练，因为这表明模型开始过拟合。 3、对模型多次评估，防止低估/高估性能。...使用基准数据集来评估新的ML模型已变得司空见惯，你以为这会让结果更透明，实际上： 如果测试集的访问不受限，你没法确保别人没有在训练过程中使用它；被多次使用的公共测试集上的许多模型可能会与之过度匹配；最终都会导致结果乐观

29620

揭示语言大模型的采样过程

对于一个分类器而言，可能的值就是可用的类（class）。例如，如果一个模型被训练用于分类电子邮件是否为垃圾邮件，那么可能的值就只有两个：垃圾和非垃圾邮件。...查看模型对给定输入计算的概率是常见的AI模型调试技术。例如，如果概率看起来是随机的，那么该模型并没有学到太多内容。OpenAI返回其模型生成的概率作为logprobs。...改变或不改变模型架构都可微调。例如，可以在具有所需输出格式的示例上对模型进行微调。虽然这仍不能保证模型总是能够输出预期的格式，但相比提示要可靠得多。...例如，对于分类任务，可以将分类器head加到基础模型的架构中，以确保模型仅输出预先指定的类别之一。在微调过程中，你可以重新训练整个架构或仅训练这个分类器head。...以下内容是我的个人见解，可能存在错误，欢迎反馈和指正！ 总的来说，为生成一个词元，模型会在满足约束条件的值中采样。

8710

为什么深度学习是非参数的？

关键想法是，进一步研究可以让模型更好地适应数据，而我们则须知道何时停止这种深入。...在我看来，关键的信息是，我们的模型是如此严格，以至于我们可以看到测试集上发生的一切(或者更精确地说，在完整的Px,y分布上发生的一切)已经在训练集中发生了。...对我来说，一个重要的结论是，双重下降现象在标签损坏的两种实验条件中存在“凹凸”，他们的报告称，在标签干净的实验中，所得到的结果则要平缓得多，没有那么“凹凸”。...5、特征和学习 让对深度学习的直觉化变得困难的原因之一是Ansatz领域的自适应特性。我这么说的意思是，我们没有一个固定的特征提取器（由手动构造，并由核机中使用的核家族给出)将学习应用到特征上。...然而，附近正确类的点越多，错误分类的区域就越小。我们可以交互地尝试。 随着点数的增加，测试误差会减少。 这意味着什么呢? 这说明对于插值解，在测试时间内，良好的训练点会挤出标记糟糕的点。

40140

为什么深度学习是非参数的？

关键想法是，进一步研究可以让模型更好地适应数据，而我们则须知道何时停止这种深入。...在我看来，关键的信息是，我们的模型是如此严格，以至于我们可以看到测试集上发生的一切(或者更精确地说，在完整的Px,y分布上发生的一切)已经在训练集中发生了。...对我来说，一个重要的结论是，双重下降现象在标签损坏的两种实验条件中存在“凹凸”，他们的报告称，在标签干净的实验中，所得到的结果则要平缓得多，没有那么“凹凸”。...5 特征和学习 让对深度学习的直觉化变得困难的原因之一是Ansatz领域的自适应特性。我这么说的意思是，我们没有一个固定的特征提取器（由手动构造，并由核机中使用的核家族给出)将学习应用到特征上。...那么标签错误发生了什么呢? 标签错误会导致损坏的训练点附近的某些区域被分配给错误的类。然而，附近正确类的点越多，错误分类的区域就越小。我们可以交互地尝试。随着点数的增加，测试误差会减少。

50930

别把“复杂化”视为高大上，优秀的数据科学家不会创造复杂的模型

作为一名数据科学家同行，我可以说这一职业是充实和有价值的。话虽如此，现实总是会和人们对工作的期望有差距。 很多有抱负的数据科学家问我他们应该关注什么内容。...我真正需要做的是写一行代码来读取文本和相关标签，写一行代码来向量化文本和标签（从文本转换为数字格式），写一行代码来构建一个在文本 + 标签上训练的朴素贝叶斯分类器，写一行代码来将分类器部署到终端（Sagemaker...就像我之前的观点，用干净的数据喂一个简单的模型总是比用糟糕的数据喂一个复杂的模型要好。获得干净的数据需要在你的终端分析数据，以便你能设计一个管道来有效地构建和训练你的模型。...此外，在描述背部受伤的页面中，很少提到这个人的名字。我们的停止词列表中有像 emma 这样的名字。由于我们没有解决连字符姓氏的逻辑，所以应该用 green-geller 来代替。...这种方法对我们来说更容易测试，更容易快速部署到生产中。 在生产中，一个模型总是会对新的、未见过的数据进行预测，而且很可能在不同的名字上犯同样的错误。

37010

为什么深度学习是非参数的？

关键想法是，进一步研究可以让模型更好地适应数据，而我们则须知道何时停止这种深入。...在我看来，关键的信息是，我们的模型是如此严格，以至于我们可以看到测试集上发生的一切(或者更精确地说，在完整的Px,y分布上发生的一切)已经在训练集中发生了。...对我来说，一个重要的结论是，双重下降现象在标签损坏的两种实验条件中存在“凹凸”，他们的报告称，在标签干净的实验中，所得到的结果则要平缓得多，没有那么“凹凸”。...五、特征和学习 让对深度学习的直觉化变得困难的原因之一是Ansatz领域的自适应特性。我这么说的意思是，我们没有一个固定的特征提取器（由手动构造，并由核机中使用的核家族给出)将学习应用到特征上。...那么标签错误发生了什么呢? 标签错误会导致损坏的训练点附近的某些区域被分配给错误的类。然而，附近正确类的点越多，错误分类的区域就越小。我们可以交互地尝试。随着点数的增加，测试误差会减少。

18930

ShapeShifter: Robust Physical Adversarial Attack on Faster R-CNN Object Detector

变形机可以产生相反的干扰停止信号，这些信号经常被Faster R-CNN作为其他物体错误地检测到，对自动驾驶汽车和其他安全关键的计算机视觉系统构成潜在威胁。...作为一个案例研究，我们生成了一些反向干扰的停止信号，这些信号可以被更快的R-CNN作为实际驱动测试中的目标对象持续错误地检测到。我们的贡献概述如下。...最近的尝试要么只能进行非目标攻击，要么需要“极端模式”的扰动(用研究人员的话说)来持续地工作于，要么没有揭示方法的细节。我们在GitHub4上开源了我们的代码。...在[13]中生成的对抗性停止标志没有考虑到这一点，并且在视觉上更加明显。自动化其他目标的这个过程，我们留下作为未来的工作。我们进行了两次有针对性的攻击和一次无针对性的攻击。...运动球目标攻击的目标成功率较低，但达到了相同的非目标成功率。我们的非目标攻击总是在中距离将检测错误地引入时钟类，但在较长的距离中则不那么健壮。

1.6K50

通过嵌入隐层表征来理解神经网络

此可视化框架有多个有趣的应用程序，以下是分类问题的一些背景： 更好地理解模型的行为 w.r.t 数据 了解神经网络训练过程中数据表示的变化 比较给定数据集上的模型 - 包括超参数变化甚至架构变化 了解嵌入在训练过程中如何及时...这是一个多标签分类问题。 在神经网络模型中，我尝试了几种架构，从简单的（没有卷积/重复的前馈神经网络）到复杂的架构。我在神经网络的最后一层使用了二进制交叉熵损失和 sigmoid 激活。...在提前停止前我们完成了 10 个 epoch 的训练。 这是最后一个 epoch 可视化的内容： ? yelp 二元情绪分类任务在第 10 个 epoch 之后的隐藏表示。...可以通过对比错误分类的点和它们附近的点来理解这个问题。...我在上面的恶意评论分类任务中创建了一个模型，从头开始学习嵌入（因此没有使用预先训练的嵌入进行权重初始化）。我想在给定数据量的情况下对模型有点困难 - 但我认为这值得一试。该架构与双向 LSTM 相同。

70420

癫痫发作分类ML算法

癫痫发作的种类很多，每种都有不同的症状，如失去意识，抽搐运动或混乱。有些癫痫发作在视觉上难以察觉; 患者通常会表现出一些症状，例如在短时间内没有反应或茫然地凝视。...接下来想要平衡数据集，以避免创建一个模型，它错误地将样本分类为属于多数类; 在案例中，患者没有癫痫发作。...随机森林也几乎总是优先于决策树，因为模型具有较低的方差; 因此，该模型可以更好地推广。...根据您的偏差 - 方差诊断，可以根据此图表选择丢弃特征或通过组合一些来提出新变量。但是，对于模型没有必要这样做。从技术上讲，脑电图读数是我唯一的特征，读数越多，分类模型就越好。...还告诉tpot将每个模型导出到目的地以防想要提前停止。 模型评估 性能最佳的模型，AUC为0.997，是优化的extratrees分类器。以下是它在所有三个数据集上的表现。

1.8K40

深度 | 生产级深度学习的开发经验分享：数据集的构建和提升是关键

正因为我没有花费足够的时间来对第一版语音命令进行上述处理，Kaggle 参赛者们才会在开始处理数据时发现了很多问题。 我总是觉得这个过程有点愚蠢，但我从未后悔过。...为了进一步加快模型的迭代速度，你可以尝试从一个已经在大型现有数据集上预训练过的模型开始，使用迁移学习来利用你收集到的（可能小得多的）一组数据对它进行微调。...这些知识对我来说非常有用，因为它让我更加仔细地观察那些被误认为是无声的音频片段，而这些片段事实上并不总是安静的。...举例来说，之前一个同我合作过的团队对图像分类模型中某些动物的高错误率感到困惑。...我总是为即使在训练数据存在严重缺陷的情况下模型也可以良好运作而感到惊叹，所以我迫不及待地想看到在改进数据以后我们可以取得的效果！

49900
点击加载更多

扫码

添加站长 进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

更多标签

活动推荐

    运营活动

    活动名称
    广告关闭

    腾讯云开发者

    扫码关注腾讯云开发者

    扫码关注腾讯云开发者

    领取腾讯云代金券

    热门产品

    热门推荐

    更多推荐

    Copyright © 2013 - 2024 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

    深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

    腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287

    领券