近日，FloydHub Blog发表了一篇文章，详细讨论了为深度学习模型寻找最佳超参数集的有效策略。
感谢阅读「美图数据技术团队」的第 25 篇原创文章，关注我们持续获取美图最新数据技术动态。
当然，并非所有变量对模型的学习过程都一样重要，但是，鉴于这种额外的复杂性，在这样一个高维空间中找到这些变量的最佳配置显然是一个不小的挑战。
在传统软件工程中，程序问题（即Bugs）会导致程序崩溃，但开发人员可以通过检查错误来了解原因。
前言：本笔记是对近日阅读keynote“Troubleshooting Deep Neural Networks”的总结。
80%-90%时间用于debug和tune，10%-20%时间用于推导数学或者实现。
该文介绍了如何使用dlib库实现一个无参数、无梯度的黑盒优化算法，该算法可以用于机器学习和深度学习中的超参数优化，并且与现有的方法相比具有更好的性能。该算法可以用于解决机器学习中的特征选择问题，以及机器学习、深度学习中的超参数优化问题。
来源：blog.dlib.net 作者：Davis King 【新智元导读】本文介绍了一个名为LIPO的全局优化方法，这个方法没有参数，而且经验证比随机搜索方法好。基于此，作者提出了MaxLIPO和置信域方法混合使用的优化方法，在所有测试中，都取得了最优结果，而且不需要任何参数。你还在手动调参？不如试一下更好的方法。 有一个常见的问题：你想使用某个机器学习算法，但它总有一些难搞的超参数。例如权重衰减大小，高斯核宽度等等。算法不会设置这些参数，而是需要你去决定它们的值。如果不把这些参数设置为“良好”的值，这个
最近，我阅读了arXiv平台上的Jonathan Frankle，David J. Schwab和Ari S. Morcos撰写的论文“Training BatchNorm and Only BatchNorm: On the Expressive Power of Random Features in CNNs”。这个主意立刻引起了我的注意。到目前为止，我从未将批标准化（BN）层视为学习过程本身的一部分，仅是为了帮助深度网络实现优化和提高稳定性。经过几次实验，我发现我错了。在下文中，我将展示我复制的论文的结果以及从中学到的东西。
第一部分：启动一个深度学习项目 1. 应该选择什么样的项目？ 很多人工智能项目其实并没有那么严肃，做起来还很有趣。2017 年初，我着手启动了一个为日本漫画上色的项目，并作为我对生成对抗网络 ( GAN ) 研究的一部分。这个问题很难解决，但却很吸引人，尤其是对于我这种不会画画的人来说！在寻找项目时，不要局限于增量性改进，去做一款适销对路的产品，或者创建一种学习速度更快、质量更高的新模型。 2. 调试深度网络（DN）非常棘手 训练深度学习模型需要数百万次的迭代，因此查找 bug 的过
众所周知，机器学习代码很难调试。就连简单的前馈神经网络，您也经常需要围绕网络架构、权重值初始化和网络优化做出决策 - 所有这些都可能导致机器学习代码中隐藏BUG。
这篇文章提供了可以采取的切实可行的步骤来识别和修复机器学习模型的训练、泛化和优化问题。
众所周知，调试机器学习代码非常困难。即使对于简单的前馈神经网络也是这样，你经常会在网络体系结构做出一些决定，重初始化和网络优化——所有这些会都导致在你的机器学习代码中出现bug。
选自Medium 作者：Jonathan Hui 机器之心编译 在学习了有关深度学习的理论课程之后，很多人都会有兴趣尝试构建一个属于自己的项目。本文将会从第一步开始，告诉你如何解决项目开发中会遇到的各类问题。 本文由六大部分组成，涵盖深度学习 ( DL ) 项目的整个过程。我们将使用一个自动漫画着色项目来说明深度学习的设计、程序调试和参数调整过程。 本文主题为「如何启动一个深度学习项目？」，分为以下六个部分： 第一部分：启动一个深度学习项目 第二部分：创建一个深度学习数据集 第三部分：设计深度模型 第四部分
本文共1万+字，建议阅读10+分钟。 本文将会从第一步开始，教你解决项目开发中会遇到的各类问题。
导读：在学习了有关深度学习的理论之后，很多人都会有兴趣尝试构建一个属于自己的项目。本文将会从第一步开始，告诉你如何解决项目开发中会遇到的各类问题。
在学习了有关深度学习的理论之后，很多人都会有兴趣尝试构建一个属于自己的项目。本文将会从第一步开始，告诉你如何解决项目开发中会遇到的各类问题。
在学习了有关深度学习的理论课程之后，很多人都会有兴趣尝试构建一个属于自己的项目。本文将会从第一步开始，告诉你如何解决项目开发中会遇到的各类问题。
机器之心报道 编辑：陈萍、小舟 模型越大，超参数（HP）调优成本越高，微软联合 OpenAI 提出 HP 调优新范式，单个 GPU 上就可以调优 GPT-3 超参数。 伟大的科学成就不能仅靠反复试验取得。例如太空计划中的每一次发射都是基于数百年的空气动力学、推进和天体等基础研究。同样，在构建大规模人工智能系统时，基础研究大大减少了试错次数，效益明显。 超参数（Hyperparameter，HP）调优是深度学习的关键，但也是一个昂贵的过程，对于具有数十亿参数的神经网络来说更是如此。假如 HP 选择不当，会导致
大数据文摘转载自微软研究院AI头条 伟大的科学成就不能仅靠反复试验取得。例如太空计划中的每一次发射都是基于数百年的空气动力学、推进和天体等基础研究。同样，在构建大规模人工智能系统时，基础研究大大减少了试错次数，效益明显。 超参数（Hyperparameter，HP）调优是深度学习的关键，但也是一个昂贵的过程，对于具有数十亿参数的神经网络来说更是如此。假如 HP 选择不当，会导致模型性能不佳、训练不稳定。当训练超大型深度学习模型时，这些问题更加严重。 最近，有研究表明不同的神经网络参数化会导致不同的无限宽度极
Siraj Raval 作为深度学习领域的自媒体人在欧美可以说是无人不知、无人不晓。 凭借在 Youtube 上的指导视频，Siraj Raval 在全世界吸粉无数，堪称是机器学习界的网红。说他是全球范围内影响力最大的 ML 自媒体人，怕也无异议。 因此，雷锋网 AI 研习社联系到了 Siraj 本人，并获得授权将他最精华的 Youtube 视频进行字幕汉化，免费推送给大家。我们将不定期更新，敬请关注！ 雷锋字幕组为大家最新译制了 Siraj 深度学习系列，从机器学习和神经网络架构类型到数据可视化、小样本
来源： DeepMind 编译：马文 【新智元导读】DeepMind在最新的一篇论文 Population Based Training of Neural Networks中，提出了一种新的训练神经网络的方法PBT，这是一种异步优化算法，它同时训练和优化一个群体的网络，从而快速地为任务选择最佳的超参数集合和模型。最重要的是，这种方法不会增加计算开销，能够最大限度地提高性能，并且很容易集成到现有的机器学习流程中。DeepMind认为这一方法有很大潜力。 论文下载：https://deepmind.com/d
译者 | 阿尔法计算生（个人微信：ixci001） 摘要 卷积神经网络使计算机视觉领域发生了革命性的变化。本文探讨了CNNs的一个典型应用：利用卷积网络来预测股票价格的变动，即利用卷积网络来预测过去价
大数据文摘转载自微软研究院AI头条 编者按：伟大的科学成就不能仅靠反复试验取得。在构建大规模人工智能系统时，基础研究所形成的理论见解能够帮助研究员大大减少试错次数并提高成本效益。在今天的文章中，微软研究院的研究员们将介绍基础研究如何首次能够调整庞大的神经网络。由于庞大的神经网络训练十分昂贵，所以研究员们通过展示特定参数化在不同模型大小上保留最佳超参数来解决这一问题。通过与 OpenAI 合作，微软研究院的研究员们在一系列现实场景中也验证了该技术的实际优势。 伟大的科学成就不能仅靠反复试验取得。例如太空计划中
以下是我与同事和学生就如何优化深度模型进行的对话、消息和辩论的摘要。如果你发现了有影响力的技巧，请分享。
最近在看AutoML，业界在 automl 上的进展还是很不错的，个人比较看好这个方向，所以做了一些了解：
泛化能力强-->验证集上的误差小，训练集上的误差不大（不必追求完美，否则可能会导致过拟合）即可。
前言 dlib 是一个开源的 C++ 机器学习算法工具包，被广泛用于工业界和学术界，覆盖机器人、嵌入式设备、手机和大型高性能计算设备等环境。在最近一次更新（v19.8）中，其开发者引入了自动调优超参数的 LIPO 算法。据开发者称，这种方法超越了此前调整参数使用的各类方法。 Dlib：全局优化算法 所有机器学习开发者都会遇到同样一个问题：你有一些想要使用的机器学习算法，但其中填满了超参数——这些数字包括权重衰减率、高斯核函数宽度等等。算法本身并不会设置它们，你必须自己决定它们的数值。如果你调的参数不够「好」
超参数：在机器学习的上下文中，超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。通常情况下，需要对超参数进行优化，给学习机选择一组最优超参数，以提高学习的性能和效果。
本文由谷歌翻译 https://blog.openai.com/evolution-strategies/
你可能还记得高中时的一个简单的微积分问题——在给定盒子体积的情况下，求出构建盒子所需的最小材料量。
作者整合了目前主流的半监督学习算法，然后提出了新的MixMatch算法，该算法对经过数据增强的无标签样本进行低熵标签的猜测，并使用MixUp将有标签数据和无标签数据混合在一起。算法在许多数据集上获得了SOTA的结果。
上周 Andrej Karpathy 发布了一个最小 GPT 实现的项目 ，短短一周就收获了4200星。
本文介绍了几个深度学习模型的简单优化技巧，包括迁移学习、dropout、学习率调整等，并展示了如何用 Keras 实现。
本文介绍了如何利用dlib库中的函数进行全局优化，包括求解线性规划、二次规划、非线性最小二乘问题等。同时，文章还介绍了如何将dlib库应用于C++和Python代码中，以及如何使用dlib实现人脸检测、姿态估计等应用。
本文介绍了关于dlib中的Max-Finder算法的实现，通过使用该算法可以极大提升超参数优化的效率，并总结了该算法的适用场景和优势。
关于转载授权 大数据文摘作品，欢迎个人转发朋友圈，自媒体、媒体、机构转载务必申请授权，后台留言“机构名称+转载”，申请过授权的不必再次申请，只要按约定转载即可，但文末需放置大数据文摘二维码。 选文：纪
R2RT 是一个很有特色的机器学习/人工智能技术博客，作者是一个在 Github 上用户名为 spitis 的机器学习、人工智能专家。这位真名不知为何的专家，目光深邃，擅长对于一些深邃的技术话题娓娓道来，更难得的是作者对于机器学习、特别是深度学习有一个大局观。 他总会反复提醒读者，我们在干什么，讨论什么问题，在人工智能这盘大棋里处于哪个环节。这样的文章在当前的机器学习和深度学习当中，还是非常少见和难得的。 这就是为什么 AI100 决定将这个博客已发表的文章全部翻译出来以飨读者。 这篇文章是这个系列的第
---- 新智元报道 编辑：LRS 【新智元导读】调参不能只靠直觉，也是一门大学问！ 虽然算法工程师往往调侃自己是「调参侠」，但调参这件事可能真没想象中那么简单。 比如，你是不是经常会有疑惑到底该选择哪个优化器？一个batch放多少数据？超参数如何设置？难道真要网格搜索全实验一遍吗？ 最近，来自谷歌和哈佛大学的研究人员以非官方的名义发布了一本《深度学习调参套路》，把调参这件玄之又玄的事试图用科学的方法来解释，目前已收获超过1万个stars 文档链接：https://github.com/goog
比如，你是不是经常会有疑惑到底该选择哪个优化器？一个batch放多少数据？超参数如何设置？难道真要网格搜索全实验一遍吗？
选自dlib Blog 机器之心编译 参与：路雪、李泽南、蒋思源 dlib 是一个开源的 C++ 机器学习算法工具包，被广泛用于工业界和学术界，覆盖机器人、嵌入式设备、手机和大型高性能计算设备等环境。在最近一次更新（v19.8）中，其开发者引入了自动调优超参数的 LIPO 算法。据开发者称，这种方法超越了此前调整参数使用的各类方法。 Dlib：全局优化算法 所有机器学习开发者都会遇到同样一个问题：你有一些想要使用的机器学习算法，但其中填满了超参数——这些数字包括权重衰减率、高斯核函数宽度等等。算法本身并不会
以下技巧旨在让您更轻松。这不是必须做的清单，但应该被视为一种参考。您了解手头的任务，因此可以从以下技术中进行最佳选择。它们涵盖了广泛的领域：从数据增强到选择超参数；涉及到很多话题。使用此选择作为未来研究的起点。
优化器是机器学习中很重要的一个环节。当确定损失函数时，你需要一个优化器使损失函数的参数能够快速有效求解成功。优化器很大程度影响计算效率。越来越多的超参数调整是通过自动化方式完成，使用明智的搜索在更短的时间内找到最佳超参组合，无需在初始设置之外进行手动操作。
选自OpenAI 作者：Andrej Karpathy等 机器之心编译 参与：吴攀、李亚洲 让机器具备生物一样的进化能力一直是计算机科学的一个热门研究领域，OpenAI 前几天发表了一篇相关研究的论文《用作强化学习的可扩展替代的进化策略（Evolution Strategies as a Scalable Alternative to Reinforcement Learning）》，机器之心当时也对那篇论文和另一篇来自谷歌的相关论文进行了介绍，参阅《深度 | 谷歌和 OpenAI 新研究：如何使用达尔文进
机器之心报道 机器之心编辑部 「大量的实践经验已被提炼成这份强大的深度学习模型调参指南。」——Geoffrey Hinton。 众所周知，AI 的超参数决定着模型学习效果和速度。相比普通机器学习任务，深度学习需要的训练时间较长，因此调参技巧就显得尤为重要。 但鉴于深度学习「炼丹」的特性，不同的模型需要不同的超参数，而每个超参的意义又不同，在不同实验中，参数和调整的方向又都不一样。调参这件事一直以来没有固定的套路，每个人都有自己的经验，因此经常会出现一些似是而非的理论，比如： Random seed = 0
领取专属 10元无门槛券
手把手带您无忧上云
