论文地址：https://www.weiranhuang.com/publications/DARTS+.pdf
用IPO模式分析问题如下： 1.输入：抛点的数量。 2.处理：对于每个抛洒点，计算点到圆心的距 离，通过距离盘点该点在 圆内或圆外，统计在圆内点的数量。 3.输出：π值
DARTS 算法有一个严重的问题，就是当搜索轮数过大时，搜索出的架构中会包含很多的 skip-connect，从而性能会变得很差。文章把这个现象叫做 Collapse of DARTS。例如，在 CIFAR100 上用 DARTS 做搜索。从下图可以看出，当 search epoch（横轴）比较大的时候，skip-connect 的 alpha 值（绿线）将变得很大。
Darts Time Limit: 1000MS Memory Limit: 30000K Total Submissions: 1286 Accepted: 741 Description Background Many nations (including Germany) have a strange tradition of throwing small arrows at round flat targets (usually, these small arro
注：该文系52CV群友原作者投稿，是作者在美团实习期间在初祥祥（美团 Mentor，前小米 AutoML 负责人）指导参与下而做的工作，ICLR 2021 录用论文。
随着深度学习模型的进步，它们在医学图像处理中的应用在当代诊断不可知过程中变得至关重要。事实上，这项技术使专家能够比以前更早、更准确地检测疾病。尽管这场革命跨越了多种数据类型和任务，但操作模型的设计仍然成本高昂。
高质量模型的设计和更新迭代是当前 AI 生产开发的痛点和难点，在这种背景下，自动化机器学习（AutoML）应运而生。2017年，谷歌正式提出神经网络架构搜索（Neural Architecture Search，NAS），并成为 AutoML 的核心组成部分。美团技术团队也对AutoML领域进行了积极探索，本文系美团与上海交通大学合作的一篇被深度学习顶会 ICLR 2021 收录的论文解读。
可微网络架构搜索（DARTS）能够大幅缩短搜索时间，但是其稳定性受到质疑。随着搜索进行，DARTS 生成的网络架构性能会逐渐变差。最终生成的结构甚至全是跳过连接（skip connection），没有任何卷积操作。在 ICML 2020 中，UCLA 基于随机平滑（random smoothing）和对抗训练（adversarial training），提出了两种正则化方法，大幅提升了可微架构搜索算法的鲁棒性。
Pandas DataFrame通常用于处理时间序列数据。对于单变量时间序列，可以使用带有时间索引的 Pandas 序列。而对于多变量时间序列，则可以使用带有多列的二维 Pandas DataFrame。然而，对于带有概率预测的时间序列，在每个周期都有多个值的情况下，情况又如何呢？图(1)展示了销售额和温度变量的多变量情况。每个时段的销售额预测都有低、中、高三种可能值。尽管 Pandas 仍能存储此数据集，但有专门的数据格式可以处理具有多个协变量、多个周期以及每个周期具有多个样本的复杂情况。
由于笔者不懂RL 也不懂进化算法，谷歌那套是follow不了，故看的都是 gradient based 的方法，先总结下几篇文章的相关工作：
【GiantPandaCV】DARTS将离散的搜索空间松弛，从而可以用梯度的方式进行优化，从而求解神经网络搜索问题。本文首发于GiantPandaCV，未经允许，不得转载。
作者：Quanming Yao ，Ju Xu，Wei-Wei Tu，Zhanxing Zhu
代码：https://github.com/xujinfan/NASP-codes
近来，可微分架构搜索因其高效率、高性能的竞争优势引起了人们的极大关注。它在浅层网络中搜索最优架构，然后在深层评价网络中测量其性能。这导致架构搜索的优化与目标评价网络无关，发现的架构是次优的。为了解决这个问题，本文提出了一种新型的循环可微分架构搜索框架（CDARTS）。考虑到结构差异，CDARTS 在搜索网络和评价网络之间建立了循环反馈机制。首先，搜索网络生成一个初始拓扑进行评估，这样可以优化评价网络的权重。其次，搜索网络中的架构拓扑通过分类中的标签监督，以及来自评价网络的正则化通过特征提炼进一步优化。重复上述循环，搜索网络和评价网络共同优化，从而实现拓扑结构的进化，以适应最终的评价网络。在CIFAR、ImageNet 和 NAS-Bench-201 上的实验和分析证明了所提出的方法的有效性。
尽管可微分架构搜索(DARTS)发展迅速，但它长期存在性能不稳定的问题，这极大地限制了它的应用。现有的鲁棒性方法是从由此产生的恶化行为中获取线索，而不是找出其原因。各种指标如海森特征值等被提出来作为性能崩溃前停止搜索的信号。然而，如果阈值设置不当，这些基于指标的方法往往很容易拒绝好的架构，更何况搜索是内在的噪声。在本文中，进行了一种更细微更直接的方法来解决塌陷问题。本文首先证明了跳连与其他候选操作相比具有明显的优势，它可以很容易地从劣势状态中恢复过来并成为主导。因此，本文提出用辅助跳过连接来剔除这种优势，确保所有操作的竞争更加公平，在各种数据集上的大量实验验证了它可以大幅提高鲁棒性。
在前期推文Python中的时序分析工具包推荐（1）中介绍了时序分析的三个工具包，分别侧重于时序特征工程、基于sklearn的时序建模和更为高级的时序建模工具。今天，本篇再来介绍4个时序分析好用的工具包：Prophet、Merlion、Darts和GluonTS。
论文: DARTS: Differentiable Architecture Search
本文深度解读小米 AI 实验室 AutoML 团队（作者：初祥祥、周天宝、张勃、李吉祥）在可微分神经网络搜索（DARTS）方向的最新成果 Fair DARTS，该工作已被ECCV 2020 接收。
研究者称，该方法已被证明在卷积神经网络和循环神经网络上都可以获得业内最优的效果，而所用 GPU 算力有时甚至仅为此前搜索方法的 700 分之 1，这意味着单块 GPU 也可以完成任务。该研究的论文《DARTS: Differentiable Architecture Search》一经发出便引起了 Andrew Karpathy、Oriol Vinyals 等学者的关注。
DARTS的搜索空间非常有限，例如，对于每个边保留了一个运算符，每个节点固定接收两个前继输入，等等。这些约束有利于NAS搜索的稳定性，但它们也缩小了强大的搜索方法带来的准确性。最典型的，某些启发式设计（例如，每个单元格中有两个跳连运算符）或搜索技巧（例如，Early Stop），甚至随机搜索也可以达到令人满意的效果。
进来有很多种NAS技术相继提出，主要有基于强化学习的，基于进化算法的，还有基于梯度下降的，不同算法有不同优缺点。本文的PDARTS就是基于梯度下降的，其实看名字也能知道它其实是对DARTS的改进算法。
可微NAS(Differentiable Neural Architecture Search, DNAS)是指以可微的方式搜索网络结构，比较经典的算法是DARTS
darts是一个强大而易用的Python时间序列建模工具包。在github上目前拥有超过7k颗stars。
在超网络训练架构参数过程中，两个节点之间是八个操作同时作用的， skip connections 作为操作的其中一员，相较于其他的操作来讲是起到了跳跃连接的作用。在ResNet 中已经明确指出了跳跃连接在深层网络的训练过程中中起到了良好的梯度疏通效果，进而有效减缓了梯度消失现象。因此，在超网络的搜索训练过程中，skip connections可以借助其他操作的关系达到疏通效果，使得 skip connections 相较于其他操作存在不公平优势。
神经网络架构搜索之前主流的方法主要包括：强化学习，进化学习。他们的搜索空间都是不可微的，Differentiable Architecture Search 这篇文章提出了一种可微的方法，可以用梯度下降来解决架构搜索的问题，所以在搜索效率上比之前不可微的方法快几个数量级。可以这样通俗的理解：之前不可微的方法，相当于是你定义了一个搜索空间（比如3x3和5x5的卷积核），然后神经网络的每一层你可以从搜索空间中选一种构成一个神经网络，跑一下这个神经网络的训练结果，然后不断测试其他的神经网络组合。这种方法，本质上是从很多的组合当中尽快的搜索到效果很好的一种，但是这个过程是黑盒，需要有大量的验证过程，所以会很耗时。而这篇文章把架构搜索融合到模型当中一起训练。
目前 NAS 方法已经存在非常多，其中谷歌提出的 DARTS 方法，即可微分结构搜（Differentiable Architecture Search），引起了广大研究从业人员的关注与研究。但是DARTS 的可复现性不高，主要原因包括：
作者丨dwilimeth 编辑丨贾伟 本文转载自知乎专栏：AutoML随笔 ICLR 2020会议将于 4 月 26 日在非洲埃塞俄比亚（亚斯亚贝巴）举行。本届会议共有 2594篇投稿，其中 687篇论文被接收（48篇oral论文，107篇spotlight论文和531篇poster论文），接收率为26.5%。本文介绍的是巴黎综合理工和华为诺亚方舟实验室的Antoine Yang，Pedro M Esperanca 和 Fabio Maria Carlucc完成，发表在ICLR 2020 上的论文《NAS
如上图所示，在DARTS中，搜索时候是以 8 cells with 50 epochs 来进行的，而evaluate时却以 20 cells，这bias造成了精度大幅度下降；而 P-DARTS 以渐进的方式 5 cells, 11 cells, 17 cells 分别 25 epochs 来进行，这样更能接近evaluate时的情况，故性能也更好。
接着上面的P-DARTS来看，尽管上面可以在17 cells情况下单卡完成搜索，但妥协牺牲的是operation的数量，这明显不是个优秀的方案，故此文 Partially-Connected DARTS，致力于大规模节省计算量和memory，从而进行快速且大batchsize的搜索。
本文提出了二进制架构搜索(BATS)，这是一个通过神经架构搜索(NAS)大幅缩小二进制神经网络与其实值对应的精度差距的框架。实验表明，直接将NAS 应用于二进制领域的结果非常糟糕。为了缓解这种情况，本文描述了将 NAS 成功应用于二进制领域的 3 个关键要素：
作者：Sirui Xie、Hehui Zheng、Chunxiao Liu、Liang Lin
本文作者对NAS任务中强化学习的效率进行了深入思考，从理论上给出了NAS中强化学习收敛慢的原因。该论文提出了一种全新的经济、高效且自动化程度高的神经网络结构搜索（NAS）方法。他们通过深入分析NAS任务的MDP，提出了一个更高效的方法——随机神经网络结构搜索，重新建模了NAS问题。与基于强化学习的方法（ENAS）相比，SNAS的搜索优化可微分，搜索效率更高。与其他可微分的方法（DARTS）相比，SNAS直接优化NAS任务的目标函数，搜索结果偏差更小。此外，基于SNAS保持了随机性（stochasticity）的优势，该论文进一步提出同时优化网络损失函数的期望和网络正向时延的期望，自动生成硬件友好的稀疏网络。
可微分的神经架构搜索方法在自动机器学习中盛行，主要是由于其搜索成本低，设计搜索空间灵活。然而，这些方法在优化网络方面存在困难，因此搜索到的网络往往对硬件不友好。本文针对这一问题，在优化中加入可微分的时延损失项，使搜索过程可以在精度和时延之间进行平衡系数的权衡。延迟预测模块（LPM）是对每个网络架构进行编码，并将其输入到一个多层回归器中，通过随机抽样收集训练数据，并在硬件上对其进行评估。本文在NVIDIA Tesla-P100 GPU上评估了该方法。在100K采样架构（需要几个小时）的情况下，延迟预测模块的相对误差低于10%。嵌入延迟预测模块，搜索方法可以减少20%的延迟，同时保留了精度。本文的方法还能简洁的移植到广泛的硬件平台上，或用于优化其他不可微的因素，如功耗。
【导读】上一篇中，笔者翻译了国外一篇介绍Automl和NAS的博客，点这里回顾。这一篇是笔者对《A Comprehensive Survey of Nerual Architecture Search: Challenges and Solutions》这篇论文进行翻译和解读，这是2020年刚刚发到arxiv上的有关NAS的综述，内容比较多，30页152篇参考文献。对初学者来说，可以当作一个学习的目录，阅读文中提到的论文。文末用思维导图总结了整篇文章脉络，可以用来速览。
NAS技术都有一个通病：在搜索过程中验证精度较高，但是在实际测试精度却没有那么高。传统的基于梯度搜索的DARTS技术，是根据block构建更大的超网，由于搜索的过程中验证不充分，最终eval和test精度会出现鸿沟。从下图的Kendall系数来看，DARTS搜出的网络精度排名和实际训练完成的精度排名偏差还是比较大。
需要说明的是，由于算法的代码实现主要注重思路的清晰，下方有代码实现的文章主要以Python为主，Java为辅，对于Python薄弱的同学敬请不用担心，几乎可以看作是伪代码，可读性比较好。如实在有困难可以自行搜索Java代码
我们可以发现这个函数的名字有点长，现在我想给它一个缩写 cop，这该怎么办？很明显我可以直接修改定义的函数名，这是我自己写的函数，我想去改确实可以，但是如果这是某个模块封装好的函数就不建议（甚至不能够）修改定义了。就算如此，重命名依然很简单，因为函数也是对象，对象赋给一个变量没问题，所以只要一个简单的赋值即可：cop = caculation_of_pi。这里需要注意：最右边没有括号！如果有了括号 cop 就不是函数对象，而是函数的返回值！
AI 科技评论按：近年来，深度学习的繁荣，尤其是神经网络的发展，颠覆了传统机器学习特征工程的时代，将人工智能的浪潮推到了历史最高点。然而，尽管各种神经网络模型层出不穷，但往往模型性能越高，对超参数的要求也越来越严格，稍有不同就无法复现论文的结果。而网络结构作为一种特殊的超参数，在深度学习整个环节中扮演着举足轻重的角色。在图像分类任务上大放异彩的ResNet、在机器翻译任务上称霸的Transformer等网络结构无一不来自专家的精心设计。这些精细的网络结构的背后是深刻的理论研究和大量广泛的实验，这无疑给人们带来了新的挑战。
时间序列预测一直是数据科学领域的一个热门研究课题，广泛应用于能源、金融、交通等诸多行业。传统的统计模型如ARIMA、GARCH等因其简单高效而被广泛使用。而近年来，随着深度学习的兴起，基于神经网络的预测模型也备受关注，表现出了强大的预测能力。
尽管卷积神经网络(CNNs)通常与图像分类任务相关，但经过适当的修改，它已被证明是进行序列建模和预测的有价值的工具。在本文中，我们将详细探讨时域卷积网络(TCN)所包含的基本构建块，以及它们如何结合在一起创建一个强大的预测模型。使用我们的开源Darts TCN实现，我们展示了只用几行代码就可以在真实数据集上实现准确预测。
学习Python编程不仅仅是掌握语法和知识点，更重要的是学会如何运用它来解决实际问题。在编程的过程中，我们难免会遇到各种问题和错误。而解决问题是学习Python的必要步骤，通过处理问题，我们能够更深入地了解Python的特性和用法，提高代码质量，锻炼我们的逻辑思维和解决问题的能力。
推荐系统的输入特征具有稀疏性、分布差异大的特性，这两个特性决定了AES工作的意义。其中“稀疏性”理解为特征id经过hash化后，往往只占据完整hash表的一部分。比如文章的category，一般是百级别到千级别的，为了避免冲突，我们一般设定hash表的大小是category数量的数倍，这样就会存在着大量没有使用到的表元素。进一步的，对hash表中的元素建立embedding table，也会存在着大量embedding没有被使用。因此，embedding占据了推荐模型中的大部分参数量。而“分布差异大”则表现为，不同field的特征数量往往差别很大，比如对于“性别”只有3个值，而user ID的量级可能是数以亿计。因此，不同的features所携带的信息也是各异的。特别的，对于一些低频的特征，不仅应该设定更小的embedding size，甚至还可能要将其过滤掉以避免出现过拟合；而对于一些高频的特征，不仅本身携带较大的信息量，和其他特征也会有更大的“共现”机会（“共现”的特性可以用来建模交叉特征，这里不做展开讲），因此应该设定更大的embedding size。
【GiantPandaCV导语】这篇是MIT韩松实验室发布的文章，是第一个直接在ImageNet上进行搜索的NAS算法，并且提出了直接在目标硬件上对latency进行优化的方法。相比于同期算法NASNet、MnasNet等，搜索代价降低了200倍。
本文分享一篇发表在SIGIR’21的点击率预估方面的文章，AutoPI：一种自动发掘点击率预估中强大特征交互的通用方法[1]
上一篇文章介绍了Data preparation,Feature Engineering，Model Selection，这篇文章会继续介绍后面的内容。
我的理解就是原本节点和节点之间操作是离散的，因为就是从若干个操作中选择某一个，而作者试图使用softmax和relaxation（松弛化）将操作连续化，所以模型结构搜索的任务就转变成了对连续变量\(α={α^{(i,j)}}\)以及\(w\)的学习。(这里\(α\)可以理解成the encoding of the architecture)。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
云直播
对象存储
