Google AI 终于发布了 AutoML 的 beta 版，有人说这项服务将彻底改变深度学习的方式。
摘要：NAS 受限于其过高的计算资源 (GPU 时间, GPU 内存) 需求，仍然无法在大规模任务 (例如 ImageNet) 上直接进行神经网络结构学习。目前一个普遍的做法是在一个小型的 Proxy 任务上进行网络结构的学习，然后再迁移到目标任务上。这样的 Proxy 包括: (i) 训练极少量轮数; (ii) 在较小的网络下学习一个结构单元 (block)，然后通过重复堆叠同样的 block 构建一个大的网络; (iii) 在小数据集 (例如 CIFAR) 上进行搜索。然而，这些在 Proxy 上优化的网络结构在目标任务上并不是最优的。在本文中，我们提出了 ProxylessNAS，第一个在没有任何 Proxy 的情况下直接在 ImageNet 量级的大规模数据集上搜索大设计空间的的 NAS 算法，并首次专门为硬件定制 CNN 架构。我们将模型压缩 (减枝，量化) 的思想与 NAS 进行结合，把 NAS 的计算成本 (GPU 时间, GPU 内存) 降低到与常规训练相同规模，同时保留了丰富的搜索空间，并将神经网络结构的硬件性能 (延时，能耗) 也直接纳入到优化目标中。我们在 CIFAR-10 和 ImageNet 的实验验证了」直接搜索」和「为硬件定制」的有效性。在 CIFAR-10 上，我们的模型仅用 5.7M 参数就达到了 2.08% 的测试误差。对比之前的最优模型 AmoebaNet-B，ProxylessNAS 仅用了六分之一的参数量就达到了更好的结果。在 ImageNet 上，ProxylessNAS 比 MobilenetV2 高了 3.1% 的 Top-1 正确率，并且在 GPU 上比 MobilenetV2 快了 20%。在同等的 top-1 准确率下 (74.5% 以上), ProxylessNAS 的手机实测速度是当今业界标准 MobileNetV2 的 1.8 倍。在用 ProxylessNAS 来为不同硬件定制神经网络结构的同时，我们发现各个平台上搜索到的神经网络在结构上有很大不同。这些发现为之后设计高效 CNN 结构提供新的思路。
导读： 从训练到用不同的参数做实验，设计神经网络的过程是劳力密集型的，非常具有挑战性，而且常常很麻烦。但是想象一下，如果能够将这个过程实现自动化呢？将这种想象转变为现实，就是本指南的核心内容。 我们将探索一系列的研究论文，这些论文试图解决具有挑战性的自动化神经网络设计任务。在本指南中，我们假设读者尝试过使用 Keras 或 TensorFlow 等框架从头开始设计神经网络。
知识蒸馏可以看做教师网络通过提供soft label的方式将知识传递到学生网络中，可以被视为一种更高级的label smooth方法。soft label与hard label相比具有以下优点：
我正打算写写 Python 的生成器，然而查资料时发现，引入生成器的 PEP 没人翻译过，因此就花了点时间翻译出来。如果在阅读时，你有读不懂的地方，不用怀疑，极有可能是我译得不到位。若出现这种情况，我建议你直接阅读原文，最好也能将错误处告知于我，以便做出修改。
神经网络搜索（Neuarl Architecture Search)是近年来兴起的热门方向。在这次 ICML 的文章中，我们提出了 Few-shot NAS， 通过分割搜索空间，对分割后的子空间独立建立了一个子超网络（sub-supernet）来预测网络性能。通过建立 one-shot NAS 和传统挨个训练 NAS 的联系，few-shot NAS 巧妙继承了两种方法的优点，兼有 one-shot NAS 的快速和传统 NAS 的准确网络性能评估。大量实验表明 few-shot NAS 是一个简单易行的方法，在不同任务上和数据集上能提升当下几乎所有的 NAS 方法，包括 ImageNet 及 CIFAR-10 的分类任务和 GAN 这样的生成任务等。该文章被 ICML-2021 接收为 long talk。
> x <- vector("character",length=10) > x1 <- 1:4 > x2 <- c(1,2,3,4) > x3 <- c(TRUE,10,"a") #如果给向量赋值时元素类型不一致，R就会强制转换，将他们变为同一类型 > x4 <- c("a","b","c","d")
---- 新智元报道 编辑：David Joey 【新智元导读】研究人员提出了一种多路径神经架构搜索（MPNAS）方法，为多领域建立一个具有异质网络架构的统一模型。 面向视觉任务（如图像分类）的深度学习模型，通常用来自单一视觉域（如自然图像或计算机生成的图像）的数据进行端到端的训练。 一般情况下，一个为多个领域完成视觉任务的应用程序需要为每个单独的领域建立多个模型，分别独立训练，不同领域之间不共享数据，在推理时，每个模型将处理特定领域的输入数据。 即使是面向不同领域，这些模型之间的早期层的有些特
按照高通SDX62平台产品规格，其支持RMNET、ECM、RNDIS、PPP、MBIM等拨号；但经测试，发现MBIM拨号功能正常，但搜网、查询信号等功能均异常，返回“error:operation failed:Failure”或返回信息为空
今天分享的这篇文章主要解决NAS代理机制下无法搜索到全局最优的问题，改进搜索策略，一定程度上解决资源消耗的问题。其主要是基于DARTs改的，那就先谈谈DARTs的一些问题：
【导读】上一篇中，笔者翻译了国外一篇介绍Automl和NAS的博客，点这里回顾。这一篇是笔者对《A Comprehensive Survey of Nerual Architecture Search: Challenges and Solutions》这篇论文进行翻译和解读，这是2020年刚刚发到arxiv上的有关NAS的综述，内容比较多，30页152篇参考文献。对初学者来说，可以当作一个学习的目录，阅读文中提到的论文。文末用思维导图总结了整篇文章脉络，可以用来速览。
神经结构搜索(NAS)在设计最先进的(SOTA)模型方面表现出了巨大的潜力，既准确又快速。近年来，BigNAS 等两阶段 NAS 将模型训练和搜索过程解耦，取得了良好的搜索效率。两阶段 NA S在训练过程中需要对搜索空间进行采样，这直接影响最终搜索模型的准确性。尽管均匀抽样的广泛应用是为了简化，但它不考虑模型性能的帕累托前沿，而帕累托前沿是搜索过程中的主要关注点，因此错过了进一步提高模型精度的机会。在这项工作中，我们建议关注于采样网络，以提高性能的帕累托。在训练过程中，本文还提出了有效识别帕累托网络的算法。无需额外的再训练或后处理，就可以通过广泛的 FLOPs 同时获得大量的网络。本文发现的模型家族 AttentiveNAS 模型在 ImageNet 上的准确率最高，从77.3%到80.7%，优于包括 BigNAS、Once-for-All networks 和 FBNetV3 在内的 SOTA 模型。并且本文还实现了 ImageNet 的精度为80.1%，只需491 MFLOPs。
作者：Quanming Yao ，Ju Xu，Wei-Wei Tu，Zhanxing Zhu
代码：https://github.com/xujinfan/NASP-codes
现如今分析扩增子，数据量普遍是越来越大了，相应的系统发育树也在茁壮成长。 用ape包计算cophenetic距离时会报错树太大：
该项目发现很早了，但最近公司开会时想要共享屏幕什么的我才想起来。Free WebRTC - SFU - 一款简单、安全、可扩展的实时视频会议，支持高达4k的分辨率，它与所有主要的浏览器和平台兼容。该项目可实现的功能太多了，我这里不一一写出，可以看一下官方给出的特性图。
本文对 MIT 完成的，被ICLR 2020录用的论文《Harnessing Structures for Value-Based Planning and Reinforcement Learning》进行解读，相关工作已经开源。
生成对抗网络（GAN）自其诞生以来一直盛行。它的一个最显著的成功在于是用各种各样的卷积结构生成逼真的自然图像。
AI 科技评论按：近年来，深度学习的繁荣，尤其是神经网络的发展，颠覆了传统机器学习特征工程的时代，将人工智能的浪潮推到了历史最高点。然而，尽管各种神经网络模型层出不穷，但往往模型性能越高，对超参数的要求也越来越严格，稍有不同就无法复现论文的结果。而网络结构作为一种特殊的超参数，在深度学习整个环节中扮演着举足轻重的角色。在图像分类任务上大放异彩的ResNet、在机器翻译任务上称霸的Transformer等网络结构无一不来自专家的精心设计。这些精细的网络结构的背后是深刻的理论研究和大量广泛的实验，这无疑给人们带来了新的挑战。
最近Transformer在统一建模方面表现出了很大的威力，是否可以将Transformer应用到时序异常检测上引起了很多学者的研究兴趣。最近来自阿里达摩院、上海交通大学的几位学者就近年来针对时间序列场景中的Transformer模型进行了汇总，在Arxiv上发表了一篇综述。综述涵盖了Transformer针对时序问题下的具体设计，包含预测、异常检测、分类等诸多工业界常用场景，并开源了代码，是非常不错的学习资料。
现实世界的大多数系统是没有办法给出一个确切的函数定义，比如机器学习模型中的调参，大规模数据中心的冷藏策略等问题。这类问题统统被定义为黑盒优化。黑盒优化是在没办法求解梯度的情况下，通过观察输入和输出，去猜测优化变量的最优解。在过去的几十年发展中，遗传算法和贝叶斯优化一直是黑盒优化最热门的方法。不同于主流算法，本文介绍一个基于蒙特卡洛树搜索（MCTS）的全新黑盒优化算法，隐动作集蒙特卡洛树搜索 (LA-MCTS)。LA-MCTS 发表在 2020 年的 NeurIPS，仅仅在文章公开几个月后，就被来自俄罗斯 JetBrains 和韩国的 KAIST 的队伍独立复现，并用来参加 2020 年 NeurIPS 的黑盒优化挑战，分别取得了第三名和第八名的好成绩 [10][11]。
AI 前线导读： 由图卷积网络（GCN）推动的基于骨骼数据的人体动作识别由于其非欧氏结构数据具有强大的建模能力而备受关注。然而，许多现有的 GCN 方法都提供了预定义的图结构，这可能会丢失隐式的联合相关性。因此，探索更好的 GCN 架构则成为了亟需解决的问题。为了解决这些问题，本文的作者使用了神经结构搜索（NAS）的思路，提出了第一个可自动化设计的 GCN，该模型可用于基于骨骼数据的行为识别。在充分研究节点之间的时空相关性之后，作者通过提供多个动态图模块来丰富搜索空间。此外，作者引入了多跳模块，希望突破一阶逼近对表示能力的限制。相关论文已被 AAAI 2020 接收。本文是 AI 前线第 100 篇论文导读，我们将详细介绍这一搜索方法。
本文提出超越神经架构搜索（NAS）的高效神经架构搜索（ENAS），这是一种经济的自动化模型设计方法，通过强制所有子模型共享权重从而提升了NAS的效率，克服了NAS算力成本巨大且耗时的缺陷，GPU运算时间缩短了1000倍以上。在Penn Treebank数据集上，ENAS实现了55.8的测试困惑度；在CIFAR-10数据集上，其测试误差达到了2.89%，与NASNet不相上下（2.65%的测试误差）
以机器自动设计网络结构为目标的神经网络搜索（NAS，Neural Architecture Search）有望为机器学习带来一场新的革命。
前面的轻量级网络架构中，介绍了mobilenet v1和mobilenet v2，前不久，google又在其基础之上推出新的网络架构，mobilenet v3.
本文作者对NAS任务中强化学习的效率进行了深入思考，从理论上给出了NAS中强化学习收敛慢的原因。该论文提出了一种全新的经济、高效且自动化程度高的神经网络结构搜索（NAS）方法。他们通过深入分析NAS任务的MDP，提出了一个更高效的方法——随机神经网络结构搜索，重新建模了NAS问题。与基于强化学习的方法（ENAS）相比，SNAS的搜索优化可微分，搜索效率更高。与其他可微分的方法（DARTS）相比，SNAS直接优化NAS任务的目标函数，搜索结果偏差更小。此外，基于SNAS保持了随机性（stochasticity）的优势，该论文进一步提出同时优化网络损失函数的期望和网络正向时延的期望，自动生成硬件友好的稀疏网络。
数据科学 ≠ 软件工程 [08:43]。你会看到一些不符合 PEP 8 的代码和import *之类的东西，但暂时跟着走一段时间。我们现在正在做的是原型模型，原型模型有一套完全不同的最佳实践，这些实践在任何地方都没有教授。关键是能够非常互动和迭代地进行操作。Jupyter 笔记本使这变得容易。如果你曾经想知道display是什么，你可以做以下三件事之一：
通常，render props和高阶组件仅渲染一个子组件。React团队认为，Hooks 是服务此用例的更简单方法。
大多数设备的刷新频率是60Hz，也就说是浏览器对每一帧画面的渲染工作要在16ms内完成,超出这个时间，页面的渲染就会出现卡顿现象，影响用户体验。前端的用户体验给了前端直观的印象，因此对B/S架构的开发人员来说，熟悉浏览器的内部执行原理显得尤为重要。
过去数年间，研究者和企业都试图通过提供可获得的预训练计算机视觉或机器翻译模型，来让更多非专业人士用上深度学习方法。将预训练模型用到另一项任务上的方法，就是我们所说的迁移学习，但是这种方法依旧要求使用者具备一定的专业度，能够对在另一个数据集上运行的模型进行微调。因而如果有方法能够将这一步骤完全自动化，可以让更多的使用者从迄今为止机器学习领域所取得的重大突破受益。
在机器学习中，训练数据集的质量在很大程度上决定了模型的有效性。我们往往没有足够的多样化数据，这影响了模型的准确性。这时数据增强技术就派上了用场。
在Rust源代码中，rust/src/tools/clippy/clippy_lints/src/unused_peekable.rs这个文件是Clippy工具中一个特定的Lint规则的实现文件，用于检测未使用的Peekable迭代器。
作者：Xinbang Zhang, Zehao Huang, Naiyan Wang
发过来的原始文件就是一个csv，从文件大小上来看是一个小文件。那首先加载文件到R并看一些各列的情况：
RADIUS：Remote Authentication Dial In User Service，远程用户拨号认证系统由RFC2865，RFC2866定义，是应用最广泛的AAA协议。AAA是一种管理框架，因此，它可以用多种协议来实现。在实践中，人们最常使用远程访问拨号用户服务（Remote Authentication Dial In User Service，RADIUS）来实现AAA。
zhuanlan.zhihu.com/c_1113861154916601856
论文地址：https://www.weiranhuang.com/publications/DARTS+.pdf
（2）如果已经创建了 Create React App 项目，需要将 typescript 引入到已有项目中
我在生产服务器上有一个很大的200GB的日志文件需要删除。我的rm和ls命令已经崩溃，我担心这是由于巨大的磁盘IO造成的，要删除这个大文件，输入：
好的书籍是人类进步的阶梯，但有些人却找不到优秀的阶梯，为此我们开设了书籍翻译这个栏目，作为你学习之路的指路明灯；分享国内外优秀书籍，弘扬分享精神，做一个知识的传播者。
来自瑞士电信和EPFL的研究者提出了一种评价NAS搜索阶段的测试基准。他们发现，最先进的三种NAS算法DARTS、NAO、ENAS往往与随机搜索完全相同，甚至在某些情况下还不如随机搜索。
岳排槐 发自 LZYY 量子位 出品 | 公众号 QbitAI 去年，谷歌大脑团队发布神经网络自动架构搜索（NAS）。这个方法理论上能够更好地、自动化地设计神经网络的架构。 尽管NAS表现出色，但却要
近日，GulfTech公司安全研究员James Bercegay发现，西部数据（Western Digital）旗下多个MyCloud系列网络存储设备（WDMyCloud NAS）存在未限制文件上传、硬编码后门、CSRF、命令注入等多个高危漏洞，攻击者可以利用这些漏洞，对MyCloud NAS设备植入恶意代码，远程登录或获得设备控制权限（漏洞利用exploit）。而且，WDMyCloud竟然还与D-Link存在代码共用情况！ 漏洞概述和受影响设备 西部数据MyCloud系列（WDMyCloud ）广泛应用于
反事实推理是可解释性的一般范式。它是关于确定我们需要对输入数据应用哪些最小更改，以便分类模型将其分类到另一个类中。
【GiantPandaCV】DARTS将离散的搜索空间松弛，从而可以用梯度的方式进行优化，从而求解神经网络搜索问题。本文首发于GiantPandaCV，未经允许，不得转载。
论文: S2DNAS: Transforming Static CNN Model for Dynamic Inference via Neural Architecture Search
作者：Sirui Xie、Hehui Zheng、Chunxiao Liu、Liang Lin
在这篇由腾讯 AI Lab 主导，和华南理工大学合作完成的论文中，作者利用强化学习的方法学习了一种神经网络结构转换器。它能对任意的神经网络结构进行优化，将其转换为更紧凑、识别精度更高的结构。以下为论文的详细解读。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
