理解OpenShift（5）：从 Docker Volume 到 OpenShift Persistent Volume
【GiantPandaCV导语】本文介绍了一篇发表于NeuIPS20发表的半监督神经网络结构搜索算法，通过在训练预测器的过程中引入半监督算法，一定程度上提升了预测器的准确率。
本文解读的是 CVPR 2020 论文《When NAS Meets Robustness: In Search of Robust Architectures against Adversarial Attacks》，作者来自香港中文大学、MIT。
当人工设计的神经网络结构在各项任务上都取得了很好的成绩之后，人类开始思考如何自动设计网络结构。
在这篇由腾讯 AI Lab 主导，和华南理工大学合作完成的论文中，作者利用强化学习的方法学习了一种神经网络结构转换器。它能对任意的神经网络结构进行优化，将其转换为更紧凑、识别精度更高的结构。以下为论文的详细解读。
AI 科技评论按：本文由「图普科技」编译自 An Opinionated Introduction to AutoML and Neural Architecture Search （http://www.fast.ai/2018/07/16/auto-ml2/#auto-ml）
AI 研习社按：本文由「图普科技」编译自 An Opinionated Introduction to AutoML and Neural Architecture Search 。
近年来，神经网络已经成为了计算机视觉中主要的机器学习解决方案。然而神经网络结构的设计仍然需要极强的专业知识，在一定程度上妨碍了神经网络的普及。
随着深度学习技术的广泛使用，人们对于如何自动对神经网络结构进行设计产生了浓厚的兴趣，研究人员希望能够通过数据驱动的方式对模型结构进行搜索，更加自动地找到能够拟合当前任务的最佳网络结构。
本文全名Searching for Network Width with Bilaterally Coupled Network， 简称BCNetV2，目前已发表在人工智能领域顶刊 IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)，影响因子 24.3。其前序工作为 BCNet: Searching for Network Width with Bilaterally Coupled Network，简称BCNetV1，该论文已发表在人工智能顶会 CVPR 2021。目前BCNetV2 和BCNetV1 均已开源。
本文主要介绍了在Caffe中使用的各种神经网络结构，包括Alexnet、Squeezenet、VGG、ResNet、Inception、DenseNet等。这些网络结构在计算机视觉上都有很广泛的应用，例如物体识别、图像分类等。本文还介绍了这些网络结构的预训练模型，可供使用者直接使用。
机器之心专栏 作者：huichan chen AutoML 是 Google 最新的产品，能够根据问题自动确定最优参数和网络结构。本文章就关注解析 AutoML 背后的技术，由于 AutoML 缺乏技
本次报告主要分享的是高分辨率表征学习，在计算机视觉识别里面的应用，包括如何在整个神经网络结构中维持高分辨率的表征，提出了HRNet模型结构，以及在场景分割、关键点检测、人脸对齐等任务中的实验结果和应用，最后对网络空间搜索的探索和影响等问题进行了探讨和展望。
百度作为国内第一个成立深度学习研究院（Institute of Deep Learning，IDL），并且也是国内第一个自研深度学习框架的企业，在WAVE SUMMIT深度学习开发者峰会上对自动化深度学习网络结构设计AutoDL Design系统进行了全面开源。
本文是对神经结构搜索（NAS）的简单综述，在写作的过程中参考了文献[1]列出的部分文献。深度学习技术发展日新月异，市面的书很难跟上时代的步伐，本人希望写出一本内容经典、新颖的机器学习教材，此文是对《机器学习与应用》，清华大学出版社，雷明著一书的补充。该书目前已经重印了3次，收到了不少读者的反馈，对于之前已经发现的笔误和印刷错误，在刚印刷出的这一版中已经做了校正，我会持续核对与优化，力争写成经典教材，由于水平和精力有限，难免会有不少错误，欢迎指正。年初时第二版已经修改完，将于上半年出版，补充了不少内容（包括梯度提升，xgboost，t-SNE等降维算法，条件随机场等），删掉了源代码分析，例子程序换成了python，以sklearn为基础。本书勘误与修改的内容见：
前几天发布的一篇文章中我们曾提到国外的AI捏脸应用FaceApp引发大量关注。它能让人一键变成老人，一键返老还童，一键由男变女，一键破涕为笑，一键失去头发……
方杰民，华中科技大学电子信息与通信学院媒体与通信实验室研究生在读，师从王兴刚副教授，地平线平台与技术部算法实习生，主要研究方向为网络结构搜索、模型结构优化。
FBNet系列是完全基于NAS方法的轻量级网络系列，分析当前搜索方法的缺点，逐步增加创新性改进，FBNet结合了DNAS和资源约束，FBNetV2加入了channel和输入分辨率的搜索，FBNetV3则是使用准确率预测来进行快速的网络结构搜索
威胁检测是网络安全领域一个重要方向。如今在网络安全公司中已经开展了很多利用机器学习、深度学习方法进行威胁检测的研究。不少安全研究人员利用专家知识结合机器学习将网络中的威胁通过模型算法检测出来。但是这个过程不仅仅需要巨大的算力，而且需要引入过多的人力才能够找到适合场景的模型算法，后期甚至花大量时间进行参数优化。花费大量精力来进行模型和算法的选择以及训练对于需求不断增长的业务场景来说往往是不够的，因此一种自动化进行机器学习的研究方向应运而生。
近年来，通过神经架构搜索（NAS）算法生成的架构在各种计算机视觉任务中获得了极强的的性能。然而，现有的 NAS 算法需要再上百个 GPU 上运行 30 多天。在本文中，我们提出了一种基于多项式分布估计快速 NAS 算法，它将搜索空间视为一个多项式分布，我们可以通过采样-分布估计来优化该分布，从而将 NAS 可以转换为分布估计/学习。
网络结构搜索技术近些年获得了广泛的关注，但是其搜索空间往往被限缩在元结构内部（循环单元或卷积单元等），缺乏对模型整体架构的学习。
今天总结了一些关于「卷积神经网络」的经典论文分享给大家，希望可以给大家发论文提供一些灵感。
本文介绍如何从CKPT模型文件中提取网络结构图并实现可视化。
在美图秀秀推出的小程序中，用户只需上传一张老照片，就能使用 AI 还原旧时光，把模糊照片变得更高清。
摘要：NAS 受限于其过高的计算资源 (GPU 时间, GPU 内存) 需求，仍然无法在大规模任务 (例如 ImageNet) 上直接进行神经网络结构学习。目前一个普遍的做法是在一个小型的 Proxy 任务上进行网络结构的学习，然后再迁移到目标任务上。这样的 Proxy 包括: (i) 训练极少量轮数; (ii) 在较小的网络下学习一个结构单元 (block)，然后通过重复堆叠同样的 block 构建一个大的网络; (iii) 在小数据集 (例如 CIFAR) 上进行搜索。然而，这些在 Proxy 上优化的网络结构在目标任务上并不是最优的。在本文中，我们提出了 ProxylessNAS，第一个在没有任何 Proxy 的情况下直接在 ImageNet 量级的大规模数据集上搜索大设计空间的的 NAS 算法，并首次专门为硬件定制 CNN 架构。我们将模型压缩 (减枝，量化) 的思想与 NAS 进行结合，把 NAS 的计算成本 (GPU 时间, GPU 内存) 降低到与常规训练相同规模，同时保留了丰富的搜索空间，并将神经网络结构的硬件性能 (延时，能耗) 也直接纳入到优化目标中。我们在 CIFAR-10 和 ImageNet 的实验验证了」直接搜索」和「为硬件定制」的有效性。在 CIFAR-10 上，我们的模型仅用 5.7M 参数就达到了 2.08% 的测试误差。对比之前的最优模型 AmoebaNet-B，ProxylessNAS 仅用了六分之一的参数量就达到了更好的结果。在 ImageNet 上，ProxylessNAS 比 MobilenetV2 高了 3.1% 的 Top-1 正确率，并且在 GPU 上比 MobilenetV2 快了 20%。在同等的 top-1 准确率下 (74.5% 以上), ProxylessNAS 的手机实测速度是当今业界标准 MobileNetV2 的 1.8 倍。在用 ProxylessNAS 来为不同硬件定制神经网络结构的同时，我们发现各个平台上搜索到的神经网络在结构上有很大不同。这些发现为之后设计高效 CNN 结构提供新的思路。
继续咱们的“网络结构1000变”板块，最新上新的内容主要是动态推理的网络结构，即在测试时，对于不同的输入图像，表现不同的网络结构，下面是一个代表。
下面我们主要以一些常见的网络结构去解析，并介绍大部分的网络的特点。这里看一下卷积的发展历史图。
AI 科技评论按：近年来，深度学习的繁荣，尤其是神经网络的发展，颠覆了传统机器学习特征工程的时代，将人工智能的浪潮推到了历史最高点。然而，尽管各种神经网络模型层出不穷，但往往模型性能越高，对超参数的要求也越来越严格，稍有不同就无法复现论文的结果。而网络结构作为一种特殊的超参数，在深度学习整个环节中扮演着举足轻重的角色。在图像分类任务上大放异彩的ResNet、在机器翻译任务上称霸的Transformer等网络结构无一不来自专家的精心设计。这些精细的网络结构的背后是深刻的理论研究和大量广泛的实验，这无疑给人们带来了新的挑战。
本文作者对NAS任务中强化学习的效率进行了深入思考，从理论上给出了NAS中强化学习收敛慢的原因。该论文提出了一种全新的经济、高效且自动化程度高的神经网络结构搜索（NAS）方法。他们通过深入分析NAS任务的MDP，提出了一个更高效的方法——随机神经网络结构搜索，重新建模了NAS问题。与基于强化学习的方法（ENAS）相比，SNAS的搜索优化可微分，搜索效率更高。与其他可微分的方法（DARTS）相比，SNAS直接优化NAS任务的目标函数，搜索结果偏差更小。此外，基于SNAS保持了随机性（stochasticity）的优势，该论文进一步提出同时优化网络损失函数的期望和网络正向时延的期望，自动生成硬件友好的稀疏网络。
论文: FBNet: Hardware-Aware Efficient ConvNet Design via Differentiable Neural Architecture Search | CVPR 2019
Tensorflow官方提供的Tensorboard可以可视化神经网络结构图，但是说实话，我几乎从来不用。主要是因为Tensorboard中查看到的图结构太混乱了，包含了网络中所有的计算节点（读取数据节点、网络节点、loss计算节点等等）。更可怕的是，如果一个计算节点是由多个基础计算（如加减乘除等）构成，那么在Tensorboard中会将基础计算节点显示而不是作为一个整体显示（典型的如Squeeze计算节点）。最近为了排查网络结构BUG花费一周时间，因此，狠下心来决定自己写一个工具，将Tensorflow中的图以最简单的方式显示最关键的网络结构。
典型的卷积神经网络由卷积层、池化层、全连接层构成。在这里以LeNet5网络来说明，下图是这个网络的结构：
2020 年 8 月 7 日，第五届全球人工智能与机器人峰会（CCF-GAIR 2020）在深圳正式开幕。
52CV曾经第一时间报道过CVPR2019 | 微软、中科大开源基于深度高分辨表示学习的姿态估计算法，此后该文引起不少媒体的关注。
OpenShift 支持 RBAC（Role Based Access Controll），基于角色的访问控制。它涉及诸多概念，本文尝试着做一些概念上的梳理，很多细节还需要进一步研究。
Very Deep Convolutional Networks for Large-Scale Image Recognition
YOLO V7出来的时候，有朋友跟我吐槽：V5还没闹明白呢，又来个V7，太卷了。 我找来了深耕目标检测的朋友张老师，从V1到V7，给各位做一次YOLO的系统分享。 张老师在辅助驾驶领域深耕多年，主要研究计算机视觉在工业目标检测、图像分割、人脸检测和识别等领域的落地。是一位既有深厚理论知识储备，又有丰富工业落地经验积累的高级算法工程师。 相信各位能从张老师的分享中，既学习到YOLO系列的理论架构，又了解到YOLO在实际工业中的应用。 因为分享的内容比较多，所以分两天进行，分别在9月21日和9月22日晚20:
有三AI知识星球的"网络结构"板块已经正式升级为“网络结构1000变”，顾名思义，就是要更新1000+网络结构解读，同时该板块还有以下变化。
该项目包含大量的改进方式，改进点包含 Backbone、Neck、Head、注意力机制、IoU 损失函数、多种 NMS、Loss 损失函数、自注意力机制系列、数据增强部分、激活函数等部分，更多内容可以关注 YOLOAir 项目的说明文档。
神经网络的结构学习是目前十分受关注的一个研究方向，主要包含网络结构优化和网络结构搜索两个方向。
大家好，欢迎来到《知识星球》专栏，这个专栏专栏剖析有三AI知识星球的内容生态，今天的内容属于网络结构1000变板块。
【导语】ICLR 是深度学习领域的顶级会议，素有深度学习顶会 “无冕之王” 之称。今年的 ICLR 大会将于5月6日到5月9日在美国新奥尔良市举行，大会采用 OpenReview 的公开双盲评审机制，共接收了 1578 篇论文：其中 oral 论文 24 篇 (约占 1.5%)，poster 论文共 476 篇 (占30.2%)。在这些录用的论文中，深度学习、强化学习和生成对抗网络 GANs 是最热门的三大研究方向。此前，AI 科技大本营已经对 ICLR2019 的论文投稿及接收情况与高分论文进行了报道和解读，大家可以再回顾一下。
机器之心专栏 机器之心编辑部 华为海思加拿大研究院和阿尔伯塔大学联合推出了一个基于预训练和知识注入的神经网络性能预测框架。 神经网络的性能评估 (精度、召回率、PSNR 等) 需要大量的资源和时间，是神经网络结构搜索（NAS）的主要瓶颈。早期的 NAS 方法需要大量的资源来从零训练每一个搜索到的新结构。近几年来，网络性能预测器作为一种高效的性能评估方法正在引起更多关注。 然而，当前的预测器在使用范围上受限，因为它们只能建模来自特定搜索空间的网络结构，并且只能预测新结构在特定任务上的性能。例如，训练样本只包
注意：支持在训练中调用callbacks，额外添加模型存储、TensorBoard、FPR度量等。
最近，地平线-华中科技大学计算机视觉联合实验室提出了一个新颖的 Differentiable NAS 方法——DenseNAS， 该方法可以搜索网络结构中每个 block 的宽度和对应的空间分辨率。本文将会从简介、对于网络规模搜索的思路、实现方法以及实验结果等方面诠释 DenseNAS 这一新的网络结构搜索方法。
此论文出自google Brain并发表与ICLR2017，看这篇论文主要是google Brain在cvpr2017上发表了一篇NASnet论文。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
