今天，谷歌宣布开源AdaNet，这是一个轻量级的基于TensorFlow的框架，可以在最少的专家干预下自动学习高质量的模型。
集成学习可以有效利用不同机器学习算法，提高最终模型精确度，在Kaggle比赛中被广泛应用。
Ensemble learning结合不同机器学习模型预测，被广泛用于神经网络以实现最先进的性能，得益于丰富的历史和理论保证，成功的挑战，如Netflix奖和各种Kaggle竞赛。然而，由于训练时间长，它们在实践中使用不多，机器学习模型候选者选择需要其自己的领域专业知识。但随着计算能力和专用深度学习硬件（如TPU）变得越来越容易获得，机器学习模型将变得更大，整体效果将变得更加突出。现在，想象一个工具可以自动搜索神经架构，并学会将最好的架构组合成一个高质量的模型。
Gradient Boosting Neural Networks: GrowNet
深度神经网络（DNN）在解决图像分类、文本识别和语音转换等实际难题方面具有显著的效果。然而，为一个给定的问题设计一个合适的 DNN 体系结构仍然是一个具有挑战性的任务。考虑到架构可能需要巨大的搜索空间，从头开始为特定的应用程序设计一个网络在计算资源和时间方面花销可能非常大。神经网络架构搜索和 AdaNet 等方法利用机器学习来搜索设计空间，以便找到改进架构的方法。另一种选择是将现有的体系结构用于类似的问题，并一次性为手头的任务进行优化。
深度神经网络(DNNs)在解决图像分类、文本识别和语音转录等实际关联难题方面具有显著的效果。然而，为给定的问题设计合适的DNN体系结构仍然是一项具有挑战性的任务。考虑到可能的架构有很大的搜索空间，从零开始为特定的应用程序设计一个网络在计算资源和时间方面代价可能非常昂贵。神经结构搜索和AdaNet等方法使用机器学习搜索设计空间，以找到改进的结构。另一种方法是使用现有的体系结构来解决类似的问题，并一次性地为手头的任务进行优化。
最近，谷歌在GitHub上发布了用TensorFlow实现的AutoML框架——AdaNet，它改进了集成学习的方法，能以最少的专家干预实现自动习得高质量模型。
结合不同机器学习模型预测的集成学习在神经网络中得到广泛使用以获得最优性能，它从其悠久历史和理论保证中受益良多，从而在 Netflix Prize 和多项 Kaggle 竞赛等挑战赛中取得胜利。但是，因其训练时间长、机器学习模型的选择要求领域专业知识，它们在实践中并不那么常用。而随着算力、深度学习专用硬件（如 TPU）的发展，机器学习模型将越来越大，集成技术也将越发重要。现在，想象一个工具，它能够自动搜索神经架构，学习将最好的神经架构集成起来构建高质量模型。
AI 科技评论编者按：近期，Google 开源了轻量级 AutoML 框架—— AdaNet，该框架基于 TensorFlow，只需要少量的专家干预便能自动学习高质量模型，在提供学习保证（learning guarantee）的同时也能保持快速、灵活。值得一提的是，AdaNet 提供了一种通用框架，不仅能够学习神经网络架构，还能学习集成从而获得更佳的模型。AI 科技评论根据 Google AI 在博客上发布 AutoML 的文章进行编译如下。
据说，现在很多小区都上线了AI抓拍高空抛物的黑科技，可以自动分析抛物轨迹，用来协助检查很多不文明行为。
人类公元纪年2019年伊始，深度学习技术也同样处在一个新的“开端”，宜review、宜展望。
深度学习在广泛应用于目标检测、分类等计算机视觉任务中。但这些应用往往需要很大的计算量和能耗。例如处理一张图片分类，VGG-16需要做 150亿次计算，而YOLOv3需要执行390亿次计算。
本次比赛内容传承了上届精髓，包含极具挑战性的软硬件协同设计任务：参赛队伍需要设计高精度算法完成小物体检测、被遮蔽物体检测、相似目标区分等任务，也需要充分考虑算法被部署在目标平台后的检测速度及功耗等硬件因素。本次比赛由 Nvidia、Xilinx 和 DJI 赞助，参赛者可选择 Nvidia TX2 GPU 或 Xilinx Ultra96 FPGA 作为目标平台，使用 DJI 提供的由无人机采集的图片作训练数据。机器之心邀请了荣获双冠军的 UIUC 博士生张晓帆对比赛获奖设计作深度解读。
在过去两年中，深度学习的速度加速了 30 倍。但是人们还是对 “快速执行机器学习算法” 有着强烈的需求。
扩展深度神经网络（DNN）训练对于减少模型训练时间非常重要。高通信消耗是在多个 GPU 上进行分布式 DNN 训练的主要性能瓶颈。商汤的这项研究表明流行的开源 DNN 系统在以 56 Gbps 网络连接的 64 个 GPU 上仅能实现 2.5 倍的加速比。为解决该问题，这项研究提出了通信后端 GradientFlow 用于分布式 DNN 训练，并使用了一系列网络优化技术。
来源丨网络 推荐阅读：终于来了，【第二期】 彭涛Python 爬虫特训营！! AutoML是指自动机器学习。它说明了如何在组织和教育水平上自动化机器学习的端到端过程。机器学习模型基本上包括以下步骤： 数据读取和合并，使其可供使用。 数据预处理是指数据清理和数据整理。 优化功能和模型选择过程的位置。 将其应用于应用程序以预测准确的值。 最初，所有这些步骤都是手动完成的。但是现在随着AutoML的出现，这些步骤可以实现自动化。AutoML当前分为三类： 用于自动参数调整的AutoML（相对基本的类型） 用于非深
选自arXiv 作者：Ziang Yan等 机器之心编译 参与：刘晓坤、黄小天 本文提出了一个名为 DeepDefense 的训练方案，其核心思想是把基于对抗性扰动的正则化项整合进分类目标函数，从而使模型可以学习直接而精确地防御对抗性攻击。在 MNIST、CIFAR-10 和 ImageNet 上的扩展实验证明了该方法可以显著提高不同深度学习模型对高强度对抗攻击的鲁棒性，同时还不会牺牲准确率。 虽然深度神经网络（DNN）在许多挑战性的计算机视觉任务中都取得了当前最优的表现，但在对抗样本（在人类感知上和真实图
Large mini-batch 分布式深度学习是满足需求的关键技术。但是由于难以在不影响准确性的情况下在大型集群上实现高可扩展性，因此具有较大的挑战难度。
在此期间，我们将项目与新的或主要版本进行了比较。Mybridge AI根据各种因素对项目进行排名，以衡量专业人员的质量。
神经结构搜索(NAS)在设计最先进的(SOTA)模型方面表现出了巨大的潜力，既准确又快速。近年来，BigNAS 等两阶段 NAS 将模型训练和搜索过程解耦，取得了良好的搜索效率。两阶段 NA S在训练过程中需要对搜索空间进行采样，这直接影响最终搜索模型的准确性。尽管均匀抽样的广泛应用是为了简化，但它不考虑模型性能的帕累托前沿，而帕累托前沿是搜索过程中的主要关注点，因此错过了进一步提高模型精度的机会。在这项工作中，我们建议关注于采样网络，以提高性能的帕累托。在训练过程中，本文还提出了有效识别帕累托网络的算法。无需额外的再训练或后处理，就可以通过广泛的 FLOPs 同时获得大量的网络。本文发现的模型家族 AttentiveNAS 模型在 ImageNet 上的准确率最高，从77.3%到80.7%，优于包括 BigNAS、Once-for-All networks 和 FBNetV3 在内的 SOTA 模型。并且本文还实现了 ImageNet 的精度为80.1%，只需491 MFLOPs。
车道和道路边缘检测对于自动驾驶汽车的开发至关重要，车道检测为诸如车道偏离警告之类的系统提供动力，可帮助驾驶员避免偏离车道。除了检测车道线信息外，自动驾驶汽车还需要检测其他道路标记（例如箭头或STOP）以及有助于将汽车精确定位的垂直地标。
深层神经网络是一种功能强大、应用广泛的模型，能够多级抽象提取任务相关信息。然而，这种成功通常是以计算成本、高内存带宽和长推理延迟为代价的，这使得它们无法部署在资源受限和时间敏感的场景中 ，如边缘推理和自动驾驶汽车。
问耕 编译整理 量子位·QbitAI 报道 在最近的FPGA国际研讨会(ISFPGA)上，英特尔加速器架构实验室(AAL)的Eriko Nurvitadhi博士，发表题为《Can FPGAs beat GPUs in Accelerating Next-Generation Deep Neural Networks》的报告，分享了英特尔的最新研究。 这一研究，主要评估在DNN(深度神经网络)算法领域，两代英特尔FPGA(Intel Arria10和Intel Stratix 10)，与NVIDIA TITA
在单个处理器上处理图所需的时间是T_1 = W，在无限多个进程上处理图所需的时间是。计算中的平均并行度是，在个处理器上的执行时间受限于：
看了那么多点击率相关模型论文，就会发现模型越来越深，越来越复杂，目标都是为了显式或隐式的挖掘交互特征。然而，复杂的模型会减慢预测推理的速度，提高了服务延迟和高内存使用率，对整个系统而言极不友好。《DeepLight: Deep Lightweight Feature Interactions for Accelerating CTR Predictions in Ad Serving》这篇论文提出了一种面向真实环境的DeepLight框架加速CTR预测。该框架下模型不仅能加速显式特征的挖掘，还能修剪冗余参数。在Criteo数据集上有46倍的加速，在Avazu数据集上有27倍的加速，却没有任何预测精度上的损失。
【新智元导读】英特尔加速器架构实验室的Eriko Nurvitadhi 博士以最新的 GPU 为参照，对两代 Intel FPGA 上新兴的DNN算法进行了评估，认为新兴的低精度和稀疏DNN算法效率较之传统的密集FP32 DNN有巨大改进，但是它们引入了GPU难以处理的不规则并行度和定制数据类型。相比之下，FPGA正是设计用于在运行不规则并行度和自定义数据类型时实现极端的可定制性的。这样的趋势使未来FPGA成为运行DNN、AI和ML应用的可行平台。 来自社交媒体和互联网的图像、视频和语音数字数据的持续指数
【新智元导读】此前，伯克利、TACC和UC戴维斯的研究人员使用新算法，在24分钟内训练完AlexNet，1小时训练完ResNet，创下了纪录。现在，他们继续推进，使用1024个CPU，在11分钟内训练
AI 科技评论按：TensorFlow 是目前最流行的深度学习库，它是 Google 开源的一款机器学习开发框架。Tensor 的意思是张量，代表 N 维数组；Flow 的意思是流，代表基于数据流图的计算。把 N 维数字从流图的一端流动到另一端的过程，就是人工智能神经网络进行分析和处理的过程。
AutoML是指自动机器学习。它说明了如何在组织和教育水平上自动化机器学习的端到端过程。机器学习模型基本上包括以下步骤：
当前CNN网络主要的运算集中在实数权值乘以实数激活值或者实数权值乘以实数梯度。论文提出BinaryConnect将用于前向传播和后向传播计算的实数权值二值化为, 从而将这些乘法运算变为加减运算。这样即压缩了网络模型大小，又加快了速度。论文提到，SGD通过平均权重带来的梯度来得到一些小的带噪声的步长，尝试更新权重去搜索参数空间，因此这些梯度非常重要，要有足够的分辨率，sgd至少需要6—8bits的精度。如果对权重进行量化，就会导致无法对权重直接求导，所以我们可以把二值化权重看成是带噪声的权重。论文认为，带噪声的权重往往能够带来正则化，使得泛化能力更好，类似Dropout，DropCconnect这种就是对激活值或者权重加入了噪声，它们表明只要权重的期望值是高精度的，添加噪声往往是有益处的，所以对权重进行量化理论角度是可行的。
BigGan、BERT和GPT-2的出现表明，越大的神经网络模型可以带来越好的性能。其中能写出各种假新闻的GPT-2参数就有15亿个之多。
来自社交媒体和物联网等多个渠道的可用数字数据（如图像、视频和语音）呈指数级增长，这驱动了对高性能数据分析的需求。与其它机器学习算法相比，深度神经网络（DNN）在过去十年里实现了巨大的准确率提升。它的应用领域很广，如图像分类、目标检测、自动驾驶和无人机导航等。其中卷积神经网络和循环神经网络这两种深度神经网络尤其受欢迎。CNN 在学习空间特征方面很强，而 RNN 则更适合涉及时间序列的问题。
Photo by Lukas from Pexels FFmpeg作为一个集录制、转换、音/视频编码解码功能为一体的开源框架，自然也需要考虑怎样去和当下流行的视频分析技术融合。本文来自英特尔网络平台
随着用于深度学习的数据集和深度神经网络模型的规模增大，训练模型所需的时间也在增加具有数据并行性的大规模分布式深度学习可以有效缩短训练时间。
我们先来看看Mybridge AI 中排名靠前的顶级开源项目，再聊聊机器学习今年都有哪些发展，最后探寻下新的一年中会有哪些有值得我们期待的事情。
阅读原文有学习资源分享。 导语：FPGA 在加速下一代深度学习方面能击败GPU吗？ 许多图像、视频和语音来自社交媒体和物联网等数据源，这些内容的数字数据继续急剧增长，从而促使企业界需要分析技术让这些数据易于理解、具有实用性。 数据分析常常依赖机器学习算法。在诸多机器学习算法中，深度卷积神经网络（DNN）为重要的图像分类任务提供了最高的准确度，因而得到了广泛采用。 在可编程门阵列国际研讨会（ISFPGA）上，来自英特尔加速器架构实验室（AAL）的埃里科·努维塔蒂（Eriko Nurvitadhi）博士介绍了
FFmpeg作为一个集录制、转换、音/视频编码解码功能为一体的开源框架，自然也需要考虑怎样去和当下流行的视频分析技术融合。本文来自英特尔网络平台部软件工程师谢林在LiveVideoStack线上分享中
OpenCV DNN不光支持图像分类，对象检测作为计算机视觉主要任务之一，OpenCV DNN支持多种对象检测模型，可以快速实现基于COCO数据集与Pascal VOC数据集的对象检测。此外基于自定义数据集，通过tensorflow对象检测框架或者pytorch的ONNX格式还可以支持自定义对象检测模型训练导出与部署。本文总结了OpenCV DNN支持的各种对象检测模型与它们的输入输出。
AI 科技评论按：深度神经网络（DNN）作为机器学习的基础，为图像识别、图像分割、机器翻译等诸多领域取得突破性进展做出了重大贡献，然而研究人员始终都无法完全理解支配 DDN 的基本原理。其中，泛化是预测和理解 DNN 在未见过样本上的性能的重要指标，而理解泛化的一个重要概念便是泛化鸿沟（generalization gap）。基于此，谷歌的这篇 ICLR 2019 论文提出使用跨网络层的标准化边际分布作为泛化鸿沟的预测因子，对边际分布与泛化之间的关系进行了实证研究，结果表明边际分布的一些基本统计量可以准确地预测泛化鸿沟。谷歌发表文章对该论文进行了介绍，AI 科技评论编译如下。
当用户在线上浏览酒店时，作为旅行平台，如何挑选更合适的酒店推荐给用户，降低其选择的费力度，是需要考虑的一个问题。在携程APP中，一般会触发多种场景。在Figure 1中，我们列举了几种典型的场景：欢迎度排序，智能排序和搜索补偿推荐。
本文作者Favio Vázquez从2018年开始发布《数据科学和人工智能每周文摘：Python & R》系列文章，为数据科学家介绍最好的库、repos、packages以及工具。
选自UC Berkeley 机器之心编译 参与：李泽南、蒋思源 今年 6 月，Facebook 实现 1 小时训练 ImageNet 的成绩之后，通过增加批量大小以加快并行训练速度的方式引发了人们的关注。最近 UC Berkeley 的研究人员们为我们展示了 24 分钟训练 ImageNet 的成绩，他们将批量大小增加到了 32k。研究人员表示，在同样成绩下，新的方法使用的计算设备成本（120 万美元）大大低于 Facebook（410 万美元）。 对于深度学习应用而言，模型、数据集越大，结果就越精确，但同
人工神经网络的兴衰在计算机科学和计算化学的科学文献中都有详细记载。然而近二十年后，我们现在看到了对深度学习兴趣的复兴，这是一种基于多层神经网络的机器学习算法。在过去的几年里，我们看到了深度学习在许多领域的变革性影响，尤其是在语音识别和计算机视觉领域，在这些领域的大多数专家从业人员现在经常避开之前建立的有利于深度的模型学习模型。在这篇综述中，我们对深层神经网络理论及其独特性质进行了介绍性概述，将它们与化学信息学中使用的传统机器学习算法区分开来。通过概述深度神经网络的各种新兴应用，我们强调它的普遍性和广泛的适用性，以应对该领域的各种挑战，包括定量结构活性关系，虚拟筛选，蛋白质结构预测，量子化学，材料设计和财产预测。在回顾深度神经网络的表现时，我们观察到在不同的研究课题中，针对非神经网络最先进的模型的一致表现优异，而基于深度神经网络的模型通常超出了各自任务的“玻璃天花板”预期。加上用于训练深度神经网络的GPU加速计算的成熟度以及用于训练这些网络的化学数据的指数增长，我们预计深度学习算法将成为计算化学的宝贵工具。
通知：这篇推文有13篇论文速递信息，涉及图像分割、SLAM、显著性、深度估计、车辆计数等方向 往期回顾 [计算机视觉] 入门学习资料 [计算机视觉论文速递] 2018-03-18 [计算机视觉论文速递] 2018-03-16 图像分割 [1]《Training of Convolutional Networks on Multiple Heterogeneous Datasets for Street Scene Semantic Segmentation》 Abstract：我们提出了一种具有分层分
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
