本文将系统全面的介绍自动机器学习的其中一个常用框架: Auto-Sklearn，介绍安装及使用，分类和回归小案例，以及一些用户手册的介绍。快来和小猴子一起研习吧！
之前的工作中也有多少接触过这个AutoML（Automated Machine Learning）的概念，简单来说就是把模型开发的标准过程模块化，都交给一些自动化的组件来完成，比如数据集的划分、特征衍生、算法选择、模型训练、调优、部署以及后续的监控，都“一条龙”地在AutoML实现。
AI 前线导读： 人工智能和机器学习仍然是一个进入门槛较高的领域，需要专业的知识和资源，很少有公司可以自己承担。—— 李飞飞自动机器学习（AutoML）是将机器学习应用于现实问题的端到端流程自动化的过程。AutoML 使真正意义上的机器学习成为可能，即使对于没有该领域专业知识的人也是如此。本文介绍了一些流行的 AutoML 框架，这些框架的趋势是自动化部分或整个机器学习的管道。更多优质内容请关注微信公众号“AI 前线”（ID：ai-front）
定义1 自动机器学习 AutoML: 对于 ，令 表示特征向量， 表示对应的目标值。给定训练数据集
典型的机器学习工作流程是数据处理、特征处理、模型训练和评估的迭代循环。想象一下，必须对数据处理方法、模型算法和超参数的不同组合进行试验，直到我们获得令人满意的模型性能。这项费时费力的任务通常在超参数优化期间执行。
最后发现是 pandas 库的版本问题。安装 auto-sklearn 时安装的 pandas 版本是 0.25.1，这个版本有问题，需要安装 0.22 版的 pandas。
AI科技评论按：在过去的一年当中，自动化机器学习已经成为一个众人感兴趣的话题。KDnuggets举办了一个关于该话题的博客大赛。结果喜人，有很多有意思的想法与项目被提出来了。一些自动化学习工具也引起了大家的兴趣，受到了大家的追捧。 本篇文章的作者 Matthew Mayo 将会对自动化学习进行简单的介绍，探讨下一下它的合理性、采用情况，介绍下它现在使用的工具，讨论下它预期的未来发展方向。本文由AI科技评论编译，未经许可不得转载。 什么是自动化机器学习呢？ 接下来我们要探讨的是自动化机器学习属于哪一类科学
图源：https://unsplash.com/photos/pjAH2Ax4uWk
也就是说，一般的分类或者回归的机器学习模型即将或者已经实现了低门槛或者零门槛甚至免费建模的程度。
AutoML 可以为预测建模问题自动找到数据准备、模型和模型超参数的最佳组合，本文整理了5个最常见且被熟知的开源AutoML 框架。
当你有一个idea的时候，好不容易收集好了数据，但是面对一堆的机器学习算法，还有各种参数的调试，这个时候，只能一种一种算法进行尝试，各种参数进行组合试验，此过程非常耗费时间跟精力，是个重复的劳动的过程，这个时候，我们就会想，能不能为此过程也开发一种算法，来自动帮我们完成算法和超参的选择，于是autoML就诞生了。
【新智元导读】机器学习系统有大量的超参数，在应用中需要依赖领域专家知识，并且有繁重的人工调参任务。现在，有一项工作希望让这些过程自动化，只需一个按钮，就能让你得到训练好的模型，这就是“自动机器学习”（autoML）。而自动机器学习的两大工具，Auto-weka 有可视化界面，只需轻点鼠标就能完成训练工作，auto-sklearn 也仅需数行代码便可构建可用的模型。操作如此简单，还不用担心训练后的模型不 work，是不是很值得上手试验一番？ 某日出差，在出租上闲来无事和司机闲聊，告知其本人专业是人工智能，司机
随着机器学习领域的不断发展，越来越多的人意识到构建高效模型的重要性。然而，对于许多新手来说，机器学习领域的复杂性和技术门槛可能是一个巨大的挑战。这时，AutoML的出现成为了一个解决方案，它可以帮助新手更轻松地构建高性能的机器学习模型。
Featuretools如你所言能够自动完成特征工程，它属于AutoML范畴，接下来我还是主要谈AutoML1吧。由于机器学习应用高门槛和应用范围的广阔，所以很多组织于2017和2018年开始自动化的机器学习尝试，想降低机器学习应用的门槛，让非专业人员也能够应用。机器学习的工作流通常为数据清洗、特征工程、模型选择、模型训练、模型评估，针对机器学习的自动化尝试，也在这几个步骤展开。
AutoML 试图将特征工程、模型选择、参数调节这些与特征、模型、优化、评价有关的重要步骤进行自动化地学习，使得机器学习模型无需人工干预即可生成。谷歌这次提出的方法跟以往的有何不同呢？
模型选择和超参数优化是机器学习技术应用过程中的关键步骤。给定⼀个机器学习任务，人工参与模型选择以及超参数优化通常是⼀个耗时、繁琐的过程。为了解决这样的问题，⼀些关于自动化机器学习的研究工作被提出，比如 Auto-WEKA 、Auto-Sklearn 和 Auto-Keras 等。
Jeff Dean在ICML 2019上进行了有关AutoML的演讲，并将自动化分为4个级别：
前言：那些流行的机器学习项目之所以受欢迎，一般是因为其提供了一种多数人需要的服务，或是因为它们是第一个（也许是最好的）针对特定用户提供服务的。那些最流行的项目包括Scikit-learn、TensorFlow、 Theano、MXNet 、Weka 等。根据个人使用的工作系统、深度学习目标不同，不同的人认为流行的项目可能会有些许差异。然而，这些项目共有的特性是它们都面向大量的用户提供服务。但是仍然存在很多小型的机器学习项目：pipelines、wrappers、high-level APIs、cleaner
机器学习十大不可忽视项目 前言：那些流行的机器学习项目之所以受欢迎，一般是因为其提供了一种多数人需要的服务，或是因为它们是第一个（也许是最好的）针对特定用户提供服务的。那些最流行的项目包括Scikit-learn、TensorFlow、 Theano、MXNet 、Weka 等。根据个人使用的工作系统、深度学习目标不同，不同的人认为流行的项目可能会有些许差异。然而，这些项目共有的特性是它们都面向大量的用户提供服务。但是仍然存在很多小型的机器学习项目：pipelines、wrappers、high-level
AutoML是指自动机器学习。它说明了如何在组织和教育水平上自动化机器学习的端到端过程。机器学习模型基本上包括以下步骤：
收集原始数据、合并数据源、清洗数据、特征工程、模型构建、超参数调优、模型验证和设备部署。
自动化机器学习，也称为自动化 ML 或 AutoML，是自动化完成开发耗时且需要反复迭代的机器学习建模过程。它让数据科学家、分析师和开发人员轻松构建具有高规模、高效率和生产力的机器学习模型，同时保持模型质量。
来源丨网络 推荐阅读：终于来了，【第二期】 彭涛Python 爬虫特训营！! AutoML是指自动机器学习。它说明了如何在组织和教育水平上自动化机器学习的端到端过程。机器学习模型基本上包括以下步骤： 数据读取和合并，使其可供使用。 数据预处理是指数据清理和数据整理。 优化功能和模型选择过程的位置。 将其应用于应用程序以预测准确的值。 最初，所有这些步骤都是手动完成的。但是现在随着AutoML的出现，这些步骤可以实现自动化。AutoML当前分为三类： 用于自动参数调整的AutoML（相对基本的类型） 用于非深
近期，由Frank Hutter, Lars Kotthoff, Joaquin Vanschoren撰写的《AUTOML：方法，系统，挑战》“AUTOML: METHODS, SYSTEMS, CHALLENGES (NEW BOOK)” 221页的草稿版本已经放出，详细讲解了所有AutoML系统背后的基础知识，以及对当前AutoML系统进行了深入描述，Auto-WEKA、Hyperopt-Sklearn、Auto-sklearn等，最后介绍了AutoML的挑战。作者当前正在完成这本新书的编辑工作，它将由NIPS 2018出版发行。
Recently, I was made a service which can provide a simple way to get best model. so, i spent lot of time to read source code of auto-sklearn, auto-sklearn is an automated machine learning toolkit and a drop-in replacement for a scikit-learn estimator.
Prefrontal cortex as a meta-reinforcement learning system
为了寻找具备强归纳偏置的神经网络架构，研究者提出通过降低权重重要性的方式来搜索架构。具体步骤为：
让我们先来看一个简短的童话故事… 从前，有一个魔法师，他使用一种无人再使用的编程语言，在一种无人再使用的框架下训练模型。一天，一位老人找到他，让他为一个神秘的数据集训练一个模型。 这位魔法师孜孜不倦，尝试了数千种不同的方式训练这个模型，但很不幸，都没有成功。于是，他走进了他的魔法图书馆寻找解决办法。突然，他发现了一本关于一种神奇法术的书。这种法术可以把他送到一个隐藏的空间，在那里，他无所不知，他可以尝试每一种可能的模型，能完成每一种优化技术。他毫不犹豫地施展了这个法术，被送到了那个神秘的空间。自那以后，他明白了如何才能得到更好的模型，并采用了那种做法。在回来之前，他无法抗拒将所有这些力量带走的诱惑，所以他把这个空间的所有智慧都赐予了一块名为「Auto」的石头，这才踏上了返程的旅途。 从前，有个拥有「Auto」魔石的魔法师。传说，谁掌握了这块魔法石的力量，谁就能训练出任何想要的模型。
超参数是在模型训练之外设置的选项，不会在训练过程中被优化或更改。相反，需要在训练之前手动设置它们，并且对模型的性能有很大的影响。
在 AI 技术的发展中，数据集发挥了重要的作用。然而，医疗数据集的创建面临着很多难题，如数据获取、数据标注等。
自动机器学习，也称为 AutoML，是将机器学习应用于实际问题的端到端过程自动化的过程。典型的机器学习过程包括几个步骤，包括数据的摄取和预处理、特征工程、模型训练和部署。在传统的机器学习中，Pipeline中的每一步都是由人来监控和执行的。自动机器学习工具（automatic machine learning）旨在自动化这些机器学习的一个或多个阶段，使非专家更容易建立机器学习模型，同时消除重复性任务，使经验丰富的机器学习工程师能够更快地建立更好的模型。
来源: https://github.com/hibayesian/awesome-automl-papers#projects 名称 支持类型 编程语言 开源协议 官网 AdaNet NAS Python Apache-2.0 Github Advisor HPO Python Apache-2.0 Github AMLA HPO, NAS Python Apache-2.0 Github ATM HPO Python MIT Github Auger HPO Python Commercial H
这篇文章中包括的类别，我们认为这些类别考虑了通用的数据科学库，即那些可能被数据科学领域的从业人员用于广义的，非神经网络的，非研究性工作的库：
自从计算机时代开始，科学家和工程师们就一直想知道如何像人类一样，给计算机注入学习的能力。艾伦·图灵是第一批提出智能理论的科学家之一，该理论设想有一天计算机能够达到与人类同等的智能水平。从那时起，机器学习领域发生了一系列巨大的飞跃。我们已经看到机器学习在许多情况下击败或至少匹配特定的人类认知能力，例如在ResNet(一种深度残留的网络架构)的情况下超越了人类在图像识别方面的表现，或者微软的语音转录系统几乎达到人类水平的表现。
最近在看AutoML，业界在 automl 上的进展还是很不错的，个人比较看好这个方向，所以做了一些了解：
来源：小金博士公众号 本文约5000字，建议阅读10分钟 本文将探索目前可用于自动化过程的框架，以帮助读者了解在自动化机器学习方面可能出现的情况。 自动机器学习综述 自从计算机时代开始，科学家和工程师们就一直想知道如何像人类一样，给计算机注入学习的能力。艾伦·图灵是第一批提出智能理论的科学家之一，该理论设想有一天计算机能够达到与人类同等的智能水平。从那时起，机器学习领域发生了一系列巨大的飞跃。我们已经看到机器学习在许多情况下击败或至少匹配特定的人类认知能力，例如在ResNet（一种深度残留的网络架构）的情况
ABM: Automatic Business Modeler：可自动构建准确和可解释的预测模型，商业软件。 AutoDiscovery from ButlerScientifics：在科学实验或临床研究数据中揭示复杂关系的智能探索性数据分析软件。 Automatic Statistician project：探索可能的统计模型的开放式空间系统，发现对数据的良好解释，然后用数字和自然语言文本生成一份详细的报告。常用于项目研究。 auto-sklearn：自动化的机器学习工具箱和scikit-
今天上海交大的研究学者发文 MedMNIST Classification Decathlon: A Lightweight AutoML Benchmark for Medical Image Analysis ，公布了其收集整理的10个医学领域的图像数据集MedMNIST，旨在促进AutoML（自动机器学习）在医学领域的技术研究。
从神经网络被学术界排挤，到计算机科学界三句话不离人工智能、各种建模和预测任务被深度学习大包大揽，只不过短短十年时间。这十年里我们目睹了 dropout、SGD+动量、残差连接、预训练等等深度学习技术的大爆发，见证了学术研究全面拥抱深度学习，也听到了对深度学习不足之处的质疑之声、感受到了很多人对非深度学习方法「复兴」的期盼。
AI 科技评论按：从神经网络被学术界排挤，到计算机科学界三句话不离人工智能、各种建模和预测任务被深度学习大包大揽，只不过短短十年时间。这十年里我们目睹了 dropout、SGD+动量、残差连接、预训练等等深度学习技术的大爆发，见证了学术研究全面拥抱深度学习，也听到了对深度学习不足之处的质疑之声、感受到了很多人对非深度学习方法「复兴」的期盼。
大家好，欢迎来到专栏《AutoML》，在这个专栏中我们会讲述AutoML技术在深度学习中的应用，这一期讲述现有可用的AutoML平台。
Vega是华为诺亚方舟实验室自研的AutoML算法工具链(https://github.com/huawei-noah/vega)，有如下几个主要特点。
机器学习(Machine learning, ML)方法有可能实现临床脑电(Electroencephalography, EEG)分析的自动化。它们可以分为基于特征的方法(使用手工制作的特征)和端到端的方法(使用学习的特征)。以往对EEG病理解码的研究通常分析了有限数量的特征、解码器或两者兼而有之。对于I)更详细的基于特征的EEG分析，以及II)两种方法的深入比较，我们首先开发了一个全面的基于特征的框架，然后将该框架与最先进的端到端方法进行比较。为此，我们将提出的基于特征的框架和深度神经网络(包括EEG优化的时间卷积网络(temporal convolutional network, TCN))应用于病理性和非病理性EEG分类。为了进行强有力的比较，我们选择了天普大学医院(Temple University Hospital, TUH)的异常EEG语料库(2.0.0版)，其中包含大约3000个EEG记录。结果表明，所提出的基于特征的解码框架可以达到与现有深度神经网络相同的精度。我们发现这两种方法的准确率都在81%到86%的范围内。此外，可视化和分析表明，这两种方法使用了相似的数据方面，例如，在颞叶电极位置处的delta和theta波段功率。我们认为，由于临床标签之间的不完全一致性，目前的二值EEG病理解码器的准确率可能达到90%左右，并且这种解码器已经在临床上有用，例如在临床EEG专家很少的领域。我们提出的基于特征的框架是开源的，从而为EEG机器学习研究提供了一个新的工具。本文发表在Neuroimage杂志。
AI 科技评论按：AutoML 是今年的机器学习的热点，该技术潜力很大，在工程实践能够产生巨大的价值。现阶段，业界主要在探讨 AutoML 的难点与方向阶段，目前还没有一家推出系统性的方案。在工程实践上，AutoML 还没有成为机器学习流程自动化、智能化的主要推动力。在实际应用中，针对大数据大模型的 AutoML 优化在 research 与 engineering 两方面都很缺乏。在本次公开课中，嘉宾分享了关于 AutoML 的算法和工程落地等实际问题。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
