首页
学习
活动
专区
工具
TVP
发布

AutoML(自动机器学习)

该专栏文章如果出现格式问题,可以去http://www.cnblogs.com/marsggbo/
专栏作者
389
文章
554464
阅读量
55
订阅数
DeepLearning.ai学习笔记(五)序列模型 -- week2 序列模型和注意力机制
在这个例子中输入数据是10个中文汉字,输出为6个英文单词, 和 数量不一致,这就需要用到序列到序列的RNN模型。​
marsggbo
2022-05-11
3170
ICCV 2021 | BossNAS: Exploring Hybrid CNN-transformers with Block-wisely Self-supervised NAS
BossNAS整体的的训练方式和DNA不太一样,在DNA里,学生网络每个block彼此之间的训练是独立开来的,比如学生网络 的输入是教师网络 的输出,然后使用知识蒸馏(MSE loss)来使得学生网络的输出尽可能和教师网络输出保持一致。BossNAS认为这样会使得搜到的子网和教师网络高度相关,即搜索结果是带有bias的。
marsggbo
2021-12-27
3470
Transformer自下而上理解(4) Attention without RNN
在介绍Transformer之前,我们首先回顾一下Attention机制。我们要知道Attention的提出的目的是为了解决句子太长而出现的遗忘问题。
marsggbo
2021-06-08
3240
Transformer自下而上理解(3) Self-attention机制
2015年,在文献[1]中首次提出attention。到了2016年,在文献[2]中提出了self-attention方法。作者将self-attention和LSTM结合用在了机器阅读任务上。为了好理解,下文将LSTM表示成SimpleRNN。
marsggbo
2021-06-08
6960
Retiarii:微软在NAS框架上的新动作,已被顶会OSDI2020接收
神经网络架构搜索(NAS, Neural Architecture Search)俨然成为目前最热门的AI研究方向之一,它的目的是让算法去找到最优的模型结构,将人们从繁琐的调参和试错中解救出来。如果你对NAS技术还不太熟悉,建议你参考阅读一下我之前的文章AutoML综述。
marsggbo
2021-05-14
8160
NLP系列笔记-机器翻译之Sequence-to-Sequence模型
假设我们需要把英语翻译成德语,那么我们首先要做的是对不同语种做tokenization(分词)。常用的分词做法是以“词”为单位,这里为方便介绍,就以字符为单位:
marsggbo
2021-04-22
6310
理解Pytorch中LSTM的输入输出参数含义
在介绍LSTM各种参数含义之前我们还是需要先用一个例子(参考LSTM神经网络输入输出究竟是怎样的?Scofield的回答)来理解LSTM。
marsggbo
2020-06-12
5.1K0
先验概率,后验概率,似然概率
老是容易把先验概率,后验概率,似然概率混淆,所以下面记录下来以备日后查阅。区分他们最基本的方法就是看定义,定义取自维基百科和百度百科:
marsggbo
2020-06-12
2.6K0
AutoML: A Survey of the state-of-the-art
https://arxiv.org/pdf/1908.00709.pdf​arxiv.org
marsggbo
2019-08-08
1.4K0
【转】目标检测之YOLO系列详解
YOLO将输入图像分成SxS个格子,若某个物体 Ground truth 的中心位置的坐标落入到某个格子,那么这个格子就负责检测出这个物体。
marsggbo
2019-05-26
9310
【转】目标检测之YOLO系列详解
YOLO将输入图像分成SxS个格子,若某个物体 Ground truth 的中心位置的坐标落入到某个格子,那么这个格子就负责检测出这个物体。
marsggbo
2019-04-29
1.4K0
【转载】特征选择常用算法综述
特征选择 ( Feature Selection )也称特征子集选择( Feature Subset Selection , FSS ) ,或属性选择( Attribute Selection ) ,是指从全部特征中选取一个特征子集,使构造出来的模型更好。
marsggbo
2019-03-04
6610
【转载】机器学习之特征工程(有删改)
本文是一篇关于特征工程的总结类文章,如有不足之处或理解有偏差的地方,还望大家多多指点。
marsggbo
2019-02-23
6650
【转载】什么是特征工程?
  有这么一句话在业界广泛流传:数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。那特征工程到底是什么呢?顾名思义,其本质是一项工程活动,目的是最大限度地从原始数据中提取特征以供算法和模型使用。通过总结和归纳,人们认为特征工程包括以下方面:
marsggbo
2019-02-14
8040
Tree-CNN: A Deep Convolutional Neural Network for Lifelong Learning
深度学习领域一直存在一个比较严重的问题——“灾难性遗忘”,即一旦使用新的数据集去训练已有的模型,该模型将会失去对原数据集识别的能力。为解决这一问题,本文提出了树卷积神经网络,通过先将物体分为几个大类,然后再将各个大类依次进行划分、识别,就像树一样不断地开枝散叶,最终叶节点得到的类别就是我们所要识别的类。
marsggbo
2019-01-21
5800
AutoML总结
AutoML是指尽量不通过人来设定超参数,而是使用某种学习机制,来调节这些超参数。这些学习机制包括传统的贝叶斯优化,多臂老虎机(multi-armed bandit),进化算法,还有比较新的强化学习。
marsggbo
2019-01-17
8470
【转载】Bayesian Optimization
优化器是机器学习中很重要的一个环节。当确定损失函数时,你需要一个优化器使损失函数的参数能够快速有效求解成功。优化器很大程度影响计算效率。越来越多的超参数调整是通过自动化方式完成,使用明智的搜索在更短的时间内找到最佳超参组合,无需在初始设置之外进行手动操作。
marsggbo
2019-01-09
2K0
【Math for ML】矩阵分解(Matrix Decompositions) (下)
Singular Value Decomposition (SVD)是线性代数中十分重要的矩阵分解方法,被称为“线性代数的基本理论”,因为它不仅可以运用于所有矩阵(不像特征值分解只能用于方阵),而且奇异值总是存在的。
marsggbo
2018-12-28
9450
机器学习超参数优化算法-Hyperband
机器学习中模型性能的好坏往往与超参数(如batch size,filter size等)有密切的关系。最开始为了找到一个好的超参数,通常都是靠人工试错的方式找到"最优"超参数。但是这种方式效率太慢,所以相继提出了网格搜索(Grid Search, GS) 和 随机搜索(Random Search,RS)。
marsggbo
2018-12-28
1.9K0
【NLP CS224N笔记】Lecture 1 - Introduction of NLP
NLP全称是Natural Language Processing,即自然语言处理,这是一门计算机科学、人工智能以及语言学的交叉学科。
marsggbo
2018-12-28
3740
点击加载更多
社区活动
Python精品学习库
代码在线跑,知识轻松学
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档