腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

AutoML(自动机器学习)

该专栏文章如果出现格式问题，可以去http://www.cnblogs.com/marsggbo/

专栏作者

391

文章

565225

阅读量

55

订阅数

DeepLearning.ai学习笔记（五）序列模型 -- week2 序列模型和注意力机制

apache NLP 服务机器学习神经网络深度学习

在这个例子中输入数据是10个中文汉字，输出为6个英文单词，和数量不一致，这就需要用到序列到序列的RNN模型。

2022-05-11

3220

ICCV 2021 | BossNAS: Exploring Hybrid CNN-transformers with Block-wisely Self-supervised NAS

机器学习神经网络深度学习人工智能 linux

BossNAS整体的的训练方式和DNA不太一样，在DNA里，学生网络每个block彼此之间的训练是独立开来的，比如学生网络的输入是教师网络的输出，然后使用知识蒸馏(MSE loss)来使得学生网络的输出尽可能和教师网络输出保持一致。BossNAS认为这样会使得搜到的子网和教师网络高度相关，即搜索结果是带有bias的。

2021-12-27

3590

Transformer自下而上理解(4) Attention without RNN

机器学习神经网络深度学习人工智能

在介绍Transformer之前，我们首先回顾一下Attention机制。我们要知道Attention的提出的目的是为了解决句子太长而出现的遗忘问题。

2021-06-08

3350

Transformer自下而上理解(3) Self-attention机制

机器学习神经网络深度学习人工智能

2015年，在文献[1]中首次提出attention。到了2016年，在文献[2]中提出了self-attention方法。作者将self-attention和LSTM结合用在了机器阅读任务上。为了好理解，下文将LSTM表示成SimpleRNN。

2021-06-08

7110

NLP系列笔记-机器翻译之Sequence-to-Sequence模型

机器学习神经网络深度学习人工智能

假设我们需要把英语翻译成德语，那么我们首先要做的是对不同语种做tokenization（分词）。常用的分词做法是以“词”为单位，这里为方便介绍，就以字符为单位：

2021-04-22

6470

华为诺亚实验室AutoML框架-Vega：(1) 介绍

编程算法 keras tensorflow 神经网络文件存储

Vega是华为诺亚方舟实验室自研的AutoML算法工具链(https://github.com/huawei-noah/vega)，有如下几个主要特点。

2021-01-29

8880

【论文笔记系列】- Understanding and Simplifying One-Shot Architecture Search

批量计算 ghost 神经网络

由上图我们可以看到（以最左图为例），one-shot模型的准确率从0.1~0.8，而stand-alone（即retrain之后的子模型）的准确率范围却只是0.92~0.945。为什么one-shot模型之间的准确率差别会更大呢？

2020-06-29

9560

理解Pytorch中LSTM的输入输出参数含义

批量计算机器学习神经网络深度学习

在介绍LSTM各种参数含义之前我们还是需要先用一个例子(参考LSTM神经网络输入输出究竟是怎样的？Scofield的回答)来理解LSTM。

2020-06-12

5.2K0

先验概率,后验概率,似然概率

机器学习神经网络深度学习人工智能

老是容易把先验概率,后验概率,似然概率混淆，所以下面记录下来以备日后查阅。区分他们最基本的方法就是看定义，定义取自维基百科和百度百科:

2020-06-12

2.6K0

【转】目标检测之YOLO系列详解

机器学习神经网络深度学习人工智能图像识别

YOLO将输入图像分成SxS个格子，若某个物体 Ground truth 的中心位置的坐标落入到某个格子，那么这个格子就负责检测出这个物体。

2019-05-26

9490

【转】目标检测之YOLO系列详解

机器学习神经网络深度学习人工智能图像识别

YOLO将输入图像分成SxS个格子，若某个物体 Ground truth 的中心位置的坐标落入到某个格子，那么这个格子就负责检测出这个物体。

2019-04-29

1.5K0

【转载】特征选择常用算法综述

编程算法分类算法决策树机器学习神经网络

特征选择 ( Feature Selection )也称特征子集选择( Feature Subset Selection , FSS ) ，或属性选择( Attribute Selection ) ，是指从全部特征中选取一个特征子集，使构造出来的模型更好。

2019-03-04

6650

【转载】机器学习之特征工程(有删改)

特征工程编程算法机器学习神经网络深度学习

本文是一篇关于特征工程的总结类文章，如有不足之处或理解有偏差的地方，还望大家多多指点。

2019-02-23

6750

【转载】什么是特征工程？

特征工程数据分析机器学习神经网络深度学习

　　有这么一句话在业界广泛流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。那特征工程到底是什么呢？顾名思义，其本质是一项工程活动，目的是最大限度地从原始数据中提取特征以供算法和模型使用。通过总结和归纳，人们认为特征工程包括以下方面：

2019-02-14

8170

Tree-CNN: A Deep Convolutional Neural Network for Lifelong Learning

机器学习深度学习人工智能神经网络卷积神经网络

深度学习领域一直存在一个比较严重的问题——“灾难性遗忘”，即一旦使用新的数据集去训练已有的模型，该模型将会失去对原数据集识别的能力。为解决这一问题，本文提出了树卷积神经网络，通过先将物体分为几个大类，然后再将各个大类依次进行划分、识别，就像树一样不断地开枝散叶，最终叶节点得到的类别就是我们所要识别的类。

2019-01-21

5930

编程算法机器学习神经网络深度学习人工智能

AutoML是指尽量不通过人来设定超参数，而是使用某种学习机制，来调节这些超参数。这些学习机制包括传统的贝叶斯优化，多臂老虎机（multi-armed bandit），进化算法，还有比较新的强化学习。

2019-01-17

8520

【转载】Bayesian Optimization

编程算法机器学习神经网络深度学习人工智能

优化器是机器学习中很重要的一个环节。当确定损失函数时，你需要一个优化器使损失函数的参数能够快速有效求解成功。优化器很大程度影响计算效率。越来越多的超参数调整是通过自动化方式完成，使用明智的搜索在更短的时间内找到最佳超参组合，无需在初始设置之外进行手动操作。

2019-01-09

2K0

论文笔记系列-Multi-Fidelity Automatic Hyper-Parameter Tuning via Transfer Series Expansion

我们都知道实现AutoML的基本思路是不断选取不同的超参数组成一个网络结构，然后使用这个网络结构在整个数据集上进行评估 (假设评估值为\(f_H(X)=\mathcal{L}(δ,D^{train},D^{valid})\),X表示某一组超参数) ，最后选择出评估性能最好的网络参数。

2018-12-27

7710

贝叶斯优化(Bayesian Optimization)深入理解

自动化神经网络机器学习编程算法

我们都知道神经网络训练是由许多超参数决定的，例如网络深度，学习率，卷积核大小等等。所以为了找到一个最好的超参数组合，最直观的的想法就是Grid Search，其实也就是穷举搜索，示意图如下。

2018-12-04

2K0

[转载]Meta Learning单排小教学

深度学习神经网络图像识别 NLP 服务

虽然Meta Learning现在已经非常火了，但是还有很多小伙伴对于Meta Learning不是特别理解。考虑到我的这个AI游乐场将充斥着Meta Learning的分析解读及各种原创思考，所以今天Flood就和大家做一个Meta Learning小教学，希望能够用最简短，最通俗的语言来让大家明白Meta Learning的概念，Meta Learning的几种研究方法，以及Meta Learning未来的发展，带大家上分！相信这个Meta Learning小教学是目前全网唯一的中文教程。

2018-10-11

8560

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态