腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

mathor

专栏作者

447

文章

590448

阅读量

50

订阅数

未闻Prompt名

机器学习神经网络深度学习人工智能

个人觉得2021年NLP最火的两个idea，一个是对比学习（Contrastive Learning），另一个就是Prompt

2021-12-24

2.1K0

去掉 Attention 的 Softmax，复杂度降为 O (n)

机器学习神经网络深度学习人工智能

众所周知，尽管基于 Attention 机制的 Transformer 类模型有着良好的并行性能，但它的空间和时间复杂度都是 O(n2)\mathcal {O}(n^2) 级别的，nn 是序列长度，所以当 nn 比较大时 Transformer 模型的计算量难以承受。近来，也有不少工作致力于降低 Transformer 模型的计算量，比如模型剪枝、量化、蒸馏等精简技术，又或者修改 Attention 结构，使得其复杂度能降低到 O(nlog⁡n)\mathcal {O}(nlog⁡n) 甚至 O(n)\mathcal {O}(n)

2021-05-12

1K0

概率图模型详解

编程算法机器学习神经网络深度学习人工智能

概率图模型（Probabilistic Graphical Model）就是一类用图来表达随机变量之间关系的概率模型：

2021-04-02

1.4K0

Tacotron2论文阅读

语音合成机器学习神经网络深度学习人工智能

这篇论文描述了Tacotron 2，一个直接从文本合成语音的神经网络架构。系统由两部分构成，一个循环seq2seq结构的特征预测网络，把字符向量映射为梅尔声谱图，后面再接一个WaveNet模型的修订版，把梅尔声谱图合成为时域波形。我们的模型得到了4.53的平均意见得分（MOS），专业录制语音的MOS得分是4.58。为了验证模型设计，我们对系统的关键组件作了剥离实验研究，并且评估了使用梅尔频谱替代语言学、音长和F0特征作为WaveNet输入带来的不同影响。我们进一步展示了使用紧凑的声学中间表征可以显著地简化WaveNet架构

2020-08-13

1.4K0

Tacotron论文阅读

机器学习神经网络深度学习人工智能

Tacotron是谷歌于2017年提出的端到端语音合成系统，该模型可接收字符的输入，输出相应的原始频谱图，然后将其提供给 Griffin-Lim 重建算法直接生成语音

2020-08-10

7740

Human Language Processing——Alignment

机器学习神经网络深度学习人工智能

相较于HMM、CTC和RNN-T，LAS在计算P(Y|X)时，是直接计算的，不存在对齐的问题

2020-08-06

8320

Human Language Processing——Alignment Train

机器学习神经网络深度学习人工智能编程算法

在算所有的候选对齐预测的总和之前，我们先看看一个候选对齐预测是怎么计算的。HMM，RNN-T和CTC的计算方式都是一模一样的。我们往后只用 RNN-T 来当作例子。首先我们找出一条候选对齐，比如h = ∅c∅∅a∅t∅∅。$P(h|X)$就等于每个位置的发射概率和转移概率的连乘

2020-08-05

5230

Human Language Processing——RNA&RNN-T&MochA

机器学习神经网络深度学习人工智能

CTC每个时间步进行的解码是independent的，这样的设定能够简化模型，但却不是很合理。事实上，实际应用中的序列，往往前后token都是有约束关系的。为了达到比较好的识别效果，在CTC的输出之后，通常需要再经过一个Language Model进行后处理。因为本质上来说，Language Model得到的就是前后token之间的转化概率，Language Model的引入弥补了CTC中时间步之间独立假设的缺陷。那能不能不用Language Model，抛弃时间步独立假设呢？

2020-07-28

1.2K0

Human Language Processing——LAS

语音识别机器学习神经网络深度学习人工智能

语音识别也和图像处理一样，有传统的语音识别算法和基于DeepLearning的语音识别算法。当然，现在的主流都是采用Deep Learning去做的。那么，在传统语音识别领域，一般用什么方法呢？用得最多的就是3个算法，HMM（Hidden Markov Model）；GMM（Gaussian Mixture Model）；CTC（Connectionist Temporal Classification）

2020-07-27

8070

Seq2Seq的PyTorch实现

机器学习神经网络深度学习人工智能腾讯云测试服务

本文介绍一下如何使用 PyTorch 复现 Seq2Seq，实现简单的机器翻译应用，请先简单阅读论文Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation(2014)，了解清楚Seq2Seq结构是什么样的，之后再阅读本篇文章，可达到事半功倍的效果

2020-07-01

2K0

BiLSTM的PyTorch应用

机器学习神经网络深度学习人工智能

本文介绍一下如何使用BiLSTM（基于PyTorch）解决一个实际问题，实现给定一个长句子预测下一个单词

2020-06-30

2.8K0

TextCNN的PyTorch实现

神经网络机器学习深度学习人工智能 pytorch

本文主要介绍一篇将CNN应用到NLP领域的一篇论文 Convolutional Neural Networks for Sentence Classification，然后给出 PyTorch 实现

2020-06-28

2.9K0

TextRNN的PyTorch实现

pytorch 机器学习神经网络深度学习人工智能

参考这篇论文Finding Structure in Time(1990)，如果你对RNN有一定的了解，实际上不用看，仔细看我代码如何实现即可。如果你对RNN不太了解，请仔细阅读我这篇文章RNN Layer，结合PyTorch讲的很详细

2020-06-28

8010

机器学习编程算法

一般来说，通过融合多个不同模型的结果，可以提升最终的成绩，所以这以方法在各种数据竞赛中应用非常广泛。模型融合又可以从模型结果、模型自身、样本集等不同的角度进行融合。通过这篇文章，希望能让大家真正理解各种模型融合的方式及原理

2020-04-08

1.4K0

模型建立与调参

腾讯云测试服务机器学习神经网络深度学习人工智能

本篇文章将会从简单的线性模型开始，了解如何建立一个模型以及建立完模型之后要分析什么东西，然后学习交叉验证的思想和技术，并且会构建一个线下测试集，之后我们会尝试建立更多的模型去解决这个问题，并对比它们的效果，当把模型选择出来之后，我们还得掌握一些调参的技术发挥模型最大的性能，模型选择出来之后，也调完参数，但是模型真的就没有问题了吗？我们还需要绘制学习率曲线看模型是否存在过拟合或者欠拟合的问题并给出相应的解决方法

2020-04-03

1.9K0

Sequence to Sequence Learning with Neural Networks论文阅读

机器学习深度学习人工智能编程算法

作者（三位Google大佬）一开始提出DNN的缺点，DNN不能用于将序列映射到序列。此论文以机器翻译为例，核心模型是长短期记忆神经网络（LSTM），首先通过一个多层的LSTM将输入的语言序列（下文简称源序列）转化为特定维度的向量，然后另一个深层LSTM将此向量解码成相应的另一语言序列（下文简称目标序列）。我个人理解是，假设要将中文翻译成法语，那么首先将中文作为输入，编码成英语，然后再将英语解码成法语。这种模型与基于短语的统计机器翻译(Static Machine Translation, SMT)相比，在BLUE(Bilingual Evaluation Understudy)算法的评估下有着更好的性能表现。同时，作者发现，逆转输入序列能显著提升LSTM的性能表现，因为这样做能在源序列和目标序列之间引入许多短期依赖，使得优化更加容易

2020-03-17

1.4K0

Neural Machine Translation 论文阅读

机器学习深度学习人工智能机器翻译文件存储

这是2015年发表在ICLR上的论文，也是NLP中Attention机制的开山之作，Attention机制是为了解决一般的RNN Encoder-Decoder对长句子表现不佳的问题而设计的。从论文题目中我们可以看到，作者希望通过Attention机制将输入句子input和输出句子output进行"对齐"（SMT中也有所谓的词对齐模型）。但是，由于不同语言的句法语法结构千差万别，想将源句子与翻译句子严格的对齐是很困难的，所以这里的对齐实际上是软对齐（soft-alignment），也就是不必将源句子显式分割，因而又被形象地称为注意力机制（Attention Mechanism）

2020-03-17

7270

毕业论文——基于xxLSTM模型的移动对象位置预测

开源机器学习神经网络深度学习

本文简要概述一下我的毕业论文思路，完整可执行代码大概在5月左右开源在Github，主要是为了证明学术诚信，而且太早开源不好，等我快要答辩了再开源

2020-03-03

2K5

LSTM时间序列预测

机器学习神经网络深度学习人工智能

你可能经常会遇到这样的问题，给你一个数据集，要你预测下一个时刻的值是多少？如下图所示，这种数据往往并没有规律可言，也不可能用一个简单的n阶模型去拟合。老实说，以前我遇到这种问题都是直接上灰色模型，但是用的多了就感觉会有点问题。其它还有一些模型比方说ARAM、ARIRM我没有试过。这篇文章主要讲解用LSTM如何进行时间序列预测

2020-02-28

3.2K0

RNN-based is not always easy to learn

机器学习深度学习人工智能神经网络

一般而言，你在做training的时候，你会希望，你的learning curve是像蓝色这条线，纵轴是total loss，横轴是epoch的数目，你会希望：随着epoch的增加，参数的不断update，loss会慢慢下降最后趋于收敛。但不幸的是，在训练RNN的时候，有时会看到这条绿色的线

2020-02-17

3950

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态