腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
mathor
专栏成员
举报
447
文章
620559
阅读量
50
订阅数
订阅专栏
申请加入专栏
全部文章(447)
其他(110)
编程算法(77)
神经网络(43)
人工智能(43)
机器学习(36)
深度学习(34)
java(32)
ios(18)
NLP 服务(14)
c++(14)
批量计算(12)
存储(12)
pytorch(12)
alpha(12)
sum(12)
text(11)
serverless(10)
linux(8)
容器(8)
jsp(7)
html(7)
游戏(6)
windows(6)
数据结构(6)
token(6)
语音识别(5)
matlab(5)
语音合成(5)
腾讯云测试服务(5)
http(5)
卷积神经网络(5)
安全(5)
https(5)
embedding(5)
max(5)
size(5)
word2vec(5)
对象存储(4)
python(4)
git(4)
spring(4)
jdk(4)
erp(4)
面向对象编程(4)
数据分析(4)
int(4)
key(4)
nlp(4)
php(3)
css(3)
文件存储(3)
日志服务(3)
网站(3)
网络安全(3)
二叉树(3)
data(3)
google(3)
gpu(3)
hidden(3)
rank(3)
self(3)
tensor(3)
vector(3)
word(3)
编码(3)
数据(3)
bash(2)
node.js(2)
打包(2)
ide(2)
eclipse(2)
github(2)
开源(2)
缓存(2)
shell(2)
正则表达式(2)
gui(2)
numpy(2)
hashmap(2)
数据处理(2)
nat(2)
腾讯云开发者社区(2)
error(2)
layer(2)
mask(2)
model(2)
partial(2)
random(2)
事件(2)
网络(2)
免费套餐(1)
官方文档(1)
数据挖掘(1)
tensorflow(1)
c 语言(1)
.net(1)
r 语言(1)
bootstrap(1)
汇编语言(1)
嵌入式(1)
数据库(1)
oracle(1)
api(1)
tomcat(1)
搜索引擎(1)
bash 指令(1)
云直播(1)
时序数据库 CTSDB(1)
海外加速(1)
机器翻译(1)
企业(1)
运维(1)
黑客(1)
jvm(1)
wordpress(1)
hive(1)
yum(1)
监督学习(1)
线性回归(1)
asp(1)
cdn(1)
kernel(1)
iis(1)
网站建设(1)
特征工程(1)
功能测试(1)
性能测试(1)
黑盒测试(1)
es(1)
汽车(1)
architecture(1)
autoencoder(1)
block(1)
channel(1)
clone(1)
combine(1)
dagger(1)
dataset(1)
device(1)
dfs(1)
distance(1)
distribution(1)
document(1)
echarts(1)
encoding(1)
epoch(1)
equation(1)
excel(1)
fixed(1)
fork(1)
for循环(1)
function(1)
gan(1)
global(1)
hashtable(1)
identity(1)
input(1)
label(1)
lambda(1)
list(1)
load(1)
local(1)
ls(1)
min(1)
mnist(1)
module(1)
nan(1)
normalization(1)
object(1)
pandas(1)
pear(1)
pool(1)
position(1)
precision(1)
prediction(1)
profiling(1)
reshape(1)
rows(1)
sample(1)
search(1)
sequence(1)
sign(1)
spa(1)
src(1)
steam(1)
subset(1)
target(1)
testing(1)
time(1)
torch(1)
txt(1)
virtual(1)
web(1)
window(1)
zero(1)
表格(1)
动态规划(1)
二进制(1)
函数(1)
技巧(1)
解决方案(1)
开发(1)
可视化(1)
论文(1)
数组(1)
搜索(1)
统计(1)
优化(1)
语音(1)
搜索文章
搜索
搜索
关闭
未闻Prompt名
机器学习
神经网络
深度学习
人工智能
个人觉得2021年NLP最火的两个idea,一个是对比学习(Contrastive Learning),另一个就是Prompt
mathor
2021-12-24
2.1K
0
去掉 Attention 的 Softmax,复杂度降为 O (n)
机器学习
神经网络
深度学习
人工智能
众所周知,尽管基于 Attention 机制的 Transformer 类模型有着良好的并行性能,但它的空间和时间复杂度都是 O(n2)\mathcal {O}(n^2) 级别的,nn 是序列长度,所以当 nn 比较大时 Transformer 模型的计算量难以承受。近来,也有不少工作致力于降低 Transformer 模型的计算量,比如模型剪枝、量化、蒸馏等精简技术,又或者修改 Attention 结构,使得其复杂度能降低到 O(nlogn)\mathcal {O}(nlogn) 甚至 O(n)\mathcal {O}(n)
mathor
2021-05-12
1.2K
0
概率图模型详解
编程算法
机器学习
神经网络
深度学习
人工智能
概率图模型(Probabilistic Graphical Model)就是一类用图来表达随机变量之间关系的概率模型:
mathor
2021-04-02
1.5K
0
Tacotron2论文阅读
语音合成
机器学习
神经网络
深度学习
人工智能
这篇论文描述了Tacotron 2, 一个直接从文本合成语音的神经网络架构。系统由两部分构成,一个循环seq2seq结构的特征预测网络,把字符向量映射为梅尔声谱图,后面再接一个WaveNet模型的修订版,把梅尔声谱图合成为时域波形。我们的模型得到了4.53的平均意见得分(MOS),专业录制语音的MOS得分是4.58。为了验证模型设计,我们对系统的关键组件作了剥离实验研究,并且评估了使用梅尔频谱替代语言学、音长和F0特征作为WaveNet输入带来的不同影响。我们进一步展示了使用紧凑的声学中间表征可以显著地简化WaveNet架构
mathor
2020-08-13
1.5K
0
Tacotron论文阅读
机器学习
神经网络
深度学习
人工智能
Tacotron是谷歌于2017年提出的端到端语音合成系统,该模型可接收字符的输入,输出相应的原始频谱图,然后将其提供给 Griffin-Lim 重建算法直接生成语音
mathor
2020-08-10
838
0
Human Language Processing——Alignment
机器学习
神经网络
深度学习
人工智能
相较于HMM、CTC和RNN-T,LAS在计算P(Y|X)时,是直接计算的,不存在对齐的问题
mathor
2020-08-06
860
0
Human Language Processing——Alignment Train
机器学习
神经网络
深度学习
人工智能
编程算法
在算所有的候选对齐预测的总和之前,我们先看看一个候选对齐预测是怎么计算的。HMM,RNN-T和CTC的计算方式都是一模一样的。我们往后只用 RNN-T 来当作例子。首先我们找出一条候选对齐,比如h = ∅c∅∅a∅t∅∅。$P(h|X)$就等于每个位置的发射概率和转移概率的连乘
mathor
2020-08-05
541
0
Human Language Processing——HMM
深度学习
语音识别
这篇文章主要介绍目前一些语音识别技术与HMM有什么关系,然后你就会发现,很多技术其实有借用HMM的思想
mathor
2020-08-03
475
0
Human Language Processing——RNA&RNN-T&MochA
机器学习
神经网络
深度学习
人工智能
CTC每个时间步进行的解码是independent的,这样的设定能够简化模型,但却不是很合理。事实上,实际应用中的序列,往往前后token都是有约束关系的。为了达到比较好的识别效果,在CTC的输出之后,通常需要再经过一个Language Model进行后处理。因为本质上来说,Language Model得到的就是前后token之间的转化概率,Language Model的引入弥补了CTC中时间步之间独立假设的缺陷。那能不能不用Language Model,抛弃时间步独立假设呢?
mathor
2020-07-28
1.2K
0
Human Language Processing——LAS
语音识别
机器学习
神经网络
深度学习
人工智能
语音识别也和图像处理一样,有传统的语音识别算法和基于DeepLearning的语音识别算法。当然,现在的主流都是采用Deep Learning去做的。 那么,在传统语音识别领域,一般用什么方法呢?用得最多的就是3个算法,HMM(Hidden Markov Model) ;GMM(Gaussian Mixture Model);CTC(Connectionist Temporal Classification)
mathor
2020-07-27
853
0
Seq2Seq的PyTorch实现
机器学习
神经网络
深度学习
人工智能
腾讯云测试服务
本文介绍一下如何使用 PyTorch 复现 Seq2Seq,实现简单的机器翻译应用,请先简单阅读论文Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation(2014),了解清楚Seq2Seq结构是什么样的,之后再阅读本篇文章,可达到事半功倍的效果
mathor
2020-07-01
2.1K
0
BiLSTM的PyTorch应用
机器学习
神经网络
深度学习
人工智能
本文介绍一下如何使用BiLSTM(基于PyTorch)解决一个实际问题,实现给定一个长句子预测下一个单词
mathor
2020-06-30
2.9K
0
TextCNN的PyTorch实现
神经网络
机器学习
深度学习
人工智能
pytorch
本文主要介绍一篇将CNN应用到NLP领域的一篇论文 Convolutional Neural Networks for Sentence Classification,然后给出 PyTorch 实现
mathor
2020-06-28
3K
0
TextRNN的PyTorch实现
pytorch
机器学习
神经网络
深度学习
人工智能
参考这篇论文Finding Structure in Time(1990),如果你对RNN有一定的了解,实际上不用看,仔细看我代码如何实现即可。如果你对RNN不太了解,请仔细阅读我这篇文章RNN Layer,结合PyTorch讲的很详细
mathor
2020-06-28
835
0
模型建立与调参
腾讯云测试服务
机器学习
神经网络
深度学习
人工智能
本篇文章将会从简单的线性模型开始,了解如何建立一个模型以及建立完模型之后要分析什么东西,然后学习交叉验证的思想和技术,并且会构建一个线下测试集,之后我们会尝试建立更多的模型去解决这个问题,并对比它们的效果,当把模型选择出来之后,我们还得掌握一些调参的技术发挥模型最大的性能,模型选择出来之后,也调完参数,但是模型真的就没有问题了吗?我们还需要绘制学习率曲线看模型是否存在过拟合或者欠拟合的问题并给出相应的解决方法
mathor
2020-04-03
2K
0
Sequence to Sequence Learning with Neural Networks论文阅读
机器学习
深度学习
人工智能
编程算法
作者(三位Google大佬)一开始提出DNN的缺点,DNN不能用于将序列映射到序列。此论文以机器翻译为例,核心模型是长短期记忆神经网络(LSTM),首先通过一个多层的LSTM将输入的语言序列(下文简称源序列)转化为特定维度的向量,然后另一个深层LSTM将此向量解码成相应的另一语言序列(下文简称目标序列)。我个人理解是,假设要将中文翻译成法语,那么首先将中文作为输入,编码成英语,然后再将英语解码成法语。这种模型与基于短语的统计机器翻译(Static Machine Translation, SMT)相比,在BLUE(Bilingual Evaluation Understudy)算法的评估下有着更好的性能表现。同时,作者发现,逆转输入序列能显著提升LSTM的性能表现,因为这样做能在源序列和目标序列之间引入许多短期依赖,使得优化更加容易
mathor
2020-03-17
1.4K
0
Neural Machine Translation 论文阅读
机器学习
深度学习
人工智能
机器翻译
文件存储
这是2015年发表在ICLR上的论文,也是NLP中Attention机制的开山之作,Attention机制是为了解决一般的RNN Encoder-Decoder对长句子表现不佳的问题而设计的。从论文题目中我们可以看到,作者希望通过Attention机制将输入句子input和输出句子output进行"对齐"(SMT中也有所谓的词对齐模型)。但是,由于不同语言的句法语法结构千差万别,想将源句子与翻译句子严格的对齐是很困难的,所以这里的对齐实际上是软对齐(soft-alignment),也就是不必将源句子显式分割,因而又被形象地称为注意力机制(Attention Mechanism)
mathor
2020-03-17
760
0
毕业论文——基于xxLSTM模型的移动对象位置预测
开源
机器学习
神经网络
深度学习
本文简要概述一下我的毕业论文思路,完整可执行代码大概在5月左右开源在Github,主要是为了证明学术诚信,而且太早开源不好,等我快要答辩了再开源
mathor
2020-03-03
2.2K
5
LSTM时间序列预测
机器学习
神经网络
深度学习
人工智能
你可能经常会遇到这样的问题,给你一个数据集,要你预测下一个时刻的值是多少?如下图所示,这种数据往往并没有规律可言,也不可能用一个简单的n阶模型去拟合。老实说,以前我遇到这种问题都是直接上灰色模型,但是用的多了就感觉会有点问题。其它还有一些模型比方说ARAM、ARIRM我没有试过。这篇文章主要讲解用LSTM如何进行时间序列预测
mathor
2020-02-28
3.4K
0
RNN-based is not always easy to learn
机器学习
深度学习
人工智能
神经网络
一般而言,你在做training的时候,你会希望,你的learning curve是像蓝色这条线,纵轴是total loss,横轴是epoch的数目,你会希望:随着epoch的增加,参数的不断update,loss会慢慢下降最后趋于收敛。但不幸的是,在训练RNN的时候,有时会看到这条绿色的线
mathor
2020-02-17
429
0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档