首页
学习
活动
专区
工具
TVP
发布

加权有限状态机在语音识别中的应用

WFST的基本操作 WFST是基于半环代数理论的,详细的半环理论可以看上面Mohri的论文或者找其它资料学习。简单的一个半环代数结构定义为 ,它包含元素集合K,两个基本操作和两个基本单元。...合并操作 合并操作用于将两个WFST合并成,合并可以用于存在多个WFST时,将它们合并到一个WFST,用于语音识别中。...如下,将A和B 组合操作 组合操作用于合并不同层次的WFST,用于将前一个WFST的输出符号同后一个WFST的输入符号做合并,生成由前一个WFST的输入符号到后一个WFST输出符号的状态机。...假设WFST A中有一条转移弧,输入x,输出y,权重是a;WFST B中有一条转移弧,输入是y,输出是z,权重是b,那么A和B的组合后,就会生成一条输入是x,输出是z,权重为ab。...下图为对a和b做组合操作 确定化操作 确定化操作用于去除WFST的冗余,对于WFST的每一个状态,它的每一个状态对于同一个输入符号,只有一个转移弧。

3.4K20
您找到你想要的搜索结果了吗?
是的
没有找到

Facebook AI开源图形变压器网络(GTN),用于与图形自动区分

来源 | reddit 作者 | Saksham Goyal 编辑 | 代码医生团队 图形变压器网络(GTN)是带有加权有限状态传感器(WFST)的开源框架,加权有限状态传感器(WFST)是一种功能强大且表现力强的图形...就像PyTorch一样,GTN为WFST提供了一个框架。GTN用于有效地训练基于图的机器学习模型,并在手写识别,语音识别和自然语言处理等应用程序中组合不同的信息源。...但是有了这个新的框架,研究人员可以在训练时动态地使用WFST。因此,整个系统可以更有效地从数据中学习和改进。 由于缺乏易于使用的框架,使用基于功能图的数据结构构建ML模型具有挑战性。...WFST的结构与数据学习相结合,可以使ML模型长期保持模块化,更准确和轻便。 GTN使构造WFST,可视化和执行操作变得容易。只需调用gtn.backward,就可以为参与计算的任何图形计算梯度。

69530

图神经网络版本的PyTorch来了,Facebook开源GTN框架,还可对图自动微分

从长远来看,WFST与数据学习相结合有可能使机器学习模型更加精确、模块化和轻量化。...WFST数据结构通常用于结合不同信息源的信息,如存在于语音识别、自然语言处理和手写识别等应用中的信息。...GTN工作原理类似PyTorch,简单易上手 通过使用 GTN ,研究人员可以轻松地构建WFST,并将其可视化,在其上执行操作。...上图是WFST卷积层和传统卷积层的对比,可以看出,在参数量和时间复杂度都得到了大幅度降低的同时,性能得到了一定的提升。...提出了卷积WFST层可以把底层的表征映射到更高级别的表征。 通过实验阐述了使用WFSTs用于语音和手写识别的有效性。

51130

EeSen、FSMN、CLDNN、BERT、Transformer-XL…你都掌握了吗?一文总结语音识别必备经典模型(二)

一个通过WFST的路径需要一串输入符号,并生成一串输出符号。解码方法将CTC标签、词典和语言模型作为独立的WFST。...各个WFST的构建描述如下。虽然是以英语为例,但同样的程序也适用于其他语言。 语法。语法WFST对语言/领域中可允许的单词序列进行编码。...图4所示的WFST代表一个玩具语言模型,它可以生成两个句子 "你怎么样 "和 "它怎么样"。WFST的符号是单词,弧形权重是语言模型的概率。...有了这个WFST表示,CTC解码原则上可以利用任何可以转换为WFST的语言模型。语言模型WFST表示为G。 图4 语法(语言模型)WFST的示例 弧的权重是给定前一个词时发出下一个词的概率。...首先生成词典和语法的WFST组合。然后,在组合中执行两个特殊的WFST操作,即确定化和最小化,以压缩搜索空间,从而加快解码速度。生成的WFST LG语言图再与Token WFST组成,最后生成搜索图。

60210

最大熵准则背后的一连串秘密

(ME),指数分布族(EFD),贝叶斯网络(BN),马尔可夫随机场(MRF),动态图模型(DBN),隐马尔可夫模型(HMM),条件随机场(CRF),最大熵马尔可夫模型(MEMM),加权有限状态自动机(WFST...后面我们会看到,这里的BN和DBN实际上都是WFST模型的一个特例,更一般的形式我们在后面马上介绍,另外这里的共享参数延展特性在后面的CRF模型中同样应用到,可对照着来理解。...2.1.3 WFST 无论是静态图还是作为其周期延拓的动态图,绕不开的一点是,在有序产生变量的过程中,对可能的分支状态的描述无能为力,对所有变长序列统一空间的概率分布函数无法估计。...这便是WFST的存在理由,对一个稳定的时序系统,不考虑时长,系统的运行可以看作状态X输入=输出X新状态的循环,这样可以完美解决上面的建模问题。表达式如下: ?...学习和工作中无数次碰到ME,EFD,BN,MRF,DBN,HMM,CRF,MEMM,WFST,Chomsky Grammar等等,对其中来龙去脉,相互关系颇为疑惑和着迷。

71030
领券