展开

关键词

CRF

相关内容

  • HMM,MEMM和CRF

    CRF? 首先,CRF在给定了观察序列的情况下,对整个的序列的联合概率有一个统一的指数模型。一个比较吸引人的特性是其损失函数 的凸面性。CRF模型的优点:首先,CRF模型由于其自身在结合多种特征方面的优势和避免了标记偏置问题。其次,CRF的性能更好,CRF对特征的融合能力比较强,对于实例较小的时间类ME来说,CRF的识别效果明显高于ME的识别结果。CRF模型的不足:首先,通过对基于CRF的结合多种特征的方法识别英语命名实体的分析,发现在使用CRF方法的过程中,特征的选择和优化是影响结果的关键因素,特征选择问题的好与坏,直接决定了系统性能的高低。CRF模型中,统计了全局概率,在做归一化时,考虑了数据在全局的分布,而不是仅仅在局部归一化,这样就解决了MEMM中的标记偏置的问题。
    来自:
    浏览:393
  • 【基础】如何理解LSTM后接CRF?

    学生刚刚做NER方向的研究,看的文章在LSTM后都接CRF,能不能具体解释一下为什么改用CRF而不接分类器。这个限定特征会使得CRF的预测结果不出现上述例子的错误。当然了,CRF还能学到更多的限定特征,那越多越好啊!好了,那就把CRF接到LSTM上面,把LSTM在time_step上把每一个hidden_state的tensor输入给CRF,让LSTM负责在CRF的特征限定下,依照新的loss function,学习出一套新的非线性变换空间我认为其实是说把LSTM和CRF融合起来。所以干脆搞出B-LSTM+CRF,结合发射概率和转移概率这样。实际上后面接的CRF并不是真的CRF,比如它又没有特征模板,它又不接受离散特征,他只是一次Viterbi推导而已。
    来自:
    浏览:393
  • 广告
    关闭

    腾讯「技术创作101训练营」第三季上线!

    快来报名!

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到
  • 最通俗易懂的BiLSTM-CRF模型中的CRF层讲解

    文章没有晦涩的数学公式,而是通过实例一步一步讲解CRF的实现过程,是入门CRF非常非常合适的资料。相关项目代码:BERT-BiLSMT-CRF-NERhttps:github.commacanvBERT-BiLSTM-CRF-NER概述该文章系列包括以下内容:概念介绍 — 基于 BiLSTM-CRF模型中的命名实体识别任务中的CRF层解释例子详解 — 用一个玩具的例子详细解释CRF是如何工作的Chainer实现 — 用基于Chainer包的代码实现CRF层背景知识你唯一需要了解的是什么叫命名实体识别举个例子,该文讲述的用词嵌入和字嵌入的BiLSTM-CRF模型就是其中一种。我将以该模型为例解释CRF层的工作原理。2.6 对句子的单词词性做预测在之前章节我们学习了BiLSTM-CRF模型的基本结构和CRF的损失函数。
    来自:
    浏览:1822
  • NLP硬核入门-条件随机场CRF

    链接:NLP硬核入门-隐马尔科夫模型HMM 实际上HMM和CRF的学习没有先后顺序。但是两者很相似,在学习了HMM后更容易上手CRF,所以建议先学习HMM后学习CRF。TensorFlow提供了CRF的开发包,路径为:tf.contrib.crf。需要强调的是,TensorFlow的CRF,提供的是一个严重简化后的CRF,和原始CRF差异较大。CRF模块通过crf_sequence_score计算状态序列可能性分数,通过crf_log_norm计算归一化项。最后返回log_likelihood对数似然。(2)crf_sequence_score?crf_sequence_score通过crf_unary_score计算状态特征分数,通过crf_binary_score计算共现特征分数。(3)crf_unary_score?crf_unary_score利用掩码的方式,计算得出一个类似交叉熵的值。(4)crf_binary_score?
    来自:
    浏览:351
  • CRF++代码分析

    本文按照调用顺序抽丝剥茧地分析了CRF++的代码,详细注释了主要函数,并指出了代码与理论公式的对应关系。由于CRF是概率图模型,所以有一些图的特有概念,如顶点和边:?buildLattice方法调用rebuildFeatures对每个时刻的每个状态分别构造边和顶点:?正则化为了防止过拟合,CRF++采用了L1或L2正则化:if (orthant){    L1    for (size_t k = 0; k size(); ++k)    {        thread.obj是一个常数,在CRF++中其平方被称作cost-factor,?控制着惩罚因子的强度。可见要最小化目标函数,正则化项?也必须尽量小才行。模型参数的平方和小,其复杂度就低,于是就不容易过拟合。CRF++直接将这些参数送入一个LBFGS模块中:if (lbfgs.optimize(feature_index->size(), &alpha, thread.obj, &thread.expected
    来自:
    浏览:1090
  • 什么是条件随机场 CRF: Conditional Random Fields

    CRF 是一个无向图模型,它的节点可以分为两个不相交的集合 观测集 X,输出集 Y,然后可以对 P(Y|X)进行建模。----CRF 的应用:CRF 可以对序列数据建模,所以在 NLP 领域有很多应用。Named Entity recognition,CRF 可用于预测多变量相互依赖的序列。还可用于图片的 parts-recognition,基因预测等任务.----HMM 和 CRF 看起来很像:?它们的区别是:HMM 是有向图,CRF 是无向图;HMM 计算的是状态和观测的联合概率,而 CRF 计算的是状态基于观测的条件概率。HMM 多用于那种状态“原生”,观测是状态“生成”出来的场景。CRF 则多用于那种观测“原生”。状态“后天”产生,用来标记观测的情况。如,用 CRF 来做文本实体标记。输入一句话“我有一个苹果”,CRF 处理后将“苹果”标记成了“水果”。
    来自:
    浏览:809
  • 双向LSTM-CRF模型用于序列标注

    模型包括LSTM,BI-LSTM,LSTM-CRF,BI-LSTM-CRF。序列标注任务分为三个:词性标注,分块和命名实体识别。结果显示BI-LSTM-CRF模型在三个任务上的准确度都很高。二 模型介绍:这部分主要介绍了五种模型,LSTM,BI-LSTM,CRF,LSTM-CRF,BI-LSTM-CRF。这里我们就不一一详细赘述了。??????对于每一个批次:首先运行BI-LSTM-CRF模型正向传递,该正向传递包括正向和反向状态的正向传递 LSTM,得到所有位置上所有标签的输出得分 ?其中Conv-CRF模型是文章(Collobert et al.,2011)中的最好结果,Random和Senna是两种词嵌入的方式。五 总结本文的创新点在于首次使用BI-LSTM-CRF模型进行了序列标注任务,并且模型结果表现不错。
    来自:
    浏览:303
  • Hanlp中使用纯JAVA实现CRF分词

    与基于隐马尔可夫模型的最短路径分词、N-最短路径分词相比,基于条件随机场(CRF)的分词对未登录词有更好的支持。本文(HanLP)使用纯Java实现CRF模型的读取与维特比后向解码,内部特征函数采用 双数组Trie树(DoubleArrayTrie)储存,得到了一个高性能的中文分词器。封面.jpg开源项目本文代码已集成到HanLP中开源中CRF简介CRF是序列标注场景中常用的模型,比HMM能利用更多的特征,比MEMM更能抵抗标记偏置的问题。图1.JPG CRF训练这类耗时的任务,还是交给了用C++实现的CRF++。关于CRF++输出的CRF模型,请参考《CRF++模型格式说明》。CRF解码解码采用维特比算法实现。某个字根据CRF模型提供的模板生成了一系列特征函数,这些函数的输出值乘以该函数的权值最后求和得出了一个分数。该分数只是“点函数”的得分,还需加上“边函数”的得分。
    来自:
    浏览:380
  • tf44:tensorflow CRF的使用

    matricized_unary_scores, ) # 计算log-likelihood并获得transition_params log_likelihood, transition_params = tf.contrib.crf.crf_log_likelihood进行解码(维特比算法),获得解码之后的序列viterbi_sequence和分数viterbi_score viterbi_sequence, viterbi_score = tf.contrib.crf.crf_decodeCRF对于序列标注问题,通常会在LSTM的输出后接一个CRF层:将LSTM的输出通过线性变换得到维度为的张量,这个张量再作为一元势函数(Unary Potentials)输入到CRF层。?unary_scores = tf.reshape(matricized_unary_scores, )损失函数# Loss函数log_likelihood, transition_params = tf.contrib.crf.crf_log_likelihood解码decode_tags, best_score = tf.contrib.crf.crf_decode(unary_scores, transition_params, sequence_lengths
    来自:
    浏览:848
  • Hanlp分词之CRF中文词法分析详解

    这是另一套基于CRF的词法分析系统,类似感知机词法分析器,提供了完善的训练与分析接口。 图1.JPG CRF的效果比感知机稍好一些,然而训练速度较慢,也不支持在线学习。java -cp hanlp.jar com.hankcs.hanlp.model.crf.crfpp.crf_learn -T cws.bin cws.txt与CRF++兼容由于C++的运行效率和内存效率优于Java,所以推荐直接利用CRF++执行大规模训练。++的crf_learn执行训练:crf_learn cws-template.txt cws-corpus.tsv cws -t·此处必须使用-t命令CRF++输出文本格式的模型cws.txt·HanLPCRF词法分析器训练了1至3个模型后,可以构造CRF词法分析器:    **     * 构造CRF词法分析器     *     * @param cwsModelPath CRF分词器模型路径     
    来自:
    浏览:672
  • 我想用 CRF 怎么设置?

    点播,转码问题, 咨询里面的参数控制, 比如我想用 CRF 怎么设置?
    来自:
    回答:1
  • NLP系列学习:CRF条件随机场(2)

    Note:这里,我们的特征函数仅仅依靠当前单词的标签和它前面的单词的标签对标注序列进行评判,这样建立的CRF也叫作线性链CRF,这是CRF中的一种简单情况。为简单起见,本文中我们仅考虑线性链CRF。那么,HMM和CRF怎么比较呢?答案是:CRF比HMM要强大的多,它可以解决所有HMM能够解决的问题,并且还可以解决许多HMM解决不了的问题。我们把这个式子与CRF的式子进行比较:?不难发现,如果我们把第一个HMM式子中的log形式的概率看做是第二个CRF式子中的特征函数的权重的话,我们会发现,CRF和HMM具有相同的形式。用一句话来说明HMM和CRF的关系就是这样:每一个HMM模型都等价于某个CRF每一个HMM模型都等价于某个CRF每一个HMM模型都等价于某个CRF但是,CRF要比HMM更加强大,原因主要有两点:CRF可以定义数量更多CRF可以使用任意的权重将对数HMM模型看做CRF时,特征函数的权重由于是log形式的概率,所以都是小于等于0的,而且概率还要满足相应的限制,如?
    来自:
    浏览:169
  • NLP系列学习:CRF条件随机场(2)

    Note:这里,我们的特征函数仅仅依靠当前单词的标签和它前面的单词的标签对标注序列进行评判,这样建立的CRF也叫作线性链CRF,这是CRF中的一种简单情况。为简单起见,本文中我们仅考虑线性链CRF。那么,HMM和CRF怎么比较呢? 答案是:CRF比HMM要强大的多,它可以解决所有HMM能够解决的问题,并且还可以解决许多HMM解决不了的问题。我们把这个式子与CRF的式子进行比较:?不难发现,如果我们把第一个HMM式子中的log形式的概率看做是第二个CRF式子中的特征函数的权重的话,我们会发现,CRF和HMM具有相同的形式。用一句话来说明HMM和CRF的关系就是这样: 每一个HMM模型都等价于某个CRF 每一个HMM模型都等价于某个CRF 每一个HMM模型都等价于某个CRF但是,CRF要比HMM更加强大,原因主要有两点:CRFCRF可以使用任意的权重 将对数HMM模型看做CRF时,特征函数的权重由于是log形式的概率,所以都是小于等于0的,而且概率还要满足相应的限制,如?
    来自:
    浏览:579
  • 【NLP】用腻了 CRF,试试 LAN 吧?

    然而在深度学习时代,很多情况下 BiLSTM-CRF 并没有比不对输出序列进行建模的 BiLSTM-softmax 取得更好的效果。一个可能的原因是神经网络编码器已经有很强的序列信息编码能力,在此基础上 CRF 并没有引入更多的有效信息。在英文词性标注,命名实体识别和组合范畴语法超标注的任务上,BiLSTM-LAN 在比 BiLSTM-CRF 训练解码速度更快的情况下,取得了更好的效果。随着复杂度的增加,BiLSTM-CRF 并没有比 BiLSTM-softmax 表现的好,然而 BiLSTM-LAN 表现显著高于其他模型。在比BiLSTM-CRF训练解码速度更快的情况下,在词性标注,命名实体识别和组合范畴语法超标注任务上可以达到更高的精度。
    来自:
    浏览:375
  • 条件随机场CRF(三) 模型学习与维特比算法解码

    条件随机场CRF(一)从随机场到线性链条件随机场 条件随机场CRF(二) 前向后向算法评估标记序列概率    条件随机场CRF(三) 模型学习与维特比算法解码    在CRF系列的前两篇,我们总结了CRF1. linear-CRF模型参数学习思路 image.png2. linear-CRF模型参数学习之梯度下降法求解 image.png3. linear-CRF模型维特比算法解码思路 image.png4. linear-CRF模型维特比算法流程 image.png5. linear-CRF模型维特比算法实例   image.png6.linear-CRF vs HMM    linear-CRF模型和最大的不同点是linear-CRF模型是判别模型,而HMM是生成模型,即linear-CRF模型要优化求解的是条件概率$P(y|x)$,则HMM要求解的是联合分布$P(x,y)$。但是linear-CRF是CRF的一个特例,CRF本身是一个可以适用于很复杂条件概率的模型,因此理论上CRF的使用范围要比HMM广泛的多。    以上就是CRF系列的所有内容。 
    来自:
    浏览:539
  • CRF和LSTM 模型在序列标注上的优劣?

    HMM:CRF不管是在实践还是理论上都要优于HMM,HMM模型的参数主要是“初始的状态分布”,“状态之间的概率转移矩阵”,“状态到观测的概率转移矩阵”,这些信息在CRF中都可以有,例如:在特征模版中考虑CRF与LSTM:从数据规模来说,在数据规模较小时,CRF的试验效果要略优于BILSTM,当数据规模较大时,BILSTM的效果应该会超过CRF。二、CRF比较难扩展,想在图模型上加边加圈,得重新推导公式和写代码。LSTM想stack起来、改双向、换激活函数等,只不过左手右手一个慢动作的事儿。三、CRF针对大数据不好做。crf的核心概念,是计算序列全局的似然概率,其更像一个loss的选择方式。与其相对应的应该是cross entropy。crf把一个序列当作一个整体来计算似然概率,而不是计算单点的似然概率。即使现在主流使用LSTM模型的,也会在loss层使用crf,基本验证是更好的。而与LSTM相对应的应该是原来crf模型中特征层面的东东。
    来自:
    浏览:862
  • Hybrid semi-Markov CRF for Neural Sequence Labeling

    文末或获得论文链接Model本文使用的模型是基础的NER模型,联合使用了CRF和改进的semi-CRF提升了模型的效果。?对于输入?,?表示对应每个词的词向量,?表示句子的分割结果(?联合训练和解码为了研究word-level标签在SCRF上的作用,作者联合训练CRF层和HSCRF层,共用同一层词向量输入,分别在word-level和segment-level真实值的基础上训练模型参数不同实体长度上各个模型的表现从图中可以看出,GSCRF在识别较长实体的效果优于CRF,但是短实体上的识别效果比较差;HSCRF在长实体识别上的效果优于CRF,短实体上效果也与CRF较为接近。
    来自:
    浏览:603
  • 用深度学习做命名实体识别(七)-CRF介绍

    还记得之前介绍过的命名实体识别系列文章吗,可以从句子中提取出人名、地址、公司等实体字段,当时只是简单提到了BERT+CRF模型,BERT已经在上一篇文章中介绍过了,本文将对CRF做一个基本的介绍。本文尽可能不涉及复杂晦涩的数学公式,目的只是快速了解CRF的基本概念以及其在命名实体识别等自然语言处理领域的作用。 什么是CRF?CRF,全称 Conditional Random Fields,中文名:条件随机场。是给定一组输入序列的条件下,另一组输出序列的条件概率分布模型。 什么时候可以用CRF?上面的例子中没有提到命名实体识别,但其实命名实体识别的原理和上面的例子是一样的,也是用到了linear-CRF,后面会提到。 CRF如何提取特征?此时就有人想到用CRF来解决这个问题。 CRF算法中涉及到2种特征函数,一个是状态特征函数,计算状态分数,一个是转移特征函数,计算转移分数。
    来自:
    浏览:428
  • 澄清CRF(条件随机场)如何使用示例进行工作?

    我阅读了不同的文件如何CRF(条件随机场)的作品,但所有的文件只提供公式。有没有人可以给我发表一篇描述CRF的论文。 如果将上述句子作为训练的输入,那么该模型在训练期间如何工作以考虑CRF的公式?
    来自:
    回答:2
  • 如何轻松愉快地理解条件随机场(CRF)?

    Note:这里,我们的特征函数仅仅依靠当前单词的标签和它前面的单词的标签对标注序列进行评判,这样建立的CRF也叫作线性链CRF,这是CRF中的一种简单情况。为简单起见,本文中我们仅考虑线性链CRF。那么,HMM和CRF怎么比较呢?答案是:CRF比HMM要强大的多,它可以解决所有HMM能够解决的问题,并且还可以解决许多HMM解决不了的问题。我们把这个式子与CRF的式子进行比较:?不难发现,如果我们把第一个HMM式子中的log形式的概率看做是第二个CRF式子中的特征函数的权重的话,我们会发现,CRF和HMM具有相同的形式。用一句话来说明HMM和CRF的关系就是这样:每一个HMM模型都等价于某个CRF每一个HMM模型都等价于某个CRF每一个HMM模型都等价于某个CRF但是,CRF要比HMM更加强大,原因主要有两点:1、CRF2、CRF可以使用任意的权重 将对数HMM模型看做CRF时,特征函数的权重由于是log形式的概率,所以都是小于等于0的,而且概率还要满足相应的限制,如?
    来自:
    浏览:1263

扫码关注云+社区

领取腾讯云代金券