有没有办法使用ntlk或其他方法从句子的依存关系解析树中获得置信度分数或任何分数?
任何意见和建议都将不胜感激!
发布于 2016-07-17 22:46:53
这是一项艰巨的任务,我不知道有什么工具可以做到这一点,但如果你可能在语料库邮件列表或reddit的语言技术部分发布一些东西,你会得到更好的回复。但如果是一个研究问题,我会建议在penntreebank数据集上训练PCFG,然后使用它来计算分配给句子的句法分析树的概率。你可以抓取Mark Johnson's实现。搜索此行:
cky.tbz包含一个非常快速的CKY PCFG解析器的C实现,以及从树库中提取PCFG的程序,等等。(更新日期:2006年3月6日)
CYK (viterbi)是一种动态规划算法。PCFG代表概率CFG,通常使用penntreebank数据集进行训练。一个句子的所有可能解析树的概率总和可以解释为该句子在语法上的正确程度。如果这不是实际答案,很抱歉,但这是一个有效的答案,如果您决定这样做,我可以告诉您更多细节:)。
https://stackoverflow.com/questions/38393554
复制相似问题