这几天又陆陆续续的读了关于一些关于NLP上语言模型的书籍,简单总结了下自己的新的认识:
一:语言模型的性能评价:
1:语言模型的评价目标:
语言模型的计算的概率分布能够与真实的理想模型的概率分布可以相接近...(这一点其实是比较困难的,但是这是我们一直追求的目标)
2:困难:
无法知道语言模型的理想模型的真实分布
3:常用的几个指标;
交叉熵,困惑度(这又涉及到了关于熵的相关计算,这将和离散数学和图论上学习到的知识应用到实际生产生活中...)
4:自然语言统计方法的一般步骤:
1:收集大量的语料(这是基础操作,也是工作量最大的操作)
2:针对语料进行统计分析,得出知识(知识是一些概率,比如像n元语法这样)
3:针对某些场景建立算法,即使是计算简单的概率也会有复杂的算法可以运用...n年之后,各个输入法的新秀(如搜狗和谷歌)也都采用了n元语法模型技术。...正是因为这么多的应用,语言模型的发明开启了自然语言处理的新时代
这里推荐几本自己看过,自以为觉得不错的书,也希望大家多多交流:
1:
?