如何测量单词的共现频率
如何测量单词的共现频率
提问于 2019-03-05 09:03:40
在单词共现中频率是如何定义的？
是这两个词同时出现的次数/语料库中的文档总数
或
两个单词同时出现的次数/(第一个单词出现的次数+第二个单词出现的次数)？
回答 1
Stack Overflow用户
发布于 2019-03-05 10:00:11
“GloVe模型是在全局单词-单词共现矩阵的非零条目上进行训练的，该矩阵列出了给定语料库中单词彼此共现的频率。”-来自https://nlp.stanford.edu/projects/glove/ (GloVe publishers)。我假设您指的是GloVe模型所使用的同现。在数学上:你有P( i |j) = Xij/Xi w/ Xij =共现次数，Xi =任何单词在单词i的上下文中出现的次数。注意Xi = Sum_k Xik，其中k是每个单词。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/54993949
复制相关文章
相似问题
腾讯云开发者
