首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

NLP学习2-单词的分布式表示

中常用的不是《新华字典》,而是一种被称为同义词词典的词典 在同义词词典中,具有相同含义或者类似含义的单词被归类到同一个组别中 NLP中会定义单词之间的粒度更细的关系,比如“上位-下位”“整体-部分” WordNet...WordNet是NLP中常用的同义词词典,普林斯顿大学在1985年开发的;在NLTK模块中已经存在这个同义词词典 同义词词典问题 难以顺应时代变化:新词不断出现;旧词也可能有了新意 制作字典需要巨大的人力成本...= np.zeros(vocab_size) # 相似度初始值;全0 for i in range(vocab_size): # 循环计算余弦相似度; similarity...[i] = cos_similarity(word_matrix[i], query_vec) # 赋值给对应的similarity的位置 # 基于余弦相似度降序输出值 count...continue print(f'{id_to_word[i]}: {similarity[i]}') count += 1 if count >=

15230

【Hello NLP】CS224n学习笔记:词向量从而何来

1.WordNet(电子词典式) 最直观的,就是把我们纸质的字典搬到电脑上,这样我们就可以很方便地查询关于这个词相关的信息。...例如著名的WordNet,它被称为是NLP中的瑞士军刀,下图展示了通过调取wordnet工具包查询一个词的相关信息: WordNet使用举例(图源自cs224n课程slides) WordNet的构建花费了很多人多年时间...难以衡量词汇之间的「相似度」 针对上面的相似度的问题,实际上后面有人想到了使用「构建词语相似度表」(word-similarity table)的方式来解决,这样首先需要人工得确定每两个词的相似性程度,...这显然是不可能完成的任务,那通过WordNet来获取相似度呢?...这样可以小范围的实现,但是明显WordNet是很不完整的。 3.Word2Vec(低维分布式表示) 再后来,划时代的Word2Vec到来了。

63520
领券