前一篇已经翻译过termvectors的使用方法了,这对于学习如何使用tf-idf来说是很有帮助的了。 更多内容参考我整理的ELK教程
今天早晨起来,看《ES IN ACTION》的时候,遇到了这个术语,看英文实在不明白,于是百度了一下。看到了阮一峰的一篇关于它的文章,讲解的十分简单明了,不得不佩服大家的作品,就是不一样。
其实TF-IDF是一种全文检索很常见的算法,即按照关键词以及权重来判断用户想要的是哪一个相关的文档。
比如说,我的名字叫xingoo
这句话,想要针对它来做一次全文检索。
第一步,就是对它进行分词,可以分为我
的
名字
叫
xingoo
其中的
是一种停顿词,很多文档中都会出现,因此可以忽略。那么关键词可以变为:名字``xingoo
。那么名字``xingoo
这两个词出现了多少次,就可以作为TF,即term frequnency,词频。
第二步,如果其他的文档中也会出现名字
这种词,而很少会出现xingoo
这种个性话的词。因此采用一种逆向权重法,即越少出现的词,越特殊,越能代表这篇文档的特殊性。这个就叫做IDF,即Inverse Document Frequency,你文档频率。
关于他们的计算公式,可以参考阮一峰的文章,很容易理解的!
再说回官方文档吧,这次介绍的是一次性返回多个查询的termvectors,原理和multi get类似,都是使用一个docs的数组,请求多个index,type,id。
curl 'localhost:9200/_mtermvectors' -d '{ "docs": [ { "_index": "testidx", "_type": "test", "_id": "2", "term_statistics": true }, { "_index": "testidx", "_type": "test", "_id": "1", "fields": [ "text" ] } ] }'
索引可以放在url上面,这样docs中就可以忽略,也可以在docs进行覆盖:
curl 'localhost:9200/testidx/_mtermvectors' -d '{ "docs": [ { "_type": "test", "_id": "2", "fields": [ "text" ], "term_statistics": true }, { "_type": "test", "_id": "1" } ] }'
type也是如此:
curl 'localhost:9200/testidx/test/_mtermvectors' -d '{ "docs": [ { "_id": "2", "fields": [ "text" ], "term_statistics": true }, { "_id": "1" } ] }'
如果索引和类型都一样,只有请求的id不一样,那么可以把id放在一个数组里面:
curl 'localhost:9200/testidx/test/_mtermvectors' -d '{ "ids" : ["1", "2"], "parameters": { "fields": [ "text" ], "term_statistics": true, … } }'
由于termvectors支持用户自己定义的文档,而不是ES中存储的。因此可以按照下面的语法,请求多个自定义的文档进行解析:
curl 'localhost:9200/_mtermvectors' -d '{ "docs": [ { "_index": "testidx", "_type": "test", "doc" : { "fullname" : "John Doe", "text" : "twitter test test test" } }, { "_index": "testidx", "_type": "test", "doc" : { "fullname" : "Jane Doe", "text" : "Another twitter test ..." } } ] }'
本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。
我来说两句