gensim，dictionary

from gensim.corpora.dictionary import Dictionary
def print_dict(dic):
    for key in dic:
        print key,dic[key]
a = [[u'巴西',u'巴西',u'英格兰'],[u'巴西',u'西班牙',u'法国']]
b = [u'巴西',u'巴西',u'比利时',u'法国',u'法国']
# a用来构造词典
dic = Dictionary(a)

print dic
print print_dict(dic)

########dictionary信息##########
Dictionary(4 unique tokens: [u'\u6cd5\u56fd', u'\u5df4\u897f', u'\u897f\u73ed\u7259', u'\u82f1\u683c\u5170'])
2 法国
0 巴西
3 西班牙
1 英格兰

print dictionary.dfs #字典，{单词id，在多少文档中出现}

{0: 2, 1: 1, 2: 1, 3: 1}

print dic.num_docs #文档数目
print_dict(dict(dic.items()))

 2
0 巴西
1 英格兰
2 法国
3 西班牙

print_dict(dic.id2token) #字典，{单词id，对应的词}

字典，{单词id，对应的词}
0 巴西
1 英格兰
2 法国
3 西班牙

print_dict(dic.token2id) #字典，{词，对应的单词id}

法国 2
巴西 0
西班牙 3
英格兰 1

print dic.num_pos #所有词的个数

6

print dic.num_nnz #每个文件中不重复词个数的和

5

# allow_update:T or F,是否将b数据到字典中
# result返回b的词袋结果，list
# missing 丢失数据，字典类型
result, missing = dic.doc2bow(b, allow_update=False, return_missing=True)
print "词袋b，列表[(单词id，词频)]"
print result
print_dict(dic)
print_dict(missing)

词袋b，列表[(单词id，词频)]
[(0, 2), (2, 2)]
2 法国
0 巴西
3 西班牙
1 英格兰
比利时 1

print "########bow信息##########"
for _, freq in result:
    print _, dic.id2token[_], freq

0 巴西 2
2 法国 2

print "########dictionary信息##########"
# 过滤文档频率大于no_below，小于no_above*num_docs的词
dic.filter_extremes(no_below=1, no_above=0.5, keep_n=10)