【原创】python倒排索引之查找包含某主题或单词的文件

1.简单性
Java看起来设计得很像C++，但是为了使语言小和容易熟悉，设计者们把C++语言中许多可用的特征去掉了，这些特征是一般程序员很少使用的。例如，Java不支持go to语句，代之以提供break和continue语句以及异常处理。Java还剔除了C++的操作符过载（overload）和多继承特征，并且不使用主文件，免去了预处理程序。因为Java没有结构，数组和串都是对象，所以不需要指针。Java能够自动处理对象的引用和间接引用，实现自动的无用单元收集，使用户不必为存储管理问题烦恼，能更多的时间和精力花在研发上。
2.面向对象
Java是一个面向对象的语言。对程序员来说，这意味着要注意应中的数据和操纵数据的方法（method），而不是严格地用过程来思考。在一个面向对象的系统中，类（class）是数据和操作数据的方法的集合。数据和方法一起描述对象（object）的状态和行为。每一对象是其状态和行为的封装。类是按一定体系和层次安排的，使得子类可以从超类继承行为。在这个类层次体系中有一个根类，它是具有一般行为的类。Java程序是用类来组织的。
Java还包括一个类的扩展集合，分别组成各种程序包（Package），用户可以在自己的程序中使用。例如，Java提供产生图形用户接口部件的类（java.awt包），这里awt是抽象窗口工具集（abstract windowing toolkit）的缩写，处理输入输出的类（java.io包）和支持网络功能的类（java.net包）。
3.分布性
Java设计成支持在网络上应用，它是分布式语言。Java既支持各种层次的网络连接，又以Socket类支持可靠的流（stream）网络连接，所以用户可以产生分布式的客户机和服务器。
网络变成软件应用的分布运载工具。Java程序只要编写一次，就可到处运行。

C语言是一种结构化语言，它有着清晰的层次，可按照模块的方式对程序进行编写，十分有利于程序的调试，且c语言的处理和表现能力都非常的强大，依靠非常全面的运算符和多样的数据类型，可以轻易完成各种数据结构的构建，通过指针类型更可对内存直接寻址以及对硬件进行直接操作，因此既能够用于开发系统程序，也可用于开发应用软件。通过对C语言进行研究分析，总结出其主要特点如下：
（1）简洁的语言
C语言包含有各种控制语句仅有9种，关键字也只有32 个，程序的编写要求不严格且多以小写字母为主，对许多不必要的部分进行了精简。实际上，语句构成与硬件有关联的较少，且C语言本身不提供与硬件相关的输入输出、文件管理等功能，如需此类功能，需要通过配合编译系统所支持的各类库进行编程，故c语言拥有非常简洁的编译系统。 [5]
（2）具有结构化的控制语句
C语言是一种结构化的语言，提供的控制语句具有结构化特征，如for语句、if⋯else语句和switch语句等。可以用于实现函数的逻辑控制，方便面向过程的程序设计。 [5]
（3）丰富的数据类型
C语言包含的数据类型广泛，不仅包含有传统的字符型、整型、浮点型、数组类型等数据类型，还具有其他编程语言所不具备的数据类型，其中以指针类型数据使用最为灵活，可以通过编程对各种数据结构进行计算。 [5]
（4）丰富的运算符
C语言包含34个运算符，它将赋值、括号等均视作运算符来操作，使C程序的表达式类型和运算符类型均非常丰富。 [5]
（5）可对物理地址进行直接操作
C语言允许对硬件内存地址进行直接读写，以此可以实现汇编语言的主要功能，并可直接操作硬件。C语言不但具备高级语言所具有的良好特性，又包含了许多低级语言的优势，故在系统软件编程领域有着广泛的应用。 [5]
（6）代码具有较好的可移植性
C语言是面向过程的编程语言，用户只需要关注所被解决问题的本身，而不需要花费过多的精力去了解相关硬件，且针对不同的硬件环境，在用C语言实现相同功能时的代码基本一致，不需或仅需进行少量改动便可完成移植，这就意味着，对于一台计算机编写的C程序可以在另一台计算机上轻松地运行，从而极大的减少了程序移植的工作强度。 [5]
（7）可生成的高质量目标代码，高执行效率的程序

#用于获取该目录下得所有txt文件，忽略掉文件夹及里面的
import glob
#主要是一些路径的操作
import os
#对句子进行分词或关键词提取
from jieba import analyse

#获取当前pyhtho文件所在的目录：当前是：C:\gongoubo\python-work\direc\files
dir_path = os.path.dirname(os.path.abspath(__file__))
print(dir_path)
#存储txt文件的绝对路径为列表，同时为每个文件建立索引
def file_store():
    files_name =[]
    files_dict = {}
    #获取file文件夹下所有为txt的文件
    for i,name in enumerate(glob.glob("file/*.txt")):
        files_dict[i] = name.split('\\')[-1]
        file_name = dir_path + "\\" + name
        files_name.append(file_name)
    return files_name,files_dict

#读取每个txt文件
def transform(files_name):
    #注意打开的时候需要申明为utf-8编码
    for i,j in enumerate(files_name):
        #打开文件
        tmp = open(j,'r',encoding='utf-8').read()
        #提取关键词
        content = analyse.extract_tags(tmp)
　　　　 #也可以进行分词content=jieba.cut_for_search(tmp)，关于jieba分词，可以看我的自然语言处理之基础技能
        #新建process文件夹
        path=dir_path+'\\file\\'+'process'
        if not os.path.exists(path):
            os.makedirs(path)
        #为存储关键词的txt取名，对应这每个文件的索引
        fp=open(path+'\\'+str(i)+'.txt','w',encoding='utf-8')
        #将关键词写入到txt中
        fp.write(" ".join(content))
        fp.close()

#建立倒排索引
def invert_index():
    path=dir_path+'\\file\\'+'process'
    word_dict = {}
    # 取包含关键词的txt
    for file in glob.glob(path+'/*.txt'):
        #取出txt文件名，也就是文件的索引
        index = file.split('\\')[-1][0]
        #打开文件，并将关键词存储为列表
        with open(file,'r',encoding='utf-8') as fp:
            word_list=fp.read().split(" ")
        #建立倒排索引，如果单词不在单词字典中，就存储文件的索引，否则就添加索引到索引列表后
        for word in word_list:
            if word not in word_dict:
                word_dict[word]=[index]
            else:
                word_dict[word].append(index)
    return word_dict

def get_topk(count,topk=None):
    print(count)
    file_index = []
    #如果topk超出了返回的数目，则有多少显示多少
    if topk > len(count):
        for i in range(0,len(count)):
            file_index.append(int(count[i][0]))
        return file_index
    if len(count)<0:
        print("没有找到相关的文件")
        return False
    else:
        for i in range(0,topk):
            file_index.append(int(count[i][0]))
    return file_index

#得到文件名
def get_files(file_index,files_dict):
    res=[]
    for i in file_index:
        res.append(files_dict[i])
    return res

def main():
    print("请输入要查找的内容，不同单词间','隔开：")
    words = input().split(',')
    #获得文件名和文件名索引字典
    files_name, files_dict = file_store()
    #提取关键词或分词
    transform(files_name)
    #倒排索引建立
    word_dict = invert_index()
    count={}
    #统计文件索引的次数
    for word in words:
        if word in word_dict:
            for file in word_dict[word]:
                if file not in count:
                    count[file]=1
                else:
                    count[file]+=1
        else:
            continue
    #按次数从大到小排列
    count=sorted(count.items(),key=lambda i:i[1],reverse=True)
    #返回前k个文件索引
    file_index=get_topk(count,topk=3)
    if file_index != False:
        print("与之描述最可能的文件是：")
        #返回文件名，并输出结果
        res=get_files(file_index,files_dict)
        print(res)

if __name__ == '__main__':
    main()