多算法综合的文本挖掘系统

• 集成了文本过滤、去重及邮件实时通知的功能
• 集成了文本关键词提取的功能
• 集成了文本分类即打标签的功能
• 集成了文本推荐即热点评价的功能
• 支持中英文

本文完整源码 获取方式：

关注微信公众号 datayx 然后回复 文本挖掘 即可获取。

系统架构图

关于配置

config文件：

• 可以进行服务器配置，针对数据库中制订collection的不同字段column
• 可以限定操作数据库条目的数量，默认时间从最近往前推
• 可以选择语言(中文，英文)
• 可以设置分类特征词词典的维度
• 可以设置是否接收邮件通知
• 可以设置版本加速，如果加速分类，此时会将文本特征词和分类模型固定化！因此，如果要测试分类特征词词典的维度、分类器的特征和算法，需要取消加速。

程序文件：

• 可以更改特征词典的生成，通过该词的词频数或者包含该词的文档频率
• 可以更改文本过滤及去重算法
• 可以更改关键词提取算法，可选基于特征词提取、基于Tf提取、基于IDf提取、基于TfIDf提取，可以更改前K个关键词筛选方法
• 可以更改训练集和测试集的特征生成，基于特征词，可选Bool特征、Tf特征、IDf特征(无区分)、TfIDf特征，可以选择进行特征选择或降维
• 可以更改文本分类算法，可选SVC、LinearSVC、MultinomialNB、LogisticRegression、KNeighborsClassifier、DecisionTreeClassifier，可以更改算法调参寻优的方法
• 可以更改文本推荐算法