前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >6千万词汇的巨型汉语词库

6千万词汇的巨型汉语词库

作者头像
昱良
发布2018-04-08 15:59:02
7K8
发布2018-04-08 15:59:02
举报

关键字全网搜索最新排名

【机器学习算法】:排名第一

【机器学习】:排名第二

【Python】:排名第三

【算法】:排名第四

算法+语料≈NLP

这是一个六千万词汇量的分类词库,从事NLP时间久了你会感觉到,算法无法解决所有问题,词库也非常重要。通常一个算法可以解决80%的问题,剩下的20%无论怎么调节优化,都是拆东墙补西墙。比如“区人保”被HMM人名识别模块误命中的例子,这个词让HMM来看,“区”作为姓氏,“人”“保”作为名字的二三字的确非常有可能,但是正常人都不会取这个名字。要是我把“人”“保”这两个字的频度降低或删除的话,“袭人”“王保全”这些名字又无法识别。之前分享的数据集大都是做计算机视觉以及分类问题使用的,这次分享一个6千万词汇的巨型汉语词库。

由于目录太过庞大,只贴出一部分:

中国海洋大学青岛学院名人录.txt

中国海诚.txt

中国淡水鱼类名称.txt

中国烟名大全.txt

中国烟草名词.txt

中国理学总词库.txt

中国画专业词库.txt

中国疗养院名录.txt

中国的世界文化遗产名录.txt

中国相声师承关系族谱.txt

中国石化五建分包名单.txt

中国石油西北销售公司词库.txt

中国神仙表.txt

中国种子植物科属.txt

中国种子植物科属词典.txt

中国种子植物科属词典1.1.txt

中国科学技术大学.txt

中国科学技术大学【校园词库】.txt

中国科学院海洋研究所人名录.txt

中国科学院院士名.txt

中国移动 151.txt

中国移动专用词库.txt

中国移动业务专用.txt

中国移动安徽有限公司.txt

中国移动福建公司员工花名册.txt

中国网络作家.txt

中国职业名称大全.txt

中国联通福建分公司客服中心专用.txt

中国自唱歌曲.txt

中国自然保护区.txt

中国航油.txt

中国艺术家(音乐理论、表演类).txt

中国营口论坛-营口地方话词库.txt

中国著名演奏家.txt

中国观鸟年报-中国鸟类名录3.0.txt

中国计量学院.txt

中国象棋.txt

中国象棋常用词汇.txt

中国象棋红方走法大全.txt

中国财税管理咨询网.txt

中国近代历史名人.txt

中国野鸟名录.txt

中国钢厂名称库.txt

中国铁路名词.txt

中国银行.txt

中国银行快速录入.txt

中国音乐学院音乐考级山东考区人名2010年.txt

中国音乐文化词库.txt

中国风景名胜.txt

中国高等教育名录数据库.txt

中国高等院校(大学)大全【官方推荐】.txt

举个例子

四十万汉语大词库.txt

吖吖

吖啶

阿Q正传

阿阿

阿八

阿巴拉契亚山脉

阿爸

阿傍

阿谤

阿保

阿保之功

阿保之劳

阿本郎

阿鼻

阿鼻地狱

阿鼻鬼

阿鼻叫唤

阿鼻狱

阿比

阿比让

阿辟

阿避

阿炳

阿波罗

阿波罗计划

阿伯

阿步干

阿茶

阿谄

阿昌族

阿叱

阿閦

阿从

阿达

阿斗

阿阇

阿阇梨

自然语言处理及计算语言学相关术语.txt

隐式马可夫模型

阶层结构层次结构

单词句

同形异义词

同音异义词

同音词

同音异义

同部位音的

子句

人机界面

上位词

超文件超文本

下位词

主从结构的

直接成份

讯息为本的格位语法

成语熟语

特异性

施为性

直接成份

祈使句

蕴含谓词

含意

标引的

间接宾语

间接言谈行动间接言语行为

归纳推理

推理机器

不定词不定式

中缀

屈折变化

屈折词缀

资讯撷取

资讯处理信息处理

资讯检索

资讯理论信息论

固有特征

继承

继承

继承阶层继承层次

属性继承

语法天生假说

中插

里里外外演算法

体现

工具格

集成句法剖析程式

政府机关团体机构大全【官方推荐】.txt

质量技术监督局

纪律检查委员会

机关事务管理局

国家知识产权局

最高人民检察院

河北教育考试院

国家外汇管理局

人民政府办公厅

计划生育服务站

科学技术委员会

中华全国总工会

北京市人民政府

国家烟草专卖局

长江水利委员会

黄河水利委员会

市中级人民法院

河北省人民政府

市政工程管理处

环境卫生管理处

社区居民委员会

四川石油管理局

工业园区管委会

黑龙江省教育厅

华北石油管理局

中国美术家协会

市政管理委员会

哈尔滨市公安局

机动车辆管理所

辽宁省人民政府

一些奇葩词库

下载链接:

http://pan.baidu.com/s/1pLug8cj

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2017-06-05,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 机器学习算法与Python学习 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
NLP 服务
NLP 服务(Natural Language Process,NLP)深度整合了腾讯内部的 NLP 技术,提供多项智能文本处理和文本生成能力,包括词法分析、相似词召回、词相似度、句子相似度、文本润色、句子纠错、文本补全、句子生成等。满足各行业的文本智能需求。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档