首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >计算所汉语词法分析系统ICTCLAS 字典格式解析(字典格式说明)

计算所汉语词法分析系统ICTCLAS 字典格式解析(字典格式说明)

作者头像
田春峰-JCJC错别字检测
发布2019-02-14 11:37:25
5230
发布2019-02-14 11:37:25
举报

     在 计算所汉语词法分析系统ICTCLAS 字典格式解析  一文中简单介绍了一下 ICTCLAS 。本来是要把字典格式一并写上去,无奈不知道怎么描述这个格式,现在终于写出了第一个Java版本的代码,也理清了思路。这个文件格式可以这样来描述:

    先用文字描述一下:     ictclas的字典文件由结构相同的Segment组成(比如:英文字典可以按照词语的首字母分为26个Segment。)。 在一个Segment中由结构相同的Section组成。Section是描述词语的最小单位。     Section中对词语的描述信息包括:词语的长度、词语本身、词语使用的频率、词语的句柄。     下图描述了一个Segment的结构:

    下图是ictclas用C语言的描述格式:

    从程序的角度说明一下:

    一个Segment中Section的个数由这个Segment前4个字节决定(四个字节组成一个int型整数)。     一个Section中长度等于 前12 个字节 加上词语的长度。在前面的12个字节中前4个字节是词语频率,中间4个字节是词语的长度,后面四个字节是词语的句柄。

    希望感兴趣的朋友们一起来学习一下这个项目,这对以后的中文处理是个不错的开端。     相关下载: 计算所汉语词法分析系统ICTCLAS 字典格式解析

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2005年01月03日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
NLP 服务
NLP 服务(Natural Language Process,NLP)深度整合了腾讯内部的 NLP 技术,提供多项智能文本处理和文本生成能力,包括词法分析、相似词召回、词相似度、句子相似度、文本润色、句子纠错、文本补全、句子生成等。满足各行业的文本智能需求。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档