腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

hanlp学习笔记

专栏作者

21

文章

19652

阅读量

17

订阅数

NLP学习------HanLP使用实验

python java NLP 服务

在之前的实验中得到了不在词向量里的词与分词结果，结果有500多个词不在词向量里，解决方案就是重新分词，或再追加训练这些词到词向量里。但后者相对麻烦且目前样本量不大。我跟据词向量的作者[6]所使用的分词工具来分词，会比不同工具（jieba）的效果要好，因为都是同一模式的分词，分出来的词应该都会存在于大型语料库中。实验证明思路是对的，最后结果是只有60几个词不在词向量里，其中大部分为名词，还有些为因语音翻译问题所造成的出错连词，所有这些词也只出现一次，这部分可以考虑最后删去也不会影响结果。改善未出现词是个关键步骤，因为此后模型会用到词向量，如果未出现词过多，会影响词向量效果。

2018-10-15

9290

Java中文分词hanlp使用

编程算法智能推荐平台 github NLP 服务 git

github地址：https://github.com/hankcs/HanLP

2018-10-15

3.2K0

使用HanLP增强Elasticsearch分词功能

NLP 服务机器学习

hanlp-ext 插件源码地址：http://git.oschina.net/hualongdata/hanlp-ext 或 https://github.com/hualongdata/hanlp-ext

2018-10-12

1.4K0

使用HanLP增强Elasticsearch分词功能

NLP 服务机器学习

hanlp-ext 插件源码地址：http://git.oschina.net/hualongdata/hanlp-ext 或 https://github.com/hualongdata/hanlp-ext

2018-10-12

1.4K0

HanLP自然语言处理包初步安装与使用

NLP 服务机器学习

HanLP是由一系列模型与算法组成的Java工具包，目标是促进自然语言处理在生产环境中的应用。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。

2018-10-12

8380

HanLP自然语言处理包初步安装与使用

NLP 服务机器学习

HanLP是由一系列模型与算法组成的Java工具包，目标是促进自然语言处理在生产环境中的应用。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。

2018-10-12

8380

菜鸟如何使用Hanlp

NLP 服务机器学习

boss给了个做分词的任务，最开始想用的是结巴分词and正则表达式。后来发现结果并不好，需要一遍一遍筛选【第一个标准筛选出80%的数据，然后制定第二个标准，继续筛选，然后制定第三个标准筛选，等等等等】

2018-10-12

5120

菜鸟如何使用Hanlp

NLP 服务机器学习

boss给了个做分词的任务，最开始想用的是结巴分词and正则表达式。后来发现结果并不好，需要一遍一遍筛选【第一个标准筛选出80%的数据，然后制定第二个标准，继续筛选，然后制定第三个标准筛选，等等等等】

2018-10-12

5120

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态