腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

hadoop学习笔记

专栏作者

176

文章

180851

阅读量

28

订阅数

Spark中分布式使用HanLP（1.7.0)分词示例

编程算法 jar hadoop java node.js

HanLP分词，如README中所说，如果没有特殊需求，可以通过maven配置，如果要添加自定义词典，需要下载“依赖jar包和用户字典".

2019-05-08

7040

java中利用hanlp比较两个文本相似度的步骤

github jar 智能推荐平台

使用 HanLP - 汉语言处理包来处理，他能处理很多事情，如分词、调用分词器、命名实体识别、人名识别、地名识别、词性识别、篇章理解、关键词提取、简繁拼音转换、拼音转换、根据输入智能推荐、自定义分词器

2019-05-06

2.8K0

Hanlp汉字转拼音使用python调用详解

jar python jvm 开源

HanLP是一系列模型与算法组成的NLP工具包，由大快搜索主导并完全开源，目标是普及自然语言处理在生产环境中的应用。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。

2019-03-20

7160

Hanlp分词1.7版本在Spark中分布式使用记录

编程算法 jar hadoop java 大数据

新发布1.7.0版本的hanlp自然语言处理工具包差不多已经有半年时间了，最近也是一直在整理这个新版本hanlp分词工具的相关内容。不过按照当前的整理进度，还需要一段时间再给大家详细分享整理的内容。昨天正好看到的这篇关于关于1.7.0版本hanlp分词在spark中的使用介绍的文章，顺便分享给大家一起学习一下！

2019-03-11

6540

如何编译运行HanLP自然语言处理包

jar java git 打包

git clone https://github.com/hankcs/HanLP.git

2019-03-06

5060

Spring Boot中对自然语言处理工具包hanlp的调用详解

spring spring boot jar 编程算法

HanLP 是基于 Java开发的 NLP工具包，由一系列模型与算法组成，目标是普及自然语言处理在生产环境中的应用。而且 HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点，因此十分好上手，本文就结合 Spring Boot来将 HanLP用起来！

2018-11-21

1.1K0

MapReduce实现与自定义词典文件基于hanLP的中文分词详解

jar mapreduce maven java

文本分类任务的第1步，就是对语料进行分词。在单机模式下，可以选择python jieba分词，使用起来较方便。但是如果希望在Hadoop集群上通过mapreduce程序来进行分词，则hanLP更加胜任。

2018-10-15

7060

HanLP代码与词典分离方案与流程

java jar spark maven

之前在spark环境中一直用的是portable版本，词条数量不是很够，且有心想把jieba,swcs词典加进来，

2018-10-10

9300

全文检索Solr集成HanLP中文分词

全文检索中文分词开源 git jar

以前发布过HanLP的Lucene插件，后来很多人跟我说其实Solr更流行（反正我是觉得既然Solr是Lucene的子项目，那么稍微改改配置就能支持Solr），于是就抽空做了个Solr插件出来，开源在Github上，欢迎改进。

2018-09-26

1.3K0

大快DKH大数据网络爬虫安装教程（详细图文步骤）

爬虫 tomcat java jar

爬虫安装前准备工作：大快大数据平台安装完成、zookeeper、redis、elasticsearch、mysql等组件安装启动成功。

2018-08-24

5880

Android环境下hanlp汉字转拼音功能的使用介绍

android github jar git 开源

由于项目需要在Android手机设备上实现汉字转拼音功能（支持多音字），于是首先想到了Pinyin4j+多音字映射对照表的实现方案，并在项目中试用了一段时间，发现数据量大时，其耗时非常严重。后来寻找其他方案，在github上找到了HanLP开源库，其多音字转换速度非常快，但是没有针对Android平台进行适配，于是对代码进行了一些修改，终于可以在Android手机上运行。修改后的工程已上传至github，如有需要，可以clone HanLP-Android代码后，导出jar文件使用。

2019-04-01

6910

Eclipse myeclipse下配置HanLP的教程

jar eclipse ide

备注：文章分享自贾继康的博客，博客使用的hanlp是1.6.8的版本。大家可以去下载最新的1.7版本了，也比较推荐使用最新的这个版本！

2019-05-24

5490

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态