腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

hadoop学习笔记

专栏作者

176

文章

181396

阅读量

28

订阅数

部分常用分词工具使用整理

git github 开源中文分词面向对象编程

HanLP是一系列模型与算法组成的NLP工具包，由大快搜索主导并完全开源，目标是普及自然语言处理在生产环境中的应用。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。

2019-05-29

1.2K0

如何在java中去除中文文本的停用词

github git 开源

第一步：先将中文文本进行分词，这里使用的HanLP-汉语言处理包进行中文文本分词。

2019-04-29

1.2K0

Hanlp汉字转拼音使用python调用详解

jar python jvm 开源

HanLP是一系列模型与算法组成的NLP工具包，由大快搜索主导并完全开源，目标是普及自然语言处理在生产环境中的应用。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。

2019-03-20

7180

中文自然语言处理工具HanLP源码包的下载使用记录

NLP 服务 ide github git 开源

这篇文章主要分享的是hanlp自然语言处理源码的下载，数据集的下载，以及将让源代码中的demo能够跑通。Hanlp安装包的下载以及安装其实之前就已经有过分享了。本篇文章主要还是备忘之用，同时算是给新手朋友的一些参考吧！

2019-02-15

1.1K0

基于CRF序列标注的中文依存句法分析器的Java实现

编程算法开源

这是一个基于CRF的中文依存句法分析器，内部CRF模型的特征函数采用双数组Trie树(DoubleArrayTrie)储存，解码采用特化的维特比后向算法。相较于《最大熵依存句法分析器的实现》，分析速度翻了一倍，达到了1262.8655 sent/s

2019-01-16

6880

SQL与NoSQL数据库入门基础知识详解

大数据开源 nosql sql hadoop

这几年的大数据热潮带动了一激活了一大批hadoop学习爱好者。有自学hadoop的，有报名培训班学习的。所有接触过hadoop的人都知道，单独搭建hadoop里每个组建都需要运行环境、修改配置文件测试等过程。对于我们这些入门级新手来说简直每个都是坑。国内的发行版hadoop那么多，似乎都没有来填这样的坑？不知道是没法解决，还是没有想到？

2018-12-19

7830

目前常用的自然语言处理开源项目/开发包大汇总

NLP 服务 github git 开源中文分词

中文主要有：NLTK，FoolNLTK，HanLP（java版本），pyhanlp（python版本），Ansj，THULAC，结巴分词，FNLP，哈工大LTP，中科院ICTCLAS分词，GATE，SnowNLP，东北大学NiuTrans，NLPIR，；

2018-11-26

2.9K0

DKhadoop大数据平台基础框架方案概述

大数据开源 hadoop 搜索引擎

大数据作为当下最为热门的事件之一，其实已经不算是很新鲜的事情了。如果是三五年前在讨论大数据，那可能会给人一种很新鲜的感觉。大数据作为当下最为重要的一项战略资源，已经是越来越得到国家和企业的高度重视，我们从大数据被上升到国家战略层面就可窥见一二！

2018-10-31

5510

Hanlp实战HMM-Viterbi角色标注中国人名识别

编程算法开源

这几天写完了人名识别模块，与分词放到一起形成了两层隐马模型。虽然在算法或模型上没有什么新意，但是胜在训练语料比较新，对质量把关比较严，实测效果很满意。比如这句真实的新闻“签约仪式前，秦光荣、李纪恒、仇和等一同会见了参加签约的企业家。”，分词结果：[签约/v, 仪式/n, 前/f, ，/w, 秦光荣/nr, 、/w, 李纪恒/nr, 、/w, 仇和/nr, 等/u, 一同/d, 会见/v, 了/ul, 参加/v, 签约/v, 的/uj, 企业家/n, 。/w]，三个人名“秦光荣”“李纪恒”“仇和”一个不漏。一些比较变态的例子也能从容应对，比如下面：

2018-10-22

9140

DKHadoop大数据平台架构详解

大数据开源 sql 面向对象编程分布式

大数据的时代已经来了，信息的爆炸式增长使得越来越多的行业面临这大量数据需要存储和分析的挑战。Hadoop作为一个开源的分布式并行处理平台，以其高拓展、高效率、高可靠等优点越来越受到欢迎。这同时也带动了hadoop商业版的发行。这里就通过大快DKhadoop为大家详细介绍一下hadoop大数据平台架构内容。

2018-10-17

1.1K0

hanlp自然语言处理包的基本使用--python

NLP 服务 python 中文分词 http 开源

hanlp拥有：中文分词、命名实体识别、摘要关键字、依存句法分析、简繁拼音转换、智能推荐。

2018-09-28

5950

全文检索Solr集成HanLP中文分词

全文检索中文分词开源 git jar

以前发布过HanLP的Lucene插件，后来很多人跟我说其实Solr更流行（反正我是觉得既然Solr是Lucene的子项目，那么稍微改改配置就能支持Solr），于是就抽空做了个Solr插件出来，开源在Github上，欢迎改进。

2018-09-26

1.3K0

hadoop不同版本有哪些

hadoop 大数据 apache 开源 hive

首次听到hadoop这次单词，相信很多人跟我当时是一样，不免心中画上一个大大的问号——这是什么东西？Hadoop是什么？百度百科的解释是：Hadoop是一个由Apache基金会所开发的分布式系统基础架构。换句话说就是hadoop是一个能够对大量数据进行分布式处理的软件框架。

2018-09-18

1.6K0

hadoop发行版本之间的区别

大数据 apache 开源 hadoop

Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。Hadoop的发行版除了有Apache hadoop外cloudera，hortonworks，mapR,华为,DKhadoop等都提供了自己的商业版本。商业发行版主要是提供了更为专业的技术支持，这对于大型企业更为重要，不同发行版都有自己的一些特点，本文就各发行版做简单对比介绍。

2018-09-11

1.2K0

学习hadoop需要什么基础

hadoop java linux 开源

“学习hadoop需要什么基础”这已经不是一个新鲜的话题了，随便上网搜索一下就能找出成百上千篇的文章在讲学习hadoop需要掌握的基础。再直接的一点的问题就是——学Hadoop难吗？用一句特别让人无语的话回答就是：难不会，会不难！

2018-09-07

5630

Android环境下hanlp汉字转拼音功能的使用介绍

android github jar git 开源

由于项目需要在Android手机设备上实现汉字转拼音功能（支持多音字），于是首先想到了Pinyin4j+多音字映射对照表的实现方案，并在项目中试用了一段时间，发现数据量大时，其耗时非常严重。后来寻找其他方案，在github上找到了HanLP开源库，其多音字转换速度非常快，但是没有针对Android平台进行适配，于是对代码进行了一些修改，终于可以在Android手机上运行。修改后的工程已上传至github，如有需要，可以clone HanLP-Android代码后，导出jar文件使用。

2019-04-01

6920

java分词工具hanlp介绍

NLP 服务开源

前几天（6月28日），在第23届中国国际软件博览会上，hanlp这款自然语言处理工具荣获了“2019年第二十三届中国国际软件博览会优秀产品”。

2019-07-03

1.4K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态