首页
学习
活动
专区
圈层
工具
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
首页标签中文分词

#中文分词

是使用计算机自动对中文文本进行词语的切分

Postgresql中的检索:中文分词及语义检索

程序员架构进阶

    在上一篇文章中提到,在postgresql中,使用pgvector可以实现向量存储和检索,使用pg_trgm基于三元组文本模糊匹配和相似度计算,结合GI...

5500

猫头虎分享:Python库 snownlp的简介、安装、用法详解入门案例教程

猫头虎

大家好,我是 猫头虎,猫头虎技术团队创始人,也被大家称为猫哥。我目前是COC北京城市开发者社区主理人、COC西安城市开发者社区主理人,以及云原生开发者社区主理人...

22010

科研人狂喜!不用再到处找文献,这个神器让你轻松获取全网外文文献

伪科研

写论文时,你是否也有过这样的困扰?SCI - Hub?Library Genesis?几个数据库反复横跳,还是找不到想要的文献。想查最新的外文研究成果,却不知道...

27230

中文分词代码(此代码为作者多年经验总结,以前发表过VB,PB版本)

jack.yang

/*  * created by yzh 2004.5.12  * 请大家引用时保留这段作者声明,此代码为开源代码;使用不受限制。  * 中文分词代码  *此代...

4400

用Rust实现的PHP中文分词动态库 Jieba

Tinywan

沃土股份 | 技术经理 (已认证)

15210

Java 结合中文分词库 jieba 统计一堆文本中各个词语的出现次数【代码记录】

訾博ZiBo

11400

使用 docker 部署 elasticsearch 并安装 ik 中文分词器

jgrass

这是一篇本地 docker 部署笔记,基本上是参考以下文章。记录一些实际操作中遇到的问题。

69410

利用Python爬取百度百科词条并生成词云图

LucianaiB

腾讯云TDP | 宣传大使 (已认证)

在这个信息爆炸的时代,数据可视化成为了一种有效的信息传递方式。词云图以其独特的视觉冲击力和简洁的信息表达方式,成为数据可视化中的一种流行形式。本文将介绍如何使用...

19810

【NLP自然语言处理】文本处理的基本方法

小言从不摸鱼

jieba是一个流行的中文分词工具,它能够将一段中文文本切分成有意义的词语。jieba是目前Python中最常用的中文分词库之一,具有简单易用、高效准确的特点。

16310

【自然语言处理】统计中文分词技术(一):1、分词与频度统计

Qomolangma

  本质上是字符串匹配的方法,将一串文本中的文字片段和已有的词典进行匹配,如果匹配到,则此文字片段就作为一个分词结果。 1)正向最大匹配法(从左到右的方向);...

49810

【自然语言处理】统计中文分词技术(一):1、分词与频度统计

Qomolangma

  本质上是字符串匹配的方法,将一串文本中的文字片段和已有的词典进行匹配,如果匹配到,则此文字片段就作为一个分词结果。 1)正向最大匹配法(从左到右的方向);...

49810

Elasticsearch分词

XiaoA

Elasticsearch搜索中比较重要的就是分词了,通过分词将内容拆分成不同的关键词,然后通过关键词的匹配度来打分排序选择结果,Elasticsearch默认...

14610

AI大数据统计《庆余年2》中的小人物有哪些?

AIGC部落

筛选出出现次数大于10的人名,用matplotlib绘制一个水平柱状图:x轴为人名,y轴为人名出现次数;

10410

.NET 使用 Jieba.NET 库实现中文分词匹配

郑子铭

本文介绍了如何使用.NET平台上的Jieba.NET库的PosSegmenter实现中文分词匹配。通过分词和词性标注,我们可以更好地处理中文文本,构建中文分词匹...

58310

中文分词 - 正向最大匹配

孟船长

上面方法虽然可行,但是当字符串长度特别长的时候耗时比较久,性能上有一些缺陷,这时候我们可以利用前缀字典进行优化,提高代码执行效率

18910

ES中文检索须知:分词器与中文分词器

Steve Wang

ik analyzer 是一个基于开源项目IK Analysis进行开发的第三方的中文分词器。IK Analyzer提供了细粒度的中文分词能力,支持词库扩展、自...

1K20

JS获取富文本(HTML)的摘要

码客说

在一些文章类程序中,我们直接对文章内容检索的话,数据量大,速度较慢,我们可以在保存的时候获取文章的摘要,方便后续检索。

93110

Python selenium爬取影评生成词云图

全栈若城

运行命令 pip install selenium jieba wordcloud matplotlib numpy 进行下载

25110
领券