腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
数据饕餮
专栏作者
举报
217
文章
200477
阅读量
60
订阅数
订阅专栏
申请加入专栏
全部文章（217）
大数据（28）
数据库（27）
存储（19）
hadoop（17）
数据分析（17）
python（14）
知识图谱（12）
编程算法（12）
hbase（11）
http（10）
模型（10）
开源（9）
ide（8）
linux（8）
人工智能（7）
企业（7）
机器人（7）
aigc（7）
深度学习（6）
爬虫（6）
数据处理（6）
windows（6）
人脸识别（5）
数据挖掘（5）
java（5）
xml（5）
入门（5）
node.js（4）
eclipse（4）
github（4）
mapreduce（4）
分布式（4）
架构设计（4）
产品设计（4）
数据仓库（4）
NLP 服务（3）
机器学习（3）
html（3）
git（3）
api（3）
中文分词（3）
unix（3）
文件存储（3）
大数据处理套件 TBDS（3）
电商（3）
数据安全（3）
jvm（3）
hive（3）
数据可视化（3）
系统架构（3）
prompt（3）
部署（3）
其他（2）
c++（2）
.net（2）
云数据库 Redis（2）
打包（2）
神经网络（2）
TDSQL MySQL 版（2）
网络安全（2）
jdk（2）
zookeeper（2）
uml（2）
安全（2）
https（2）
chatgpt（2）
etl（2）
编码（2）
产品（2）
产品经理（2）
程序员（2）
工具（2）
工作流（2）
函数（2）
互联网（2）
基础（2）
开源框架（2）
配置（2）
数据采集（2）
费用中心（1）
腾讯云学堂（1）
php（1）
bootstrap（1）
json（1）
android（1）
云数据库 SQL Server（1）
oracle（1）
nosql（1）
flask（1）
tomcat（1）
搜索引擎（1）
lucene/solr（1）
apache（1）
bash 指令（1）
tornado（1）
云函数（1）
存储网关（1）
云直播（1）
访问管理（1）
云数据库 MongoDB（1）
人脸核身（1）
弹性 MapReduce（1）
云推荐引擎（1）
mongodb（1）
图像处理（1）
人脸支付（1）
网站（1）
数据备份（1）
混合云存储（1）
金融（1）
渲染（1）
url 安全（1）
yarn（1）
互联网金融（1）
shell（1）
正则表达式（1）
面向对象编程（1）
opencv（1）
unity（1）
ftp（1）
keras（1）
tcp/ip（1）
scrapy（1）
rpc（1）
kernel（1）
socket编程（1）
微信（1）
物联网（1）
数据结构（1）
信息流（1）
云计算（1）
sdk（1）
es（1）
项目管理（1）
app（1）
bi（1）
block（1）
colors（1）
data（1）
db（1）
diagram（1）
dimensions（1）
gan（1）
it（1）
lifecycle（1）
matrix（1）
max（1）
min（1）
model（1）
monitor（1）
na（1）
openai（1）
patch（1）
process（1）
random（1）
reference（1）
return（1）
server（1）
status（1）
sudo（1）
sum（1）
table（1）
word（1）
笔记（1）
编译（1）
测试（1）
代理（1）
翻译（1）
管理（1）
规范化（1）
解决方案（1）
开发（1）
客户端（1）
框架（1）
流量（1）
前端（1）
权限（1）
软件（1）
实践（1）
实时计算（1）
数据（1）
算法（1）
网络（1）
系统设计（1）
异常（1）
隐私（1）
源码（1）
终端（1）
主机（1）
搜索文章
搜索
搜索
关闭
开源中文分词框架分词效果对比smartcn与IKanalyzer
lucene/solr
中文分词
中文分词一直是自然语言处理的一个痛处，早在08年的时候，就曾经有项目涉及到相关的应用（Lunce构建全文搜索引擎），那时的痛，没想到5年后的今天依然存在，切分效果、扩展支持、业务应用等方面依然不甚理想。收费的版本不提了，原因自不必言表，开源版本中，发现之前曾经活跃的版本，大多已经没落（好几年没更新了），存活下来的寥寥无几。我是一个守旧的人，评估版本的选择有些保守，至少目前为止，只看1.0正式版本之后的版本，0.XX的不在考虑范围之内，用了一个周末的时间，对比了十多款的样子，个人感觉源于中科院ICTCLAS的smartcn和IKAnanlyzer效果还是不错的。
数据饕餮
2019-01-14
2.3K
0
没有更多了
社区活动
RAG七天入门训练营
鹅厂大牛手把手带你上手实战
立即学习
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档