首页
学习
活动
专区
圈层
工具
发布

#nlp

NLP基础(分词):wordpiece 算法

三猫

导读:在之前的文章中,我们介绍了BPE(Byte Pair Encoding)算法如何通过合并高频字符对解决未登录词问题(NLP基础(分词):BPE 算法)。今...

2510

NLP基础算法及其在大模型中的应用全景解析

三猫

导读:在自然语言处理(NLP)领域,大模型的强大能力离不开底层基础算法的支撑。这些算法经过多年的发展和优化,为大模型提供了处理和理解语言的核心机制。从早期的词嵌...

3810

NLP基础(分词):BPE 算法

三猫

导读:在自然语言处理(NLP)领域,分词是文本预处理中的一个关键步骤。分词的目的是将文本分解成有意义的单元,以便模型能够更好地理解和处理。传统的分词方法通常基于...

4210

31_NLP数据增强:EDA与NLPAug工具

安全风信子

在自然语言处理(NLP)领域,高质量的标注数据是构建高性能模型的基础。然而,获取大量准确标注的数据往往面临成本高昂、耗时漫长、覆盖度不足等挑战。2025年,随着...

12510

26_NLP评估进阶:ROUGE与METEOR

安全风信子

自然语言处理(NLP)领域的快速发展带来了丰富多样的任务和模型,但如何客观、准确地评估这些模型的性能却成为了一个持续挑战。与传统的分类任务不同,NLP中的生成式...

20910

解密prompt系列63. Agent训练方案: RStar2 & Early Experience etc

风雨中的小七

当大模型成为Agent,我们该如何教会它“行动”?纯粹的模仿学习(SFT)天花板明显,而强化学习(RL)又面临奖励稀疏、环境复杂、探索成本高的挑战。本文将带你深...

29730

有哪些ChatBI产品使用了NL2DSL2SQL的技术路线,其市场成熟度如何?

用户7930345

将自然语言转换为数据库查询的技术(称为 NL2SQL)已从一个新兴概念发展成为成熟且具有商业可行性的解决方案。该领域最重要的架构进步是多阶段代理方法,称为 NL...

20410

​解密prompt系列62. Agent Memory新视角 - MATTS&CFGM&MIRIX

风雨中的小七

今天我们来聊聊AI智能体中至关重要的组件——记忆系统,它能有效避免的Agent像只有7秒记忆的金鱼,不断重复错误,循环往复。

35210

从 ELMo 到 BERT,看预训练模型如何重塑 NLP landscape

紫风

在自然语言处理(NLP)的发展进程中,预训练模型的出现无疑是一场意义深远的变革。从 ELMo 到 BERT,这些模型以前所未有的方式重塑了 NLP 的格局,让我...

16110

​解密prompt系列61. 手搓代码沙箱与FastAPI-MCP实战

风雨中的小七

最近Vibe Code在各种技术社区刷屏,不过说实话,在日常工作中,我更多是用LLM来生成文档、批量修改代码或者排查问题。毕竟业务需求嘛,很少有能一次性描述清楚...

19300

​解密prompt系列60. Agent实战:从0搭建Jupter数据分析智能体

风雨中的小七

本文将带你从零搭建一个数据分析智能体,实现用户上传Excel并给出指令后,智能体能够深入分析数据、进行可视化,并以Jupyter Notebook形式返回结果。...

35610

自然语言处理(NLP)技术使用

贺公子之数据科学与艺术

21310

100天跟着CP学PostgreSQL+AI,第26天 :合规审计:NLP 如何自动解析金融文档?

用户8465142

作者介绍:崔鹏,计算机学博士,专注 AI 与大数据管理领域研究,拥有十五年数据库、操作系统及存储领域实战经验,兼具 ORACLE OCM、MySQL OCP 等...

23110

​解密prompt系列59. MCP实战:从Low-Level到FastMCP的搭建演进

风雨中的小七

🚀 核心挑战:如何为复杂数据分析任务构建可扩展的代码沙箱工具?本文将以E2B沙箱为例,通过对比Low-Level与FastMCP两种MCP-Server实现方案...

66930

​解密prompt系列58. MCP - 工具演变 & MCP基础

风雨中的小七

作为结构化推理的坚定支持者,我一度对MCP感到困惑:Agent和工具调用的概念早已普及,为何还需要MCP这样的额外设计呢?本文就来深入探讨MCP,看看它究竟解决...

58630

​解密prompt系列57. Agent Context Engineering - 多智能体代码剖析

风雨中的小七

承接上篇对Context Engineering的探讨,本文将聚焦多智能体框架中的上下文管理实践。我们将深入剖析两个代表性框架:字节跳动开源的基于预定义角色与S...

28900

【停用词】NLP中的停用词怎么获取?我整理了6种方法

马哥python说

在自然语言处理(NLP)研究中,停用词stopwords是指在文本中频繁出现但通常没有太多有意义的词语。这些词语往往是一些常见的功能词、虚词甚至是一些标点符号,...

44000

【NLP教程】用python调用百度AI开放平台进行情感倾向分析

马哥python说

今天我来演示一下:通过百度AI开放平台,利用python调用百度接口进行中文情感倾向分析,并得出情感极性分为积极、消极还是中性以及置信度结果。

51000

文本挖掘与自然语言处理NLP学习路径:—基于R/PythonTF-IDF、LDA、LSTM及SVM模型跨领域分析

拓端

在大数据与人工智能高速发展的时代,文本数据作为非结构化信息的重要载体,其价值挖掘已成为数据科学领域的核心课题。作为数据科学家,我们曾面临从多源异构文本数据中提取...

29410

爬取汽车之家评论并利用NLP进行关键词提取

小白学大数据

在当今数字化时代,互联网上的用户评论成为了企业洞察消费者需求、优化产品和服务的重要资源。汽车之家作为国内知名的汽车信息平台,其用户评论中蕴含着丰富的市场信息。通...

31410
领券