首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

#nlp

Qwen2大模型微调入门实战(完整代码)

用户9029617

Qwen2是一个开源大语言模型。以Qwen2作为基座大模型,通过指令微调的方式实现高准确率的文本分类,是学习大语言模型微调的入门任务。

10810

​解密Prompt系列31. LLM Agent之从经验中不断学习的智能体

风雨中的小七

Agent智能体的工作流可以简单分成两种:一种是固定的静态工作流,一种是智能体自主决策的动态工作流。

20830

【综述专栏】大型语言模型遇上自然语言处理:综述

马上科普尚尚

在科学研究中,从方法论上来讲,都应“先见森林,再见树木”。当前,人工智能学术研究方兴未艾,技术迅猛发展,可谓万木争荣,日新月异。对于AI从业者来说,在广袤的知识...

18220

基于LDA算法的Twitter文本分析

皮大大

项目地址:https://www.kaggle.com/code/errearanhas/topic-modelling-lda-on-elon-tweets/...

7710

解密Prompt系列30. LLM Agent之互联网冲浪智能体们

风雨中的小七

这一章我们介绍能自主浏览操作网页的WebAgent和相关的评估数据集,包含初级任务MiniWoB++,高级任务MIND2WEB,可交互任务WEBARENA,多模...

18510

「最佳实践」通过ES的机器学习功能,实现一站式NLP语义聚合

Rassyan

腾讯 · 高级研发工程师 (已认证)

随着腾讯云ES 8.8.1及其后续版本8.11.3、8.13.3的推出,腾讯云ES在人工智能、向量搜索和自然语言处理(NLP)等领域功能得到了显著的增强。这些新...

30430

基于国产chatGLM微调nlp信息抽取任务

机器学习AI算法工程

在整个流程中,实体识别和关系抽取是比较关键的工作,它们的准确性直接影响到信息抽取的结果。

14410

NLP - 新词发现

孟船长

判断组合左右的混乱程度,如果左、右熵都很大,表明组合左右变化很大,证明这个组合是一个词的概率很大

10610

解密Prompt系列29. LLM Agent之真实世界海量API解决方案:ToolLLM & AnyTool

风雨中的小七

很早之前我们就聊过ToolFormer,Gorilla这类API调用的Agent范式,这一章我们针对真实世界中工具调用的以下几个问题,介绍微调(ToolLLM)...

27120

chatgpt实现NLP基本任务(实体识别、关系抽取、属性抽取、事件抽取、文本分类)

机器学习AI算法工程

驻港部队从1993年初开始组建,1996年1月28日组建完毕,1997年7月1日0时进驻香港,取代驻港英军接管香港防务,驻港军费均由中央人民政府负担。《中华人民...

16210

深度学习NLP - 优化器、文本转向量

孟船长

把转化成的矩阵先转化成LongTensor类型后(代码要求类型,所以必须转换成LongTensor类型,或者说至少要转换成torch类型),然后过定义好的emb...

7710

深度学习NLP - 激活函数

孟船长

11710

解密Prompt系列28. LLM Agent之金融领域智能体:FinMem & FinAgent

风雨中的小七

本章介绍金融领域大模型智能体,并梳理金融LLM的相关资源。金融领域的大模型智能体当前集中在个股交易决策这个相对简单的场景,不需要考虑多资产组合的复杂场景。交易决...

64130

人工智能测试-NLP入门(1)

孟船长

向量加和:A + B = B + A 需要维度相同 [1, 2] + [3, 4] = [4, 6]

8610

聊聊从大模型来看NLP解决方案之UIE

Ryan_OVO

paddlenlp.Taskflow装载定制模型,通过task_path指定模型权重文件的路径,路径下需要包含训练好的模型权重文件model_state.pdp...

21210

30 个优质 NLP 数据集和模型,一键使用 8 个 demo,建议收藏!| 超全大模型资源汇总

大数据文摘

近两年来,大模型的热度持续高涨,并且开始在更广泛的领域进行落地探索。随着行业整体的快速发展,越来越多的开源大模型涌入市场,进一步推动了上层应用的拓展。

60810

【NLP】20 个基本的文本清理技术

机器学习AI算法工程

文本清理,也称为文本预处理或文本数据清理,正在准备原始文本数据并将其转换为更干净、更结构化的格式,以用于分析、建模或其他自然语言处理 (NLP) 任务。它涉及各...

19010

Chroma数据库:使用指南与实践案例

TechHarmony

Chroma 是一种高效的、基于 Python 的、用于大规模相似性搜索的数据库。它的设计初衷是为了解决在大规模数据集中进行相似性搜索的问题,特别是在需要处理高...

1.7K20

解密prompt系列27. LLM对齐经验之如何降低通用能力损失

风雨中的小七

前面我们已经聊过众多指令微调的方案,这一章我们重点讨论下如何注入某一类任务或能力的同时,尽可能不损失模型原有的通用指令理解能力。因为在下游或垂直领域应用中,我们...

35320

《自然语言处理(NLP)的最新进展:Transformers与GPT-4的浅析》

猫头虎

🐯 猫头虎博主 为您详解:自然语言处理(NLP)如何在近年来取得令人瞩目的进展,尤其是借助于Transformers结构和GPT-4模型。本文将为您探索这些技术...

42710
领券