腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

小七的各种胡思乱想

专栏作者

92

文章

161497

阅读量

40

订阅数

解密Prompt系列28. LLM Agent之金融领域智能体：FinMem & FinAgent

本章介绍金融领域大模型智能体，并梳理金融LLM的相关资源。金融领域的大模型智能体当前集中在个股交易决策这个相对简单的场景，不需要考虑多资产组合的复杂场景。交易决策被简化成市场上各个信息，包括技术面，消息面，基本面等等在不同市场情况下，对资产价格变动正负面影响的综合判断。

风雨中的小七

2024-04-24

950

解密prompt系列27. LLM对齐经验之如何降低通用能力损失

LLM chatgpt nlp

前面我们已经聊过众多指令微调的方案，这一章我们重点讨论下如何注入某一类任务或能力的同时，尽可能不损失模型原有的通用指令理解能力。因为在下游或垂直领域应用中，我们设计的推理任务风格或形式，往往很难通过prompt来稳定实现。这种情况下就会依赖微调来注入稳定的推理风格，但同时在部分场景下我们又需要模型微调前的通用指令理解能力。虽然理论上说有得必有失，但成年人真的不想做选择！这里我们讨论两种方案，来尽可能降低通用能力的损失，一种数据方案，一种训练方案。

风雨中的小七

2024-04-10

2360

解密prompt25. RLHF改良方案之样本标注：RLAIF & SALMON

chatgpt nlp prompt LLM

上一章我们主要唠了RLHF训练相关的方案，这一章我们主要针对RLHF的样本构建阶段，引入机器标注来降低人工标注的成本。主要介绍两个方案：RLAIF,和IBM的SALMON。

风雨中的小七

2024-03-20

1840

解密prompt系列26. 人类思考vs模型思考：抽象和发散思维

nlp LLM chatgpt

在Chain of Thought出来后，出现过许多的优化方案例如Tree of thought, Graph of Thought, Algorithm of Thought等等，不过这些优化的出发点都更加"Machine Like",而非"Human Like", 哈哈不是说机器化不好，仅仅是对AGI的一些个人偏好而已。

风雨中的小七

2024-03-06

2800

解密prompt24. RLHF新方案之训练策略：SLiC-HF & DPO & RRHF & RSO

LLM chatgpt nlp prompt

解密prompt24. RLHF新方案之训练策略：SLIC-HF & DPO & RRHF & RSO

风雨中的小七

2024-02-21

4450

解密Prompt系列23.大模型幻觉分类&归因&检测&缓解方案脑图全梳理

chatgpt nlp 自然语言处理 LLM

上一章我们主要聊聊RAG场景下的幻觉检测和解决方案，这一章我们单独针对大模型的幻觉问题，从幻觉类型，幻觉来源，幻觉检测，幻觉缓解这四个方向进行整理。这里就不细说任意一种方法了，因为说不完根本说不完，索性用脑图概览式地看下整个大模型幻觉领域。主要参考以下两篇论文

风雨中的小七

2024-01-11

5350

解密Prompt系列22. LLM Agent之RAG的反思：放弃了压缩还是智能么？

prompt LLM 2023腾讯·技术创作特训营第四期 chatgpt nlp

已经唠了三章的RAG，是时候回头反思一下，当前的RAG是解决幻觉的终点么？我给不出直接的答案，不过感觉当前把RAG当作传统搜索框架在大模型时代下的改良，这个思路的天花板高度有限~

风雨中的小七

2023-12-28

1.3K0

解密Prompt系列21. LLM Agent之再谈RAG的召回信息密度和质量

chatgpt nlp LLM 2023腾讯·技术创作特训营第四期 NLP 服务

话接上文的召回多样性优化，多路索引的召回方案可以提供更多的潜在候选内容。但候选越多，如何对这些内容进行筛选和排序就变得更加重要。这一章我们唠唠召回的信息密度和质量。同样参考经典搜索和推荐框架，这一章对应排序+重排环节，考虑排序中粗排和精排的区分主要是针对低延时的工程优化，这里不再进一步区分，统一算作排序模块。让我们先对比下重排和排序模块在经典框架和RAG中的异同

风雨中的小七

2023-12-13

1.2K2

解密Prompt系列20. LLM Agent 之再谈RAG的召回多样性优化

NLP 服务 LLM 2023腾讯·技术创作特训营第三期

几个月前我们就聊过RAG的经典方案解密Prompt系列14. LLM Agent之搜索应用设计。前几天刚看完openAI在DevDay闭门会议上介绍的RAG相关的经验，有些新的感悟，借此机会再梳理下RAG相关的优化方案。推荐直接看原视频（需科学上网）A Survey of Techniques for Maximizing LLM Performance

风雨中的小七

2023-11-29

1.9K0

解密Prompt系列19. LLM Agent之数据分析领域的应用：Data-Copilot & InsightPilot

2023腾讯·技术创作特训营第三期 NLP 服务 prompt LLM 第二期热点征文-人工智能

在之前的 LLM Agent+DB 的章节我们已经谈论过如何使用大模型接入数据库并获取数据，这一章我们聊聊大模型代理在数据分析领域的应用。数据分析主要是指在获取数据之后的数据清洗，数据处理，数据建模，数据洞察和数据可视化的步骤。可以为经常和数据打交道，但是并不需要太过艰深的数据分析能力的同学提供日常工作的支持，已看到很多 BI 平台在尝试类似的方案。这里我们聊两篇论文：Data-Copilot 和 InsightPilot, 主要参考一些有意思的思路~

风雨中的小七

2023-11-15

1.7K0

解密Prompt系列18. LLM Agent之只有智能体的世界

NLP 服务 chatgpt prompt 自然语言处理第二期热点征文-人工智能

重新回来聊Agent，前四章的LLM Agent，不论是和数据库和模型还是和搜索引擎交互，更多还是大模型和人之间的交互。这一章我们来唠唠只有大模型智能体的世界！分别介绍斯坦福小镇和Chatdev两篇论文。它们的共同特点是使用多个大模型智能体协同完成任务。

风雨中的小七

2023-10-26

1.1K3

解密Prompt系列17. LLM对齐方案再升级 WizardLM & BackTranslation & SELF-ALIGN

自然语言处理 2023腾讯·技术创作特训营第二期第二期热点征文-人工智能 NLP 服务 prompt

话接上文的指令微调的样本优化方案，上一章是通过多样性筛选和质量过滤，对样本量进行缩减，主打经济实惠。这一章是通过扩写，改写，以及回译等半监督样本挖掘方案对种子样本进行扩充，提高种子指令样本的多样性和复杂度，这里我们分别介绍Microsoft，Meta和IBM提出的三个方案。

风雨中的小七

2023-10-12

9020

解密Prompt系列16.LLM对齐经验之数据越少越好？LTD & LIMA & AlpaGasus

NLP 服务 prompt 自然语言处理 2023腾讯·技术创作特训营第二期

LLM Agent中间插个队，总结下指令微调、对齐数据相关的方案，已经凑够7篇论文可以召唤神龙啦！Data-Centric的观点比较一致：指令微调也就是对齐阶段的数据质量>>数量，少量+多样+高质量的对齐数据，就能让你快速拥有效果杠杠的模型。注意以上三者是充分必要关系，不是说数据越少越好，是三者的有机统一。

风雨中的小七

2023-09-27

8160

解密Prompt系列15. LLM Agent之数据库应用设计：DIN & C3 & SQL-Palm & BIRD

chatgpt prompt NLP 服务 agent

上一章我们主要讲搜索引擎和LLM的应用设计，这一章我们来唠唠大模型和DB数据库之间的交互方案。有很多数据平台已经接入，可以先去玩玩再来看下面的实现方案，推荐

风雨中的小七

2023-09-14

1.8K0

解密Prompt系列14. LLM Agent之搜索应用设计：WebGPT & WebGLM & WebCPM

NLP 服务 agent nlp prompt

前两章，我们分别介绍了基于微调和prompt的工具调用方案，核心都是如何让大模型和工具进行交互，包括生成工具调用语句和处理工具调用请求。不过在实际应用中，想要设计一个可以落地的LLM Agent，需要更全面整体的系统设计。本章我们以搜索工具为例，介绍如何更好和搜索引擎进行交互的LLM Agent。

风雨中的小七

2023-08-31

2K0

解密Prompt系列13. LLM Agent指令微调方案: Toolformer & Gorilla

NLP 服务 nlp prompt LLM

上一章我们介绍了基于Prompt范式的工具调用方案，这一章介绍基于模型微调，支持任意多工具组合调用，复杂调用的方案。多工具调用核心需要解决3个问题，在哪个位置进行工具调用(where), 从众多工具中选择哪一个(Which), 工具的输入是什么(What)。Where + Which + What，我称之为3W原则，3H它兄弟哈哈哈哈~

风雨中的小七

2023-08-15

1.8K0

解密Prompt系列12. LLM Agent零微调范式 ReAct & Self Ask

NLP 服务 chatgpt nlp prompt 自然语言处理

其次是模型赋能我们，Agent加持的大模型，作为更优的数据和任务中介/代理，赋予了我们和任意数据类型交互的能力，大模型正在重构数据和信息的处理方式。从之前的结构化数据为主向更多的非结构化数据转变。

风雨中的小七

2023-07-27

3.5K0

解密Prompt系列11. 小模型也能思维链推理

nlp 自然语言处理 NLP 服务 prompt

前两章我们分别介绍了思维链的多种使用方法以及思维链(COT)的影响因素。这一章更多面向应用，既现实场景中考虑成本和推理延时，大家还是希望能用6B的模型就不用100B的大模型。但是在思维链基础和进阶玩法中反复提到不论是few-shot还是zero-shot的思维链能力似乎都是100B左右的大模型才有的涌现能力，而在小模型上使用思维链甚至会带来准确率的下降。

风雨中的小七

2023-07-13

1.6K0

解密Prompt系列10. 思维链COT原理探究

nlp prompt 自然语言处理 NLP 服务

前一章思维链基础和进阶玩法我们介绍了如何写Chain-of-thought Prompt来激活生成逐步推理，并提高模型解决复杂问题的能力，这一章我们追本溯源，讨论下COT的哪些元素是提升模型表现的核心？

风雨中的小七

2023-06-29

1.7K0

解密Prompt系列9. 模型复杂推理-思维链基础和进阶玩法

nlp 自然语言处理 prompt NLP 服务

这一篇真的是解密prompt！我们会讨论下思维链(chain-of-Thought)提示词究竟要如何写，如何写的更高级。COT其实是Self-ASK，ReACT等利用大模型进行工具调用方案的底层逻辑，因此在Agent调用章节之前我们会有两章来讲思维链

风雨中的小七

2023-06-14

4.2K5

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态