前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >LangChain:简化大模型应用

LangChain:简化大模型应用

作者头像
深度学习与Python
发布2023-09-08 08:43:58
2250
发布2023-09-08 08:43:58
举报
文章被收录于专栏:深度学习与python

作者 | Guy Nesher

译者 | 平川

策划 | Tina

LangChain 框架提供了常见用例的抽象,简化了大型语言模型(LLM)(如 OpenAI GPT4 或 Google PaLM)的应用。它支持 JavaScript 和 Python。

为了弄清楚为什么需要 LangChain,我们先来看下 LLM 的工作原理。

本质上,LLM 是统计模型,它可以从一组给定的文本块(从一个字符到几个单词都可以)预测下一组文本块。

起初的文本块称为提示,提示工程是一门通过提供最合适的提示集来优化 LLM 预测结果的艺术。

虽然 LangChain 提供了许多工具,但其最核心的功能包括以下 3 项:一个抽象层,使开发人员能够使用一组标准化的命令与不同的 LLM 提供者进行交互;一套工具,通过实施一组最佳实践来形式化提示工程的过程;将 LangChain 提供的各种组件链接在一起以执行复杂的交互。

下面的 JavaScript 示例演示了如何创建和执行只包含一个提示的最简单的链。

代码语言:javascript
复制
const model = new OpenAI();
import { PromptTemplate } from "langchain/prompts";

const prompt = PromptTemplate.fromTemplate(`Tell me a joke about {topic}`);
const chain = new LLMChain({ llm: model, prompt: prompt });
const response = await chain.call({ topic: "ducks" });

当然,使用单个组件的链并不是很有意思。通常,比较复杂的应用程序会使用多个组件来生成所需的结果。

我们将用 SimpleSequentialChain 做个演示,它会按顺序运行多个提示。在这个例子中,我们向 LangChain 提供一门语言,并要求它使用这种语言写一个笑话,然后我们要求它将其翻译成西班牙语。

代码语言:javascript
复制
const translatePrompt = PromptTemplate.fromTemplate(`translate the following text to Spanish: {text}`);
const translateChain = new LLMChain({ llm: model, prompt: translatePrompt });
const overallChain = new SimpleSequentialChain({
    chains: [chain, translateChain],
    verbose: true,
 });
const results = await overallChain.run("ducks");

注意,通过将 verbose: true 传递给 SimpleSequentialChain,我们可以看到生成过程,这样便于调试。

当然,LangChain 所能做的远不止链接几个提示。它包括两个模块,允许开发人员扩展与 LLM 的交互,而不仅仅是实现简单的聊天。

Memory 模块使开发人员能够使用各种解决方案(从使用 Redis 和 DynamoDB 等外部数据库到简单地将数据存储在内存中)跨链持久化状态。

Agents 模块使链能够与外部提供者进行交互,并基于它们的响应执行操作。

感兴趣的读者可以在 LangChain 官方的文档站点上查看完整的文档以及更复杂的示例。

开发人员需要注意,LangChain 仍在积极开发之中,在生产环境中使用时应谨慎处理。

原文链接:

https://www.infoq.com/news/2023/07/langchain-llm-made-easy/

声明:本文为 InfoQ 翻译,未经许可禁止转载。

今日好文推荐

爱奇艺VR公司业务停滞,员工或被欠薪;阿里云开源通义千问 70 亿参数模型,免费可商用;华为正式发布鸿蒙 4,接入大模型|Q资讯

年薪超 600 万,比技术总监还高:电影行业 AI 产品经理的崛起

都在追“新潮”技术,但你有大厂们的动作快吗?

大模型竞争突然升级!亚马逊 CEO 亲自监督、组建新的核心技术团队,集中优势资源打造“最具野心”的大语言模型

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2023-08-07,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 InfoQ 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
云数据库 Redis
腾讯云数据库 Redis(TencentDB for Redis)是腾讯云打造的兼容 Redis 协议的缓存和存储服务。丰富的数据结构能帮助您完成不同类型的业务场景开发。支持主从热备,提供自动容灾切换、数据备份、故障迁移、实例监控、在线扩容、数据回档等全套的数据库服务。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档