【LangChain系列5】【Memory模块详解】

一、LangChain

1-1、介绍

LangChain是一个框架，用于开发由大型语言模型（LLM）驱动的应用程序。

LangChain 简化了 LLM 应用程序生命周期的每个阶段：

• 开发：使用LangChain的开源构建块和组件构建应用程序。使用第三方集成和模板开始运行。
• 生产化：使用 LangSmith 检查、监控和评估您的链条，以便您可以自信地持续优化和部署。
• 部署：使用 LangServe 将任何链转换为 API。

总结： LangChain是一个用于开发由LLM支持的应用程序的框架，通过提供标准化且丰富的模块抽象，构建LLM的输入输出规范，主要是利用其核心概念chains，可以灵活地链接整个应用开发流程。（即，其中的每个模块抽象，都是源于对大模型的深入理解和实践经验，由许多开发者提供出来的标准化流程和解决方案的抽象，再通过灵活的模块化组合，才得到了langchain）

1-2、LangChain抽象出来的核心模块

想象一下，如果要组织一个AI应用，开发者一般需要？

• 提示词模板的构建，不仅仅只包含用户输入！
• 模型调用与返回，参数设置，返回内容的格式化输出。
• 知识库查询，这里会包含文档加载，切割，以及转化为词嵌入（Embedding）向量。
• 其他第三方工具调用，一般包含天气查询、Google搜索、一些自定义的接口能力调用。
• 记忆获取，每一个对话都有上下文，在开启对话之前总得获取到之前的上下文吧？

由上边的内容，引出LangChain抽象的一些核心模块：

LangChain通过模块化的方式去高级抽象LLM在不同场景下的能力，其中LangChain抽象出的最重要的核心模块如下：‘

• Model I/O ：标准化各个大模型的输入和输出，包含输入模版，模型本身和格式化输出；
• Retrieval ：检索外部数据，然后在执行生成步骤时将其传递到 LLM，包括文档加载、切割、Embedding等；
• Chains ：链条，LangChain框架中最重要的模块，链接多个模块协同构建应用，是实际运作很多功能的高级抽象；
• Memory ： 记忆模块，以各种方式构建历史信息，维护有关实体及其关系的信息；
• Agents ： 目前最热门的Agents开发实践，未来能够真正实现通用人工智能的落地方案；
• Callbacks ：回调系统，允许连接到 LLM 应用程序的各个阶段。用于日志记录、监控、流传输和其他任务；

1-3、特点

LangChain的特点如下：

• 大语言模型(llm): LangChain为自然语言处理提供了不同类型的模型，这些模型可用于处理非结构化文本数据，并且可以基于用户的查询检索信息
• PromptTemplates: 这个特征使开发人员能够使用多个组件为他们的模型构造输入提示。在查询时，开发人员可以使用PromptTemplates为用户查询构造提示模板，之后模板会传递到大模型进行进一步的处理。
• 链:在LangChain中，链是一系列模型，它们被连接在一起以完成一个特定的目标。聊天机器人应用程序的链实例可能涉及使用LLM来理解用户输入，使用内存组件来存储过去的交互，以及使用决策组件来创建相关响应。
• agent: LangChain中的agent与用户输入进行交互，并使用不同的模型进行处理。Agent决定采取何种行动以及以何种顺序来执行行动。例如，CSV Agent可用于从CSV文件加载数据并执行查询，而Pandas Agent可用于从Pandas数据帧加载数据并处理用户查询。可以将代理链接在一起以构建更复杂的应用程序。

1-4、langchain解决的一些行业痛点

在使用大模型的过程中，一些行业痛点：

• 大模型的使用规范以及基于大模型的开发范式不尽相同，当使用一个新模型时，我们往往需要学习新的模型规范。
• 大模型知识更新的滞后性
• 大模型的外部API调用能力
• 大模型输出的不稳定问题，如何稳定输出？
• 大模型与私有化数据的连接方式？

1-5、安装

pip install langchain

二、Memory模块

2-1、Memory模块介绍

LangChain的memory模块是一个强大的工具，它为与大型语言模型（LLM）的交互提供了记忆能力。这个模块使得对话系统能够记住先前的交互，无论是短期还是长期，从而提供更加个性化和连贯的用户体验。

以下是memory模块的一些关键组件和它们的作用：

• ChatMessageHistory：ChatMessageHistory是LangChain框架中用于存储对话历史的一个类。它允许开发者以结构化的方式保存用户和AI之间的对话记录，包括用户输入的消息和AI生成的响应。通过ChatMessageHistory，对话系统能够引用先前在对话中介绍的信息，从而提供更加连贯和个性化的回复。
• ConversationBufferMemory：ConversationBufferMemory是LangChain框架中用于存储对话历史的一个内存组件。它类似于一个缓冲区，将对话中的所有消息（包括用户输入和AI响应）按照顺序存储起来。这种存储方式使得对话系统能够随时回顾之前的对话内容，从而在生成新的响应时考虑这些上下文信息。
• ConversationBufferWindowMemory：虽然在搜索结果中没有直接提到ConversationBufferWindowMemory，但这个组件可能是ConversationBufferMemory的一个变体，它可能提供了一个窗口视图来访问最近的对话历史记录，这对于保持对话的连贯性特别有用。

memory模块的集成与应用： Memory组件可以单独使用，也可以无缝地集成到LangChain的Chain中。在与LLM进行交互时，Chain会与Memory组件进行两次交互：一次是读取记忆以增强用户输入，另一次是写入记忆以更新对话历史。这种集成方式使得开发者能够更高效地构建大模型应用，提升对话系统的性能和用户体验。

总结来说，LangChain的memory模块通过提供记忆能力，使得对话系统能够更加个性化和连贯地与用户进行交互。通过不断地保存和检索上下文信息，memory模块能够增强对话的连贯性和精准度，为用户提供更好的服务体验。

2-2、ConversationBufferMemory

ConversationBufferMemory: 是 LangChain 中用于管理对话记忆的一种机制，它允许聊天机器人或类似系统记录和保留先前的对话部分，以便在与用户交谈时能够回顾所讨论的内容。以下是 ConversationBufferMemory 的一些关键特性和功能：

• 对话历史的存储：ConversationBufferMemory 作为一个缓冲区，存储用户与机器人之间的所有交互。它将对话的原始形式保留下来，没有任何更改，使得聊天机器人能够准确地参考以前的具体部分。
• 上下文理解：这个记忆模块是上下文理解的重要组成部分，有助于聊天机器人生成更好的回应。通过回顾之前的对话，机器人可以更好地理解用户的意图，并以更自然、更个性化的方式回应用户。
• 简单的实现方式：ConversationBufferMemory 是 LangChain 中最直接的对话记忆形式。它简单地将过去的人类和AI之间的对话输入以其原始形式传递给 {history} 参数。
• 易于集成：ConversationBufferMemory 可以轻松集成到 LangChain 的 ConversationChain 中，使得在对话链中使用记忆变得简单。

from langchain_openai import OpenAI
from langchain.chains import ConversationChain
from langchain.memory import ConversationBufferMemory

os.environ["ZHIPUAI_API_KEY"] = ""
llm = ChatZhipuAI(
    model="glm-4",
    temperature=0.5,
)
conversation = ConversationChain(
    llm=llm, 
    verbose=True, 
    memory=ConversationBufferMemory()
)
conversation.predict(input="你好呀！")

输出：

总结： 最最基础的Memory模块，保留所有记忆，同时呢，Token的使用量也是最多的。

2-3、ConversationBufferWindowMemory（滑动窗口）

ConversationBufferWindowMemory 是 LangChain 中的一个内存模块，它用于记录会话的交互列表，并且只保留最近的 K 个交互。这个机制对于维护一个滑动窗口的最近交互非常有用，有助于避免缓冲区过大，同时保持对话的连贯性。

以下是 ConversationBufferWindowMemory 的一些关键特性和功能：

• 滑动窗口机制：ConversationBufferWindowMemory 通过设置一个窗口大小 K，只保留最近的 K 个交互。这意味着，当新的交互发生时，最老的交互会被移出窗口，确保内存中只保存最新的对话历史。
• 对话历史的存储：它记录用户与AI之间的所有交互，并以特定的格式保存，以便在生成新的响应时考虑这些上下文信息。
• 返回历史记录：ConversationBufferWindowMemory 可以返回历史记录，格式可以是纯文本字符串，也可以是消息列表。如果设置 return_messages=True，则返回的消息列表中包含 HumanMessage 和 AIMessage 对象，这些对象包含了用户和AI的消息内容。

from langchain.llms import OpenAI
from langchain.chains import ConversationChain
from langchain.memory import ConversationBufferWindowMemory

os.environ["ZHIPUAI_API_KEY"] = ""
llm = ChatZhipuAI(
    model="glm-4",
    temperature=0.5,
)
# 在ConversationChain中使用滑动窗口记忆，设置记忆为2。
conversation_with_summary = ConversationChain(
    llm=llm, 
    # We set a low k=2, to only keep the last 2 interactions in memory
    memory=ConversationBufferWindowMemory(k=2), 
    verbose=True
)
conversation_with_summary.predict(input="Hi, what's up?")

输出：

总结： 进阶版本Memory模块，鱼的记忆，只会记住最近的几轮对话，在某些场景下比较适用。

2-4、ConversationSummaryMemory（摘要总结）

ConversationSummaryBufferMemory： 是 LangChain 中的一个内存模块，它结合了对话缓冲区和摘要功能。这个模块在内存中保留了最近的交互缓冲区，但与仅仅清除旧交互不同，它将这些交互编译成摘要，并同时使用这些交互和摘要。它使用 token 长度而不是交互次数来确定何时清除交互，这样可以更灵活地控制内存中对话内容的保留。

以下是 ConversationSummaryBufferMemory 的一些关键特性和功能：

• 运行摘要：ConversationSummaryBufferMemory 提供了一个对话的运行摘要，以及对话中最近的消息，这些内容受到总 token 数量的限制。
• 内存管理：当对话中的 token 总数超过设定的最大限制时，ConversationSummaryBufferMemory 会修剪缓冲区，以确保不超过最大 token 限制。
• 异步操作：ConversationSummaryBufferMemory 提供了异步方法来保存上下文、清除内存内容、预测新的摘要等。
• 摘要预测：predict_new_summary 方法可以直接利用，它可以根据新的消息和现有的摘要来预测新的摘要。
• 消息列表：ConversationSummaryBufferMemory 可以返回消息列表，这对于与聊天模型一起使用非常有用。

from langchain.memory import ConversationSummaryBufferMemory, ConversationSummaryMemory
from langchain.llms import OpenAI

import os
from langchain_community.chat_models import ChatZhipuAI
from langchain.chains import ConversationChain

os.environ["ZHIPUAI_API_KEY"] = ""
llm = ChatZhipuAI(
    model="glm-4",
    temperature=0.5,
)

conversation_with_summary = ConversationChain(
    llm=llm, 
    memory=ConversationSummaryMemory(llm=llm, max_token_limit=10),
    verbose=True
)
conversation_with_summary.predict(input="Hi, what's up?")

输出：

输出记忆：

conversation_with_summary.memory.load_memory_variables({})

输出： 这里可以看到，history被总结成一个对话摘要。