香农信息传递模型对人类与AI大模型的对话有哪些启发？干货

DeepSeek引来关注，据说能力可和当前最强的 ChatGPT o1 不相上下。我只用了几次感觉还不明显，晚点测试后把结果发出来。

今天刚好读到香农的信息论。他的信息传递模型太经典了，那么如果用这个模型来解释人类使用AI的过程，不也恰到好处么。

好奇会有什么启发，于是有了今天的内容。

绝对干货。

香农信息传递模型主要包括以下几个关键要素：信源、编码器、信道、解码器和信宿。

在人类与AI大模型的对话中，这些要素可以这样对应：

• 信源：人类用户，产生对话的初始信息。

• 编码器：人类的语言表达方式，将思想转化为具体的文字或语音。

• 信道：对话的传输媒介，如文本输入框、语音输入设备等。

• 解码器：AI大模型，将接收到的文本或语音信息解码为可理解的内容。

• 信宿：AI大模型的输出，即对人类用户输入的回应。

人类在使用AI时潜在的挑战

1. 上下文理解：随着对话轮次的增加，模型需要处理的上下文信息越来越多，可能导致信息遗忘或混淆。此外，模型的上下文窗口大小有限，可能无法容纳整个对话历史。

2. 对话状态跟踪：在多轮对话中，用户的意图和话题可能会随着对话的进行而发生变化，模型需要跟踪对话的状态。

3. 推理与规划：模型可能需要结合先前的对话内容、常识知识和外部信息进行推理，并规划对话的流程。

4. 对话生成一致性：在多轮对话中，模型需要保持对话在内容、风格和语气上的一致性。

5. 对抗性问题：用户可能会提出具有挑战性或误导性的问题，模型需要具备一定的鲁棒性和应对策略。

解决方案

1. 增加上下文理解：

• 获取全量历史对话：使用如LangChain中的ConversationBufferMemory类来记住整个与用户的对话历史。

• 滑动窗口获取最近部分对话内容：使用ConversationBufferWindowMemory类，只专注于最近的一两个问题。

2. 对话状态跟踪：

• 数据准备：收集和标注对话数据集，确保数据集中包含一致的对话风格和语气。

• 特征提取：将对话历史转换为模型可处理的特征向量。

• 模型训练：定义不同的损失函数，如风格一致性损失、话题一致性损失，使用对抗性训练方法提高模型的一致性。

3. 推理与规划：

• 知识库构建：将业务知识、历史人工对话、FAQ等进行筛选、分块、向量化存储。

• query改写技术：包括Re-writing、Step-back、Sub-query切分。

• RAG微调：在原大模型基础上进行监督微调，加入思维链CoT和函数调用ReAct，显著降低幻觉并提高回答整合度。

4. 对话生成一致性：

• 数据准备：收集和标注对话数据集，确保数据集中包含一致的对话风格和语气。

• 特征提取：将对话历史转换为模型可处理的特征向量。

• 模型训练：定义不同的损失函数，如风格一致性损失、话题一致性损失，使用对抗性训练方法提高模型的一致性。

5. 对抗性问题防御：

• 安全措施：使用信任与安全系统来防止滥用。

• 隐私保护：在分析用户对话时，确保隐私保护，如使用语义聚类、聚类描述和建立层级等方法。