# 今天学习第二章 **·**上下文工程

实验2-1是上下文工程，本期目标是：**先安装统一 ch2 环境 → 启动 Ollama → 普通对话测试 → 提天气请求，观察完整工具调用链路（流式输出）**

准备工作要做：step1:安装 Homebrew、再装 ollama

```bash
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
```

安装结束后，**一定要执行下面两行，把 brew 加到环境变量（M 系列 Mac 必做），**确认好我们的环境有没有get ready**。**

```bash
echo 'eval "$(/opt/homebrew/bin/brew shellenv)"' >> ~/.zshrc
source ~/.zshrc
```

![](https://developer.qcloudimg.com/http-save/yehe-12806082/a3971f8d66a61fbd2c1abceefc3beef0.png)

step2:验证我们已经安装好honebrew之后就可以执行下面这个命令，新开一个终端窗口安装ollama还有python的sgk包

```bash
brew install ollama
python3 -m pip install ollama #python代码import ollama用的库
```

step3:到这步之后你就可以打开你的第三个终端窗口，一个是Ollama 后台服务（这是常驻服务不要关掉），第二个是我们之前下载 ollama/pull 模型的终端，第三个就是安装我们试验要用的依赖环境，mac需要提前安装好homebrew

在仓库根目录 ai-agent-book里一次性安装第二章全部依赖，创建.venv

```bash
python3 -m pip install -e ".[ch2]"
```

安装好上述环境之后，就可以运行我们的试验

```bash
python3 -m pip install -r requirements.txt
python3 main.py --backend ollama
```

就顺利连上我们的Qwen拉！！！但是还没完，api调用告诉我模型能力不足，那么我们就升级！！！

![](https://developer.qcloudimg.com/http-save/yehe-12806082/dce7f6fbdc08748a0359a0ce95405bd9.png)

吧模型拉到可以支持thinking的地步（运行到这步对ollama有了比较切实的认识）

```bash
ollama pull qwen3:0.6b
```

![](https://developer.qcloudimg.com/http-save/yehe-12806082/324144cdccf636ebf9e6a39ff40e5a6d.png)

![](https://developer.qcloudimg.com/http-save/yehe-12806082/b8a207267a981bebf9b9a382c1978ad6.png)

对话实验成功！！！

实验2-2是注意力机制可视化

首先进入到我们的【attention\_visualization】目录里

```bash
cd chapter2/attention_visualization
```

注，这里咋们就不用跟着网页里的环境搭建再跑一遍全部命令了，我就是重跑了一遍吧所有环境依赖包都清空了（因为当时跑2-2实验我有做强制退出的动作），所以咋们就直接进去目录，运行代码就可以了

其次，我们要用transformers 库从 HuggingFace 下载模型，可以选择在国内镜像下载 Qwen3-0.6B 模型

这里又学到一个新名词【HuggingFace（简称 HF）】，他是全球最大的开源 AI 模型托管平台，相当于 "AI 界的 GitHub"。我们的试验要跑本地代码所以得用HF吧模型文件取下来

```bash
echo 'export HF_ENDPOINT=https://hf-mirror.com' >> ~/.zshrc
source ~/.zshrc
```

随后就可以跑可视化代码了

```bash
python3 attention_cli.py
```

![](https://developer.qcloudimg.com/http-save/yehe-12806082/45f5dd952b0e659f4c8f24714b7d75c6.png)

到这一步，咋们又刷新了一个新的名词【attention sink】，他的概念就是LLM 会无意识地把大量注意力 "倾倒" 到句子第一个 token 上，作为信息 "缓冲锚点"。之后用代码跑出来的可视化图片就会保存在当前目录的【**`attention_heatmap.png`** 】，下图就是大模型底层 Transformer 的可视化

![](https://developer.qcloudimg.com/http-save/yehe-12806082/c764cf8cbc05673a48194e84fc805cb6.png)

分析热力图：1）y轴的含义是发出注意力的 Token，每一行=一个token。x轴的含义是被关注的token，每一列=一个token，这一列代表：这个位置被前面哪些 token 关注 2）图片左上叫是`<|im_start|>`标记，这就是 Attention Sink。模型会强制保留一部分注意力在序列最起始的占位 token 上，当作一个 “信息锚点”，方便后续长文本的信息回溯，哪怕这个标记本身没有业务语义。也代表颜色亮的区域我们应该着重去关注 3）顺着对角线能看到一个由上到下蓝色的斜线图标，这部分的含义就是，每个token会更关注与他前面邻近的token3）左半边的深紫色三角形的含义是注意力权重≈0，也就是**代表这两个 token 之间几乎没有关联，模型推理时完全不看**。

  补充说明：Attention Sink是什么？模型在预训练过程中学到：**把多余、无处安放的注意力，全部丢给第 0 号 token 是最安全的选择**，不会干扰语义计算。于是就形成了 sink。

  那他的作用是什么？1）模型内部：稳定表示，防止信息过度混杂，避免因为数据噪点出现模型混乱的问题 2）工程推理层面：长上下文、KV 缓存优化。大模型推理会保存 KV Cache（每一个 token 的 K、V 向量），上下文越长内存占用越大。

有了初步能看懂图片的能力之后，我们继续往下走

```bash
python3 attention_cli.py --prompt "哈密 的 天气 怎么样" --layer 0 --head 3 --output layer0_head3.png
```

![](https://developer.qcloudimg.com/http-save/yehe-12806082/c379fca0bdc25e54b79e5b7c580709f4.png)

这张图可以明显的看到sink几乎消失，仅占3.5%。因为我们这次的代码写的是【layer0 head3】，这个头**本职任务就是跟踪相邻词语、语序**，它天生几乎不会把注意力分配给开头的`<|im_start|>`符号。写第一张图的代码他的含义就是不管我们些什么问题，llm的注意力都是会放在第一行的符号上，第二章图片的代码他的含义就是llm的注意力都会放在前一个词上面--head x 他的意思就是看某一个单独prompt的行为。

今天学习第二章 ·上下文工程 实验2-1是上下文工程，本期目标是：先安装统一 ch2 环境 → 启动 Ollama → 普通对话测试 → 提天气请求，观察完整工具调用链路（流式输出） 准备工作要做：step1:安装 Homebrew、再装 ollama /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/ins

跟着Datawhale打卡·【ai-agent-book：从入门到 Agent 工程实践】学习笔记Task1

编程语言

本实验通过安装Ollama、部署Qwen3模型，演示了完整工具调用链路与流式输出，并深入探索注意力机制可视化。通过热力图直观理解Attention Sink现象，解析Transformer内部注意力分配规律，帮助开发者掌握LLM底层运作原理与模型调优技巧。

大模型推理

上下文工程

Transformer

Python

GitHub

Agent

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

跟着Datawhale打卡·【ai-agent-book：从入门到 Agent 工程实践】学习笔记Task1-腾讯云开发者社区-腾讯云

跟着Datawhale打卡·【ai-agent-book：从入门到 Agent 工程实践】学习笔记Task1

跟着Datawhale打卡·【ai-agent-book：从入门到 Agent 工程实践】学习笔记Task1

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐