构建AI智能体：语言模型的“解码策略”：一文读懂AI文本生成的采样方法

import dashscope
from dashscope import Generation
from sentence_transformers import SentenceTransformer
import faiss
import numpy as np
import os
 
# 设置API密钥 - 请替换为您的实际API信息
dashscope.api_key = os.environ.get("DASHSCOPE_API_KEY")
 
# 1. 准备知识库 - 中国古典诗词知识
knowledge_base = [
    "《静夜思》是唐代诗人李白的诗作，表达了对故乡的思念之情。床前明月光，疑是地上霜。举头望明月，低头思故乡。",
    "《水调歌头·明月几时有》是宋代苏轼的代表作，是一首咏月怀人的词。明月几时有？把酒问青天。",
    "《春晓》是唐代诗人孟浩然的诗作，描绘了春天早晨的景色。春眠不觉晓，处处闻啼鸟。夜来风雨声，花落知多少。",
    "杜甫是唐代伟大的现实主义诗人，被尊为诗圣，与李白合称李杜。他的诗反映了唐代由盛转衰的历史过程。",
    "《将进酒》是李白的一首豪放诗篇，表达了人生得意须尽欢的豪情。君不见黄河之水天上来，奔流到海不复回。",
    "王维是唐代著名诗人、画家，被誉为诗佛，他的诗多以山水田园为题材，充满禅意。",
    "《相思》是王维的诗作，借红豆表达相思之情。红豆生南国，春来发几枝。愿君多采撷，此物最相思。",
]
 
# 2. 将知识库转换成向量并构建Faiss索引
encoder = SentenceTransformer('D:/modelscope/hub/models/sentence-transformers/all-MiniLM-L6-v2')
kb_embeddings = encoder.encode(knowledge_base)
dimension = kb_embeddings.shape[1]
index = faiss.IndexFlatL2(dimension)
index.add(kb_embeddings)
 
# 3. 用户查询和检索
user_query = "请介绍李白的《静夜思》这首诗"
query_embedding = encoder.encode([user_query])
k = 3  # 从知识库中检索最相关的3条信息
distances, indices = index.search(query_embedding, k)
 
# 构建检索到的上下文
retrieved_context = ""
for i, idx in enumerate(indices[0]):
    retrieved_context += knowledge_base[idx] + "\n"
 
print(f"用户问: {user_query}")
print("---Faiss检索到的最相关知识---")
print(retrieved_context)
 
# 4. 构建通用Prompt模板
def build_prompt(context, query):
    return f"""
你是一个博学的中国古典文学专家。请根据以下【相关知识】，准确并专业地回答用户的问题。
如果相关知识中没有答案，请如实告知你不知道。
【相关知识】
{context}
【用户问题】
{query}
【专家回答】
"""
 
# 5. Qwen API调用函数
def call_qwen_api(prompt, **kwargs):
    """
    调用Qwen API生成文本
    :param prompt: 输入的提示文本
    :param kwargs: 生成参数
    :return: 生成的文本
    """
    try:
        response = Generation.call(
            model="qwen-max",  # 可根据需要选择不同模型，如qwen-plus、qwen-max等
            prompt=prompt,
            **kwargs
        )
        return response.output.text
    except Exception as e:
        print(f"API调用出错: {e}")
        return None

用户问: 请介绍李白的《静夜思》这首诗
---Faiss检索到的最相关知识---
《静夜思》是唐代诗人李白的诗作，表达了对故乡的思念之情。床前明月光，疑是地上霜。举头望明月，低头思故乡。
《将进酒》是李白的一首豪放诗篇，表达了人生得意须尽欢的豪情。君不见黄河之水天上来，奔流到海不复回。
杜甫是唐代伟大的现实主义诗人，被尊为诗圣，与李白合称李杜。他的诗反映了唐代由盛转衰的历史过程。

# 贪心搜索示例 - 通过设置temperature=0实现
print("\n=== 贪心搜索 ===")
prompt = build_prompt(retrieved_context, user_query)
 
# 使用贪心搜索 - 设置temperature=0
response = call_qwen_api(
    prompt,
    temperature=0,      # 温度为0相当于贪心搜索
    max_tokens=200,
)
 
if response:
    print(response)
else:
    print("API调用失败")
print("\n" + "="*50 + "\n")

=== 贪心搜索 ===
《静夜思》是唐代著名诗人李白创作的一首五言绝句，这首诗以其简洁明快的语言和深刻的情感表达而广为人知。全诗如下：
 
床前明月光，
疑是地上霜。
举头望明月，
低头思故乡。
 
在这首诗中，李白通过描绘夜晚明亮的月光照进房间的情景，营造出一种宁静而又略带孤寂的氛围。“疑是地上霜”一句巧妙地将月光 
比作地上的白霜，既形象又富有诗意。接着，“举头望明月”表达了诗人抬头仰望天空中的月亮的动作；最后一句“低头思故乡”，则直 
接点出了整首诗的主题——对远方家乡的深深思念之情。这种由外在景象引发内心情感变化的手法，在李白的作品中十分常见，也使得 
《静夜思》成为了流传千古、触动无数游子心弦的经典之作。
 
==================================================

# 束搜索示例 - 注意：Qwen API通常不支持束搜索参数
print("=== 束搜索 ===")
print("注意: Qwen API通常不支持束搜索参数，使用低温度替代")
prompt = build_prompt(retrieved_context, user_query)
 
# 使用低温度模拟束搜索的效果
response = call_qwen_api(
    prompt,
    temperature=0.1,    # 低温度模拟束搜索的确定性
    max_tokens=200,
)
 
if response:
    print(response)
else:
    print("API调用失败")
print("\n" + "="*50 + "\n")

=== 束搜索 ===
注意: Qwen API通常不支持束搜索参数，使用低温度替代
《静夜思》是唐代著名诗人李白创作的一首五言绝句，这首诗以其简洁明快的语言和深刻的情感表达而广为人知。全诗如下：
 
床前明月光，
疑是地上霜。
举头望明月，
低头思故乡。
 
在这首诗中，李白通过描绘夜晚独自一人时所见的明亮月光，巧妙地将自然景象与个人情感相结合。首句“床前明月光”直接点出了诗 
人所在环境以及引起他注意的事物——那洒落在床前如同白霜般的皎洁月光。“疑是地上霜”进一步强化了这种视觉上的错觉，同时也暗 
示着一种清冷孤寂之感。接下来，“举头望明月”，诗人抬头仰望着天空中的满月，这一动作不仅表达了他对美好事物的向往，也隐含 
着对远方亲人或家乡的思念之情。“低头思故乡”则是整首诗情感的核心所在
 
==================================================

# 温度采样示例 - 低温度
print("=== 温度采样 - 低温度 (T=0.3) ===")
prompt = build_prompt(retrieved_context, user_query)
 
# 使用温度采样 - 低温度
response = call_qwen_api(
    prompt,
    temperature=0.3,   # 低温度，输出更确定
    max_tokens=200,
)
 
if response:
    print(response)
else:
    print("API调用失败")
print("\n" + "="*50 + "\n")
 
# 温度采样示例 - 高温度
print("=== 温度采样 - 高温度 (T=1.5) ===")
prompt = build_prompt(retrieved_context, user_query)
 
# 使用温度采样 - 高温度
response = call_qwen_api(
    prompt,
    temperature=1.5,   # 高温度，输出更随机
    max_tokens=200,
)
 
if response:
    print(response)
else:
    print("API调用失败")
print("\n" + "="*50 + "\n")

=== 温度采样 - 低温度 (T=0.3) ===
《静夜思》是唐代著名诗人李白创作的一首五言绝句，这首诗以其简洁而深刻的语言表达了作者在寂静夜晚对远方家乡的深切思念之
情。全诗如下：
 
床前明月光，
疑是地上霜。
举头望明月，
低头思故乡。
 
在这首诗中，“床前明月光”描绘了一个宁静夜晚里明亮皎洁的月光照进了屋内；“疑是地上霜”则通过将月光比作地上的白霜来进一步 
强调了月色之明亮以及环境之清冷。“举头望明月”，当诗人抬头仰望着那轮高挂天空中的圆月时，不禁勾起了他对远方家人的无限怀 
念与向往；最后一句“低头思故乡”，则是直接点出了整首诗的主题——对故乡深深的思念之情。整首作品语言朴素自然，情感真挚动人 
，充分展现了李白诗歌中既有豪放不羁也有细腻柔
 
==================================================
 
=== 温度采样 - 高温度 (T=1.5) ===
《静夜思》是唐代诗人李白所作的一首短诗，全诗只有四句二十字，但意境深邃、感人至深。它以简洁明快的语言描绘了作者在寂静
夜晚的深切思绪。“床前明月光”，开篇就设置了一个宁静而美丽的场景：明亮的月光照进屋内，“疑是地上霜”则是将月色比作寒冷季 
节地面覆盖的白霜，营造出一种清冷孤寂的氛围。接着，“举头望明月”，诗人抬头仰望天空中悬挂着的月亮，这里的“望”字不仅描述 
了动作，也表达了内心对远方（可能是故乡或亲人）深切的挂念。“低头思故乡”最后一句，则直接点出了诗人此时此刻最真实的感情 
状态——思念家乡。整首诗歌通过对月光景色细腻入微地描写，巧妙地寓情于景，表达了远离故土之人对家乡的深深怀念之情。       
 
==================================================

# Top-k 采样示例
print("=== Top-k 采样 (k=30) ===")
prompt = build_prompt(retrieved_context, user_query)
 
# 使用Top-k采样
response = call_qwen_api(
    prompt,
    temperature=0.7,   # 配合适中的温度
    top_k=30,          # 只从概率最高的30个词中采样
    max_tokens=200,
)
 
if response:
    print(response)
else:
    print("API调用失败")
print("\n" + "="*50 + "\n")

=== Top-k 采样 (k=30) ===
《静夜思》是唐代著名诗人李白创作的一首脍炙人口的五言绝句，通过简洁而富有画面感的语言，表达了诗人在寂静夜晚对远方家乡
深切的怀念之情。全诗如下：
 
床前明月光，
疑是地上霜。
举头望明月，
低头思故乡。
 
这首诗以“床前”的视角展开，首先映入眼帘的是明亮皎洁的月光，诗人初时误以为是地上的白霜（这反映了夜间月色之明亮）。随后 
，他抬头仰望着那轮高悬于空中的明月，在这样的美景面前不禁想起了遥远的家乡。最后，“低头思故乡”一句，则直接点出了整首诗 
歌的主题——即在外漂泊者对于故土难以割舍的情感寄托。整首诗语言朴素自然、情感真挚动人，成为中国古典文学中表达乡愁的经典 
之作之一。
 
==================================================

# Top-p 采样示例
print("=== Top-p 采样 (p=0.9) ===")
prompt = build_prompt(retrieved_context, user_query)
 
# 使用Top-p采样（核采样）
response = call_qwen_api(
    prompt,
    temperature=0.7,   # 配合适中的温度
    top_p=0.9,         # 从累积概率达到0.9的词中采样
    max_tokens=200,
)
 
if response:
    print(response)
else:
    print("API调用失败")
print("\n" + "="*50 + "\n")

=== Top-p 采样 (p=0.9) ===
《静夜思》是唐代著名诗人李白创作的一首脍炙人口的五言绝句，这首诗以其简洁明快的语言风格和深刻的情感表达深受后世读者的
喜爱。全诗如下：
 
```
床前明月光，
疑是地上霜。
举头望明月，
低头思故乡。
```
 
在这首诗中，李白通过对夜晚月色下景象的独特描绘，表达了他对远方家乡深深的思念之情。“床前明月光”，描述了作者夜晚醒来时 
看到明亮皎洁的月光照进房间；“疑是地上霜”则通过将月光比喻成地面上覆盖着一层薄霜来形象化这份清冷之美感，同时也暗示了季 
节可能是在秋季或者是冬季初期。“举头望明月”表明诗人被这美丽的景色所吸引而抬头凝视天空中的月亮；最后，“低头思故乡”直接 
点出了整首诗的主题——无论身处何方，在这样宁静美好的夜晚里
 
==================================================

# 组合使用示例 - 创造性回答
print("=== 组合采样 (Temperature=0.8 + Top-p=0.9) ===")
creative_query = "请用富有诗意的语言介绍《静夜思》"
prompt = build_prompt(retrieved_context, creative_query)
 
# 使用组合采样 - 适合创造性任务
response = call_qwen_api(
    prompt,
    temperature=0.8,   # 中等温度
    top_p=0.9,         # Top-p采样
    max_tokens=250,
)
 
if response:
    print(response)
else:
    print("API调用失败")
print("\n" + "="*50 + "\n")

=== 组合采样 (Temperature=0.8 + Top-p=0.9) ===
在那宁静而又深邃的夜晚，一轮明月悄悄地爬上了天际，将它那温柔而明亮的光芒洒向了大地。唐代诗人李白，在这样一个万籁俱寂
、唯有月色相伴的时刻，心中涌动着对远方家乡无尽的思念。他静静地坐在床边，眼前仿佛覆盖了一层薄霜般的月光让这位才华横溢 
的诗人不禁生出错觉，以为是秋天的寒霜降临。然而抬头望向天空中那轮皎洁圆满的月亮时，所有关于时间与空间的距离都瞬间被拉 
近了——那不仅是天上的明珠，更是连接着游子与故乡之间最柔软也最坚强的情感纽带。
 
通过这首《静夜思》，李白用极其简练却又充满画面感的语言，描绘了一个远离家乡的人在寂静之夜对亲人和故土深深眷恋之情。短 
短四句诗，却蕴含着跨越千年仍旧能够触动人心弦的力量。每当有人身处异乡仰望星空之时，《静夜思》便如同一缕清风，穿越时空 
界限，轻轻拂过每个漂泊者的心田，唤起那份埋藏心底对于“家”的永恒向往。
 
==================================================

import dashscope
from dashscope import Generation
from sentence_transformers import SentenceTransformer
import faiss
import numpy as np
import os
 
# 设置API密钥 - 请替换为您的实际API密钥
dashscope.api_key = os.environ.get("DASHSCOPE_API_KEY")
 
# 1. 准备一个模拟的"美食知识库"
knowledge_base = [
    "冰糖葫芦是一种传统的北方小吃，由山楂和糖制成，酸甜开胃，但适合冬天吃。",
    "火锅是四川特色，以麻辣鲜香著称，但吃多了容易上火。",
    "绿豆汤是由绿豆熬制而成的甜品，清热解毒，是夏季消暑的佳品。",
    "冰淇淋是一种冷冻奶制品，口感冰凉香甜，夏天食用能有效降温。",
    "红烧肉是一道著名的大众菜肴，使用肥瘦相间的五花肉做成，油腻温热，不适合夏天。",
    "凉皮是陕西的特色小吃，口感滑嫩，凉爽可口，非常适合在炎热的夏季食用。",
    "姜撞奶是一种广东甜品，由姜汁和牛奶制成，口感滑嫩，但姜性温热。",
]
 
# 将知识库转换成向量并构建Faiss索引
encoder = SentenceTransformer('D:/modelscope/hub/models/sentence-transformers/all-MiniLM-L6-v2')
kb_embeddings = encoder.encode(knowledge_base)
dimension = kb_embeddings.shape[1]
index = faiss.IndexFlatL2(dimension)
index.add(kb_embeddings)
 
# 2. 用户查询和检索
user_query = "天气好热，推荐点吃的吧？"
query_embedding = encoder.encode([user_query])
k = 3  # 从知识库中检索最相关的3条信息
distances, indices = index.search(query_embedding, k)
 
# 打印检索到的内容
print(f"\n用户问: {user_query}")
print("---Faiss检索到的最相关知识---")
retrieved_context = ""
for i, idx in enumerate(indices[0]):
    print(f"{i+1}. {knowledge_base[idx]}")
    retrieved_context += knowledge_base[idx] + "\n"
 
# 3. 构建Prompt，将检索到的知识作为上下文
prompt = f"""
你是一个友好的美食推荐助手。请根据以下【相关知识】，回答用户的问题。
回答要简短、亲切、有吸引力。
【相关知识】
{retrieved_context}
【用户问题】
{user_query}
【助手推荐】
"""
print("\n---生成的Prompt---")
print(prompt)
 
# 4. 定义Qwen API调用函数
def call_qwen_api(prompt, **kwargs):
    """
    调用Qwen API生成文本
    :param prompt: 输入的提示文本
    :param kwargs: 生成参数
    :return: 生成的文本
    """
    try:
        response = Generation.call(
            model="qwen-max",  # 可根据需要选择不同模型，如qwen-plus、qwen-max等
            prompt=prompt,
            **kwargs
        )
        return response.output.text
    except Exception as e:
        print(f"API调用出错: {e}")
        return None
 
# 5. 关键步骤：选择不同的采样方法生成回复
 
# 场景一：追求准确可靠（基于事实推荐）
print("\n---生成模式一: 准确模式（低温度+Top-p）---")
response = call_qwen_api(
    prompt,
    temperature=0.3,    # 低温度，创造性低
    top_p=0.9,          # Top-p采样
    max_tokens=150,     # 最多生成150个token
)
 
if response:
    print(response)
else:
    print("API调用失败")
 
# 场景二：追求创意有趣（写美食文案）
print("\n---生成模式二: 创意模式（中温度+Top-p）---")
response = call_qwen_api(
    prompt,
    temperature=0.8,    # 中温度，创造性更高
    top_p=0.92,         # Top-p采样
    max_tokens=150,     # 最多生成150个token
)
 
if response:
    print(response)
else:
    print("API调用失败")

用户问: 天气好热，推荐点吃的吧？
---Faiss检索到的最相关知识---
1. 冰糖葫芦是一种传统的北方小吃，由山楂和糖制成，酸甜开胃，但适合冬天吃。
2. 绿豆汤是由绿豆熬制而成的甜品，清热解毒，是夏季消暑的佳品。
3. 红烧肉是一道著名的大众菜肴，使用肥瘦相间的五花肉做成，油腻温热，不适合夏天。
 
---生成的Prompt---
 
你是一个友好的美食推荐助手。请根据以下【相关知识】，回答用户的问题。
回答要简短、亲切、有吸引力。
 
【相关知识】
冰糖葫芦是一种传统的北方小吃，由山楂和糖制成，酸甜开胃，但适合冬天吃。
绿豆汤是由绿豆熬制而成的甜品，清热解毒，是夏季消暑的佳品。
红烧肉是一道著名的大众菜肴，使用肥瘦相间的五花肉做成，油腻温热，不适合夏天。
 
 
【用户问题】
天气好热，推荐点吃的吧？
 
【助手推荐】
 
 
---生成模式一: 准确模式（低温度+Top-p）---
这么热的天，来碗清凉解暑的绿豆汤最合适不过了，既能消暑又能清热解毒，给你带来一丝凉爽！
 
---生成模式二: 创意模式（中温度+Top-p）---
这么热的天，来一碗清凉的绿豆汤最合适不过啦！既能解暑又能清热解毒，让你从内到外都感到清爽。试试看吧！