大模型实战：当“幻觉”成为特性，我们如何驯服概率？

# 极简评估框架 —— 用断言约束混沌
test_cases = [
    {"input": "退订本月套餐", "expected_action": "取消订阅", "expected_entity": "本月套餐"},
    {"input": "帮我查下余额", "expected_action": "查询余额", "expected_entity": None},
    {"input": "我要投诉人工客服", "expected_action": "转人工", "expected_entity": None},
]

def run_eval(model_predict_fn):
    passed = 0
    for case in test_cases:
        result = model_predict_fn(case["input"])
        # 用简单的字符串匹配或结构化比对，杜绝人工肉眼判断
        if result.get("action") == case["expected_action"]:
            passed += 1
    print(f"通过率: {passed}/{len(test_cases)}")
    assert passed / len(test_cases) > 0.85, "评估未达标，禁止合并代码！"

def build_structured_context(retrieved_docs, user_query):
    # 极简的上下文编排：按“时效性”和“置信度”排序并加注标签
    sorted_docs = sorted(retrieved_docs, key=lambda x: (x['date'], x['score']), reverse=True)
    
    context_parts = []
    for idx, doc in enumerate(sorted_docs[:3]):  # 最多取3段，防止上下文撑爆
        # 给每段信息打上“证据标签”，强化学术严谨感
        prefix = f"[证据{idx+1} | 来源{doc['source']} | 时间{doc['date']}]"
        context_parts.append(f"{prefix}\n{doc['content']}")
    
    # 关键的“系统指令”：强制模型基于证据回答，拒绝脑补
    system_prompt = f"""
    你是一个严谨的问答助手。以下是检索到的证据片段：
    {'---'.join(context_parts)}
    
    请严格基于上述证据回答问题。如果证据不足以支撑答案，请直接回复“信息不足，无法判断”。
    用户问题：{user_query}
    """
    return system_prompt

// 前端伪代码：先吐出占位节奏，再替换真实内容
async function streamResponse(query) {
    // 1. 立即显示“正在思考...”的闪烁光标，降低用户焦虑
    showTypingIndicator();
    
    // 2. 真实调用后端流式接口
    const stream = await fetch(`/api/chat?q=${query}`);
    const reader = stream.body.getReader();
    
    let fullText = '';
    while (true) {
        const { done, value } = await reader.read();
        if (done) break;
        const chunk = new TextDecoder().decode(value);
        // 逐字追加，模拟人脑思考的节奏（甚至故意加一点随机延迟）
        fullText += chunk;
        updateDisplay(fullText);
        await sleep(30); // 让视觉上更像“正在敲字”
    }
}

def smart_router(user_input):
    # 这里可以用一个极小的本地分类器，甚至只是关键词正则
    if "分析" in user_input or "总结" in user_input or len(user_input) > 50:
        return "use_expensive_llm"
    else:
        return "use_cache_or_small_model"

# 调用时根据路由结果选择
if smart_router(query) == "use_expensive_llm":
    answer = gpt4_client.chat(query)
else:
    answer = local_7b_model.generate(query)  # 本地廉价推理