自动评测：裁判模型打分 Prompt 和前后处理格式要求

"data": {
    "messages": [
      {"role": "user", "content": "牛顿第一定律的核心内容是什么？"},
      {"role": "assistant", "content": "任何物体都要保持匀速直线运动或静止状态，直到外力迫使它改变这种状态为止"}
    ]
  }

"response": {
    "content": "牛顿第一定律表明：如果没有外力作用，物体将保持静止或匀速直线运动。",
    "reasoning_content": "用户提问的是牛顿第一定律，我首先需要确定是什么学科..."
  }

 "data": {
    "messages": [
      {"role": "system", "content": "你是由A公司研发的智能助手，能够精准回答用户问题。"},
      {"role": "user", "content": "你好，可以帮我解释一下广义相对论吗？"},
      {"role": "assistant", "content": "广义相对论是爱因斯坦提出的，引入了引力场与时空弯曲的关系。"},
      {"role": "user", "content": "那狭义相对论又是什么呢？"},
      {"role": "assistant", "content": "​​当物体运动速度接近光速时，时间、空间、质量与能量都将展现出与日常经验完全不同的规律，而光速是宇宙中一切物体速度的极限。"}
    ]
  }

"response": {
    "content": "狭义相对论主要研究惯性系中的运动规律，包括时间膨胀和长度收缩。",
    "reasoning_content": "用户问的是狭义相对论，应该说明核心内容。常见表述是：高速运动下的时空性质，如时间膨胀和长度收缩。"
  }

  
def preprocess(data: dict, resp: dict, **kwargs) -> bool | int | str | float | None:    
    """
   :data: Dict，一个字典，包含以下关键信息：
                    - 'messages': 多轮对话历史。
                    - 'ref_answer': (可选) 参考答案。
                    - 以及用户自定义的所有其他字段
    :resp: Dict, 大模型推理结果，包含以下内容：
                    - content: 模型生成的回答内容
                    - reasoning_content: 模型生成回答的推理过程（如果有）
                    - tool_calls: 模型调用的工具列表（如果有）
                    - 以及用户自定义的所有其他字段
    :**kwargs: 平台扩展字段，预处理可不提供
    :return: 预处理结果，可用于裁判模型评测jinja模版引用
    """
    # --- 在此实现您的逻辑 ---
    pass

  
def preprocess(data: dict, resp: dict) -> bool:
    # 判断模型回复是否包含 reasoning_content
    return resp['reasoning_content'] == ''

    
import re
default_cot_pairs = [('<think>', '</think>'), ('<Think>', '</Think>')]
def remove_cot(text: str, cot_pairs=None) -> str:
    if cot_pairs is None:
        cot_pairs = default_cot_pairs
    ret = text
    for t0, t1 in cot_pairs:
        ret = re.sub(f"{t0}.*?{t1}", '', ret, flags=re.DOTALL)
    return ret.strip()
 
 
def preprocess(data: dict, resp: dict) -> bool | int | str | float | None:
    field = 'clean'
    resp[field] = remove_cot(resp['content'])
    return resp[field]

    
def preprocess(data: dict, resp: dict) -> None:
    # 例如：将模型回复内容添加到 data 中
    if resp['content']:
        data['resp'] = resp['content']
    # 不影响评测判断，返回 None
    return None

  
def postprocess(
        judge_reqs: list[dict],
        judge_resps: list[dict],
        judge_models: list[dict],
        data: dict,
        resp: dict,
        **kwargs,
) -> bool | int | str | float | None:
    """
    :param judge_reqs， 裁判模型的打分请求数据。
    :param judge_resps, 裁判模型的推理结果。
    :param judge_models, 裁判模型的相关配置。
    :return: 进行​​自定义的后处理逻辑​​，并返回一个用于最终评测结果判断、展示或统计的值，其类型应为 bool | int | str | float | None，以便进行指标计算。
    """
    
    # --- 在此实现您的逻辑 ---
    pass

    
def postprocess(judge_reqs, judge_resps, judge_models, data, resp, **kwargs):
    scores = []
    for jr in judge_resps:
        try:
            # 假设裁判返回内容为 "该回答得分为4分" 或 "Score: 4"
            content = jr['content']
            score = int(content.strip().split(" ")[-2])  # 简单示例，请根据实际格式调整
            scores.append(score)
        except:
            continue
    if scores:
        return round(sum(scores) / len(scores), 2)
    return None


def postprocess(judge_reqs, judge_resps, judge_models, data, resp, **kwargs):
    positive_count = 0
    for jr in judge_resps:
        content = jr['content']
        if "good" in content or "correct" in content or "4" in content or "5" in content:
            positive_count += 1
    return positive_count > len(judge_resps) / 2  # 超过一半认为正确

  
def postprocess(judge_reqs, judge_resps, judge_models, data, resp, **kwargs):
    # 可在此处做数据存储、结构转换等，但不影响最终评测
    return None