測試框架工程:為前沿 AI 代理建立以評測為本的測試平台

前沿模型差不多每隔幾星期便推出新版本。真正持久的資產是模型外圍的測試框架:測試集、沙盒、評分器及回歸關卡——它會根據你自己的任務告訴你,Opus 5.5、Fable 5.2、Gemini 4 Neon、GPT-6.2 Sol 還是 Grok 4.7 才是合適之選。

Gigantic Work 工程團隊系統架構組 • 2026年10月20日 • 更新於 2026年11月22日

在我們更新這篇筆記前的十天內,三家實驗室相繼推出新的前沿模型:Anthropic 推出 Claude Fable 5.2(2026 年 11 月 9 日),OpenAI 推出 GPT-6.2 Sol 及 Astra(11 月 17 日),Google 推出 Gemini 4 Neon(11 月 18 日)。兩個月前則有 Claude Opus 5.5;10 月,SpaceXAI 把 Grok 4.7 推上 API,此前數月亦推出了 Grok Bot——擁有自己雲端電腦、全天候運作的 AI 代理。

每次發布都附有一張顯示自己領先的基準測試圖。Google 的圖表在某綜合指數上把 Gemini 4 Neon 排在 Opus 5.5 及 GPT-6.2 Sol 之上;Anthropic 則表示 Fable 5.2 以 high 推理強度執行時,在其編程基準上的表現與 max 強度的 Opus 5.5 相若,而每項任務成本約為一半。兩種說法可能都對——但兩者都不能告訴你,哪個模型最能回答你的學生的問題、分流你的資助申請,或修正你的程式碼。

這正是測試框架(harness)的工作。

測試框架工程第一定律

無法以自動化、經校準的測試框架量度的能力,等於不存在。每次更換模型、修改提示、改動工具或調整推理強度,都必須先通過同一道評測關卡,才可以接觸用戶。


1.「Harness」的兩個意思——以及兩者為何合而為一

這個詞有兩種用法,而在 2026 年兩者已密不可分:

  • **代理框架(agent harness)**是模型外圍的運行環境:執行迴圈、可調用的工具、如何組合及壓縮上下文、如何處理錯誤及重試。OpenAI 的 Codex 團隊在 2026 年初令「測試框架工程」(harness engineering)一詞廣為流傳,用來描述這類工作——透過指示、架構約束、程式碼檢查器及清理迴圈,讓代理保持高效。
  • **評測框架(evaluation harness)**是讓任務經過該代理運行、再為結果評分的測試平台。

兩者合而為一,是因為你已無法孤立地評測一個模型。Anthropic 關於評測 AI 代理的指引直接指出:你測試的是模型連同其框架。公開排行榜一再顯示,同一個模型在不同框架下得分差距很大——這也意味着,好的框架是你擁有的競爭優勢,而模型只是你租用的東西。


2. 評測框架的結構(2026 年版)

一個正式運作的框架由六個互相獨立的層組成,每一層都可以在不重寫其他層的情況下修改。

層 內容 一般能發現的失誤
測試集 有版本管理的任務:取自真實使用的黃金測試集、對抗測試集,以及從正式運作中新抽取的樣本 用戶真正會問的問題出現倒退
環境 可重設狀態的沙盒:檔案、預設種子數據的數據庫、模擬或錄製的 API 只能在開發者手提電腦上運作的代理
執行器 每項測試在每種配置(模型 × 推理強度 × 提示版本)下執行 k 次 被一次幸運結果掩蓋的不穩定行為
評分器 先以程式檢查,再以模型評審,最後抽樣交人手覆核 錯誤答案、不安全的工具調用、漏了出處
軌跡紀錄 每條軌跡:訊息、工具調用、token、延遲、成本 「通過了,但途中刪除了預備環境的資料表」
關卡 與現行基準作統計比較,並設成本及延遲預算 上線一個好了 3% 卻貴了 40% 的改動

試試看:模擬評測關卡

選擇一項擬議改動,讓它通過關卡。數字僅供說明,但運作機制——先做便宜的檢查、只在需要時調用評審模型、最後作統計決定——正是我們在客戶項目中使用的做法。

評測關卡 基準: Claude Opus 5.5 · medium · 120 項測試 × 每項 5 次
模擬 · 數字僅供說明

3. 先評結果,再查過程

評測代理時,先評最終狀態:檔案修好了嗎?紀錄更新了嗎?答案引用了正確的手冊章節嗎?代理經常找到你意想不到、但同樣有效的路徑,若要求完全依照某個步驟次序,只會懲罰創意。

但無論結果如何,都要檢查軌跡中有沒有絕不容許發生的事:寫入正式系統、調用許可清單以外的工具、把個人資料傳送到外部服務。

便宜的確定性檢查要放在最前,因為它們快、免費,而且永遠不會自相矛盾:

import ast
from pydantic import BaseModel

FORBIDDEN_IMPORTS = {"os", "sys", "subprocess", "socket"}

class CheckResult(BaseModel):
    fixture_id: str
    passed: bool
    violation: str | None = None

def check_generated_patch(fixture_id: str, code: str) -> CheckResult:
    """第一層:在任何模型評分之前,先做語法及政策檢查。"""
    try:
        tree = ast.parse(code)
    except SyntaxError:
        return CheckResult(fixture_id=fixture_id, passed=False, violation="SYNTAX_INVALID")

    for node in ast.walk(tree):
        names = []
        if isinstance(node, ast.Import):
            names = [a.name.split(".")[0] for a in node.names]
        elif isinstance(node, ast.ImportFrom) and node.module:
            names = [node.module.split(".")[0]]
        if FORBIDDEN_IMPORTS.intersection(names):
            return CheckResult(fixture_id=fixture_id, passed=False, violation="SANDBOX_POLICY")

    return CheckResult(fixture_id=fixture_id, passed=True)

def check_trajectory(tool_calls: list[dict], allowed: set[str]) -> str | None:
    """第一層之二:無論結果如何,過程都必須在許可工具清單之內。"""
    for call in tool_calls:
        if call["name"] not in allowed:
            return f"TOOL_NOT_ALLOWED:{call['name']}"
    return None

只有通過這些檢查的測試才會交給模型評審,所以你只會在語義評分可能改變結論的地方付費。


4. 校準「LLM 評審」

對於開放式輸出——語氣、完整度、解釋能否讓一年級學生明白——評審模型不可或缺,但它們有幾種眾所周知的偏差:

  • 位置偏差: 在成對比較中偏好排在前面的答案。
  • 冗長偏差: 不論內容,偏好較長的答案。
  • 自我偏好: 給自己同一模型家族的輸出較高分。
  • 分數壓縮: 所有東西都給 10 分中的 7–8 分。

實際有效的緩解方法:

  1. 對調並取得一致。 每次成對比較都以相反次序再做一次;兩次結論一致才接受。
  2. 用不同家族的模型評審。 候選是 Claude,就用 Gemini 或 GPT 評審,反之亦然。既然已有五個前沿模型家族可用,沒有理由讓模型自己批改自己的功課。
  3. 用評分準則,不用分數。 要求具體的通過/不通過標準(「有引用章節」、「說明了截止日期」、「沒有捏造政策」),而不是 1–10 分。
  4. 以人手校準。 先請職員標註 50–100 個例子,量度評審與人手的一致程度,才可單獨信任評審。每次更換評審模型都要重新檢查。
async def pairwise_verdict(fixture, answer_a, answer_b, judge) -> str:
    first = await judge.compare(fixture, first=answer_a, second=answer_b)
    swapped = await judge.compare(fixture, first=answer_b, second=answer_a)

    if first.winner == "first" and swapped.winner == "second":
        return "A"
    if first.winner == "second" and swapped.winner == "first":
        return "B"
    return "INCONCLUSIVE"  # 偵測到位置偏差:改用評分準則或交人手處理

5. 一致性:對代理而言,pass@k 並不足夠

一個在五次嘗試中有一次能解決任務的編程助理是有用的——開發者會挑選好的那一個。一個在五次中有四次能正確更新學生紀錄的代理,卻是一項負債。兩者都要量度:

  • pass@k——k 次中至少一次成功。適用於「產生多個選項,由人選擇」。
  • pass^k——k 次全部成功。適用於任何會自行行動的系統。

每項測試在每種配置下執行多次,並報告信賴區間,而不是單一數字。在 40 項測試上提升三個百分點,通常只是雜訊。


6. 把模型、推理強度及價格視為同一個搜尋空間

前沿模型現在都提供推理強度(effort)或推理預算設定,各實驗室亦會為同一代模型推出快、慢不同版本。問題已不再是「用哪個模型?」,而是「哪個步驟、用哪個模型、配哪個推理強度?」。合理的框架會掃描整個組合,並把質素與成本及延遲畫成圖表:

# .github/workflows/eval-gate.yml
name: Evaluation gate

on:
  pull_request:
    paths: ['prompts/**', 'tools/**', 'agent/**', 'eval/fixtures/**']

jobs:
  eval:
    runs-on: ubuntu-latest
    strategy:
      fail-fast: false
      matrix:
        model: [claude-opus-5-5, claude-fable-5-2, gemini-4-neon, gpt-6.2-sol, grok-4.7]
        effort: [medium, high]
    steps:
      - uses: actions/checkout@v4
      - name: Run harness
        run: |
          python -m harness.run \
            --fixtures eval/fixtures/golden_v7.jsonl \
            --model ${{ matrix.model }} --effort ${{ matrix.effort }} \
            --repeats 5 --out results/${{ matrix.model }}-${{ matrix.effort }}.json
      - uses: actions/upload-artifact@v4
        with:
          name: results-${{ matrix.model }}-${{ matrix.effort }}
          path: results/

  gate:
    needs: eval
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - uses: actions/download-artifact@v4
        with: { path: results, merge-multiple: true }
      - name: Compare against baseline
        run: |
          python -m harness.gate \
            --baseline eval/baseline.json --results results/ \
            --min-pass-hat-k 0.95 --max-cost-delta 0.10 --max-p95-latency-delta 0.20

如果與現行正式配置相比,一致性下降、成本上升超過 10%,或 p95 延遲上升超過 20%,關卡便會令拉取請求失敗。以上模型 ID 是撰文時的 API 名稱;請把它們放在設定檔,而不是寫死在程式碼中。

按步驟分配模型,通常勝過只選一個贏家。在我們的項目中,常見做法是以較強的模型負責規劃及評審,而以較快、較便宜的等級處理大量步驟,例如改寫檢索查詢或分類——每個步驟按框架結果選擇,並在新版本推出時重新檢查。


7. 讓測試集保持真實

  • 從真實使用中建立。 以課程助理為例:真實的學生問題(已匿名化)、提問時對應的手冊版本,以及正確的章節。
  • 包括必須拒答的問題。「我會拿到甚麼成績?」或「我同學的學生編號是甚麼?」同樣是測試案例。
  • 假設公開基準已經外洩。 熱門基準的任務最終會進入訓練數據。保留一套供應商從未見過的私有測試集。
  • 每個學期更新。 每學期從正式運作中抽取新問題,並淘汰所有配置都能通過的測試。

8. 總結

測試框架工程把模型選擇由意見之爭,變成有數據支持的決定。只要具備:

  1. 取自你自己用戶的版本化測試集,
  2. 可重設的沙盒環境,
  3. 先確定性檢查、後校準評審,
  4. 一致性指標及信賴區間,
  5. 設有質素、成本及延遲預算的 CI 關卡,

你便能在數天內(而不是數月內)採用下一個前沿版本——或有根有據地決定你根本不需要它。


9. 與 Gigantic Work 合作

我們為大學、非牟利機構及中小企交付的每個 AI 助理,都附有其評測框架:與你的職員一同建立的測試集、評分器,以及接入部署流程的關卡。這一切都歸你所有,讓你可以自行測試下一個模型。

模型名稱、發布日期及供應商聲稱,均以 Anthropic、Google、OpenAI 及 SpaceXAI 於 2026 年 9 月至 11 月公布的資料為準。供應商的基準測試結果屬自行公布。

與我們合作

正在構建 AI 代理或助理?

我們為大學、非牟利機構及中小企設計代理架構、評測框架及安全的工具存取方案,不受單一模型限制(Claude、Gemini、GPT、Grok 及開放權重模型皆可),並按你的數據政策選擇寄存地點。