擴展託管代理:大腦、雙手與會話

長時間運行 AI 代理的架構藍圖:無狀態的大腦、可丟棄的雙手,以及耐久的會話日誌。內容已按 Claude Managed Agents、Grok Bot 全天候代理,以及以 Opus 5.5、Fable 5.2、Gemini 4 Neon 及 GPT-6.2 組成的多模型團隊更新。

Gigantic Work 工程團隊系統架構組 • 2026年10月21日 • 更新於 2026年11月22日

大部分團隊開發的第一個代理,都是容器裏的一個迴圈:給模型一個 shell、一個檔案系統和一些憑證,讓它自行工作。作為示範,這已足夠。但當代理要連續運行數小時、對真實系統採取行動、同時服務大量用戶時,單一容器本身就成了問題。

到了 2026 年底,這已不再是研究課題。Anthropic 把它做成產品——Claude Managed Agents,提供耐久的會話、雲端或自行寄存的沙盒,以及憑證密鑰庫。SpaceXAI 的 Grok Bot 為每個全天候代理配備自己的雲端電腦,在你離開時繼續工作。Google 及 OpenAI 亦推出了各自的代理平台。撇除品牌包裝,成功的設計都收斂到同一種拆分方式——Anthropic 在其工程文章〈Scaling Managed Agents: Decoupling the brain from the hands〉中已有描述。

託管代理架構第一定律

框架總是假設了模型「暫時還做不到」甚麼,而這些假設會隨每次新版本過時。應把代理放在穩定的介面之後——大腦、雙手與會話——讓架構比任何一代模型都活得更長。


1. 框架的「苦澀教訓」:別養寵物

圍繞某個模型弱點而建的輔助架構,到了下一個模型就會變成累贅。Anthropic 自己的例子:較早的一個模型在上下文快滿時傾向過早收尾,於是框架加入了積極的上下文重設機制;到了下一個模型,這種行為已經消失,重設機制反而礙事。

此後步伐只有更快。2026 年 9 月至 11 月間,Anthropic 先後推出 Opus 5.5 及 Fable 5.2,OpenAI 推出 GPT-6.2 Sol 及 Astra,Google 推出 Gemini 4 Neon,SpaceXAI 推出 Grok 4.7。如果你的架構每次都要重做,你便永遠落後。

單一容器「寵物」

早期設計把會話日誌、框架及沙盒全部放在同一個容器內:

┌──────────────────────────────────────────────────────────┐
│                 COUPLED CONTAINER (A "PET")              │
│                                                          │
│  ┌────────────────┐   direct syscalls   ┌─────────────┐  │
│  │ Agent harness  │ ──────────────────► │  Sandbox +  │  │
│  │ (model loop)   │                     │ credentials │  │
│  └───────┬────────┘                     └─────────────┘  │
│          │ in-memory log                                 │
│          ▼                                               │
│  ┌────────────────┐                                      │
│  │  Session data  │                                      │
│  └────────────────┘                                      │
└──────────────────────────────────────────────────────────┘

這樣省去了設計網絡邊界的工夫,但:

  1. 容器變成寵物。 寵物要細心照料、無可取代;牛群則可以互相替換。這個容器一死,會話便隨之消失。
  2. 故障難以看清。 從外面看,框架卡住、連線中斷及記憶體耗盡當機都一模一樣——而走進容器內除錯,又會暴露用戶數據。
  3. 一切都必須放在模型旁邊。 要連接客戶的私有網絡,便得打通網絡,或把整套系統搬進對方網絡運行。

2. 拆開三者:大腦、雙手與會話

作業系統以「程序」及「檔案」把硬件虛擬化,解決了硬件多樣性的問題:read() 在磁帶機及 NVMe 硬碟上運作方式相同。託管代理套用同一概念:

組件 職責 故障範圍 介面
大腦 模型推理及編排迴圈 無狀態——可在任何地方重新啟動 wake(sessionId)、emitEvent(id, event)
雙手 沙盒、瀏覽器、裝置、MCP 工具 可丟棄的牛群——按需重新配置 execute(name, input) → string
會話 只可追加、耐久保存所有事件的日誌 高可用儲存 getSession(id)、getEvents(id, slice)
               ┌─────────────────────────────────┐
               │            THE BRAIN            │
               │    stateless harness + model    │
               └────────┬───────────────┬────────┘
                        │               │
      getEvents() /     │               │ execute(name, input)
      emitEvent()       │               │
                        ▼               ▼
      ┌────────────────────┐    ┌──────────────────────┐
      │    THE SESSION     │    │      THE HANDS       │
      │  append-only log   │    │ sandboxes · browsers │
      │ (durable storage)  │    │ devices · MCP tools  │
      └────────────────────┘    └──────────────────────┘
  • 沙盒變成牛群。 大腦以同一個工具介面與所有雙手溝通。容器死了,大腦只會收到一個普通的工具錯誤,告知模型,然後配置一個新的。
  • 框架變成牛群。 由於會話存放在大腦以外,當機的框架會由新的工作程序取代:它呼叫 wake(sessionId)、讀取日誌,然後由最後一項事件繼續。
export interface AgentBrain {
  wake(sessionId: string): Promise<void>;
  step(sessionId: string): Promise<StepResult>;
}

export interface SessionStore {
  getSession(sessionId: string): Promise<SessionMeta>;
  emitEvent(sessionId: string, event: AgentEvent): Promise<void>;
  getEvents(sessionId: string, slice?: { start?: number; limit?: number }): Promise<AgentEvent[]>;
}

export interface Hand {
  provision(spec: { image: string; cpu: number; memoryMb: number }): Promise<string>;
  execute(handId: string, tool: string, input: Record<string, unknown>): Promise<string>;
  destroy(handId: string): Promise<void>;
}

2026 年的各款產品都呈現同樣的形態:可以在暫停後恢復的會話、可運行於供應商雲端或你自己環境的沙盒,以及在任務之間保留自己電腦的代理。


3. 看它失敗,再看它復原

執行一項任務,然後在途中終止框架或沙盒,或嘗試植入提示注入,看看會話日誌如何應對。

託管代理:大腦 · 雙手 · 會話 模擬
大腦 harness h-1 無狀態 · 運行中
雙手 尚未有沙盒 需要時才配置
會話 0 項事件 只可追加 · 兩者故障都不受影響
  1. 按「執行任務」,然後在它工作時嘗試製造故障。

4. 零信任憑證:讓密鑰遠離生成的程式碼

如果模型生成的程式碼在存放憑證的地方運行,提示注入只需說服代理列印環境變數便能得手。收窄權限範圍可以縮小損害,但無法消除風險。

根本的解決方法是永遠不把憑證放進沙盒:

┌────────────────────────────────────────────────────────┐
│                     MANAGED AGENT                      │
│                                                        │
│  ┌─────────────────┐   token-free tool call  ┌───────┐ │
│  │      Brain      │ ──────────────────────► │Sandbox│ │
│  └────────┬────────┘                         └───┬───┘ │
│           │ session identity                     │     │
│           ▼                       outbound HTTPS │     │
│  ┌─────────────────┐  ◄──────────────────────────┘     │
│  │ Egress proxy /  │                                   │
│  │   MCP gateway   │ ── fetch secret ──► ┌───────────┐ │
│  └────────┬────────┘                     │   Vault   │ │
│           │ request + real credential    └───────────┘ │
│           ▼  (allowed hosts only)                      │
│  ┌─────────────────┐                                   │
│  │  External API   │                                   │
│  └─────────────────┘                                   │
└────────────────────────────────────────────────────────┘

兩種模式已涵蓋大部分需要:

  1. 在出口替換憑證。 沙盒照常發出 HTTPS 請求;位於沙盒外的代理伺服器只會在請求前往該憑證獲准存取的主機時,才注入真正的密鑰。Claude Managed Agents 的密鑰庫正是這樣運作,密鑰從不進入沙盒。
  2. 預先認證的資源。 以 Git 為例,主機在設定階段已複製代碼庫並設定遠端,因此 git pull 及 git push 可在沙盒內正常運作,而代理從頭到尾都看不到 token。需要 OAuth 的 MCP 伺服器則放在持有 token 的閘道之後。

對大學及非牟利機構而言,還要檢查會話日誌存放在哪裡——它包含代理讀過的每份文件。撰文時,Anthropic 的文件指出,託管版本的 Managed Agents 不受零數據保留安排涵蓋;而自行寄存的選項則可把框架、沙盒、憑證及會話紀錄全部留在你自己的雲端。選擇前,請以最新條款對照你的數據政策。


5. 會話不等於上下文視窗

壓縮上下文——刪減對話輪次、總結舊步驟——意味着要不可逆地決定忘記甚麼。如果第 12 步的原始工具輸出被總結掉,而第 40 步需要當中一個細節,代理便會失敗。

把完整日誌保存在模型以外,問題便由「保留甚麼?」變成「現在載入甚麼?」。框架每一輪都從日誌組合提示:

  • 中斷後由最後的檢查點恢復。
  • 倒帶到工具錯誤之前的事件,診斷問題。
  • 查找某個過往決定,而不是每一輪都帶着它。
export class ContextBuilder {
  constructor(private store: SessionStore, private cacheablePrefix: string) {}

  async build(sessionId: string, budgetTokens: number): Promise<ModelRequest> {
    const events = await this.store.getEvents(sessionId);
    const recent = events.slice(-8);                     // 原文保留
    const older = events.slice(0, -8).map(digest);       // 每項一行,保留 ID 及狀態

    return fitToBudget({
      system: this.cacheablePrefix,                      // 穩定前綴 → 提示快取命中率高
      messages: [...older, ...recent],
      tools: [{ name: 'get_events', description: 'Read earlier events from this session by index range.' }],
    }, budgetTokens);
  }
}

前沿模型現時普遍提供 100 萬 token 的上下文視窗(Opus 5.5 及 Gemini 4 Neon 均約有一百萬 token),很容易令人想略過這一步。不要這樣做:長提示每一輪都更慢、更貴;穩定的快取前綴加上一個查閱日誌的工具,通常勝過把所有東西塞進去。


6. 多個大腦,多雙手

沙盒未建立,便開始思考

大腦與雙手綁在一起時,每個會話都要等容器啟動、複製代碼及安裝套件後,才能產生第一個 token。拆開之後,大腦立即開始推理,只在模型真正需要工具時才呼叫 provision()。Anthropic 表示,這項改動令首個 token 延遲的中位數減少約 60%,p95 減少超過 90%。

一個大腦,多雙手

一個編排者可以透過同一個 execute() 介面,驅動 Linux 沙盒、無頭瀏覽器、手機模擬器及遠端 MCP 伺服器——還可以把一個運行中的沙盒直接交給另一個代理,而毋須複製。

多個大腦,按角色選擇

多代理團隊現已是產品功能,而非研究項目。2026 年的新變化是:這些大腦不必使用同一個模型。我們會根據框架結果按角色選擇:

角色 重點 一般選擇(2026 年 11 月)
規劃者/編排者 長時程推理、判斷何時用工具 頂級模型,例如以 high 強度運行的 Claude Fable 5.2 或 Opus 5.5
工作者 範圍清晰的子任務上的吞吐量及成本 中階模型,例如 Gemini 4 Neon 或 GPT-6.2 Sol
審查者/評審 與工作者保持獨立 與工作者不同家族的模型
全天候監察者 低成本、持續在線 能通過你測試集的最小模型

Fable 5.2 的每 token 價格是 Opus 5.5 的兩倍,中階模型則更便宜,所以按角色分配模型很重要。上表只是起點,不是推薦:請用你自己的測試集測試,因為排名會隨每次發布而改變。

                    ┌───────────────────────────┐
                    │   Orchestrator (brain)    │
                    └─────────────┬─────────────┘
          ┌───────────────────────┼───────────────────────┐
          ▼                       ▼                       ▼
┌──────────────────┐   ┌──────────────────┐   ┌──────────────────┐
│ Worker brain A   │   │ Worker brain B   │   │ Reviewer brain   │
│ hand: Linux box  │   │ hand: browser    │   │ hand: MCP (DB)   │
└──────────────────┘   └──────────────────┘   └──────────────────┘
          └──────────── shared session log ───────────────┘

7. 正式運作檢查清單

  • 三者分離: 會話、框架及沙盒以獨立服務運行,介面精簡。
  • 牛群式沙盒: 任何沙盒都可以銷毀,並在數秒內按宣告式配方重建。
  • 無狀態框架: 終止任何框架程序;新程序以 wake(sessionId) 恢復,不會遺失數據。
  • 沙盒內沒有密鑰: 憑證只在出口、只對獲准主機注入。
  • 會話 ≠ 上下文: 完整日誌存放在耐久儲存;上下文每輪組合。
  • 延遲配置: 推理從不等待容器。
  • 可更換模型: 每個角色的模型都是設定,每次新版本推出都由評測框架重新驗證。
  • 已核實數據存放地點: 你清楚會話日誌存放在哪裡、誰可以讀取。

8. 與 Gigantic Work 一起構建代理

我們為大學、資助項目、非牟利機構及中小企設計及開發代理系統——可建基於 Claude Managed Agents、其他供應商的平台,或在數據必須留在你基礎設施時採用自行寄存的方案:

  • 代理架構: 大腦/雙手/會話分離、故障復原及可觀察性。
  • 安全的工具存取: 沙盒、出口代理、密鑰庫憑證及 MCP 閘道。
  • 評測: 測試集及關卡,讓你有根有據地更換模型。

下一步:AI 助理與自動化 · 開展項目 · [email protected]

產品名稱、發布日期及數字,均以 Anthropic、Google、OpenAI 及 SpaceXAI 截至 2026 年 11 月公布的資料為準。採用前請查閱各供應商最新的文件及條款。

與我們合作

正在構建 AI 代理或助理?

我們為大學、非牟利機構及中小企設計代理架構、評測框架及安全的工具存取方案,不受單一模型限制(Claude、Gemini、GPT、Grok 及開放權重模型皆可),並按你的數據政策選擇寄存地點。