Multi-Agent 可觀測性:怎麼知道錢花在哪、哪個 Agent 出了問題
Multi-Agent 系統最常見的 debug 困境是「知道結果錯了,但不知道是哪個 agent 搞的」。三層可觀測性是必要的:per-agent token 計量、execution trace 記錄、即時成本儀表板。
Multi-Agent 系統最常見的 debug 困境是「知道結果錯了,但不知道是哪個 agent 搞的」。三層可觀測性是必要的:per-agent token 計量、execution trace 記錄、即時成本儀表板。
Multi-Agent 編排分三派:腳本確定性(LangGraph、Claude Code Workflow)可預測但僵硬,model-driven(Codex、Devin)靈活但不可控,混合派(Windsurf 2.0)當指揮台整合多家。選擇取決於你需要多少可預測性。
Multi-Agent 的安全風險不只是單 agent 的放大版——agent 間的通訊本身就是攻擊面。一個被注入的子 agent 可以透過回傳結果把惡意指令傳給父 agent。防禦核心:treat agent output as untrusted data。
商業文件解析分三條路線:專用 Parser(Cohere Parse $1.50/千頁、LlamaParse Agentic Plus 90.2%)、三大雲 Prebuilt(Azure/Google/AWS,結構化欄位抽取)、直接用通用 VLM(Fable 5.1 在 ParseBench 拿 78.92,圖表理解碾壓專用 parser,但每頁成本 3-16 倍且會幻覺)。10 萬頁/月純 OCR 各家都 ~$150,加表格後 AWS 跳到 $1,500、用 Claude Sonnet 5 跑要 $900。選型的第一個問題不是「哪家最準」,是「你要轉錄還是理解」。
WebMCP 是 Google 與 Microsoft 在 W3C 提出的瀏覽器原生標準,透過 document.modelContext.registerTool() 讓網頁直接向 AI agent 暴露結構化 tool——不需要後端、不走 HTTP/SSE transport。Chrome 149 已開放 Origin Trial。
最終回讀 Week 11:週一用 GUM 論文把等指令的 reactive 助理升級成會觀察、推測、先出手的 proactive agent,週三把 multimodal、long-running 與 production observability 收成三個 open problems;文末附 Demo Day 前檢查清單與全系列 11 篇地圖。
Week 2 把模型內部接到檢索工程:Lecture 02 拆解解碼、注意力、訓練、推論與 context 預算;Lecture 03 從 chunk、索引、稀疏/稠密檢索講到 reranking 與 agentic RAG。另以指定讀物補足 workflow 選型、RAG 與 ColBERT 實驗。
Lecture 04 從工具學習、API 檢索走到 function calling、MCP 與可靠度評估;Lecture 05 比較 DSPy、LangGraph、harness、Temporal 與觀測。指定讀物再拆 MCP 協議及 DSPy 優化機制,HW1 則維持手刻 harness 的要求。
Week 4 從 ReAct 迴圈與 MemGPT 分層記憶出發,接上 Lecture 06/07 的設計模式、context 管理與記憶評測。透過一個 email 助理例子,學會區分原始紀錄與模型輸入,並檢查摘要後是否仍遵守使用者限制。
Lecture 08 拆開編排、通訊與協調,教你用 task ledger 和 worktree 管理分工;Lecture 09 從資料與評估出發,比較 context 優化、SFT、RL 與蒸餾。透過可追溯的 email 例子,判斷多加 agent 或優化哪一層才對準瓶頸。
第 6 週把 Terminal-Bench 的成果驗收接上 Shankar 資料飛輪:先查 agent 實際改了什麼,再把人工複核的失敗變成開發示範,另外保留測試題。HW1 於 10/30 截止。
Week 7 是期中驗收週:週一談資料選擇,週三談評分與 benchmark 設計;Zhu 等人教你別被自己的分數騙,SWE-smith 把軟體工程任務資料做到 5 萬題,讀完為 HW2 寫下第一版 4-tuple。
Week 8 週一用 MT-Bench 與 Anthropic 評測指南建立模型裁判,週三用 PrivacyLens 與四件護欄面對實戰洩漏;週五 paper video 到期,本週交付就是一份會動的裁判分數加一條許可檢查。
第九週週三談寫程式智慧體:SWE-agent 證明介面即效能,OpenHands 把沙箱與評測做成通用底座;第二份作業週五到期,本週交付是一道會動的修 bug 考題。
先從第一堂投影片理解 agent 迴圈、元件與工程問題,再分別深讀 BAIR 的複合系統觀點、Ng 的工作模式,以及 Si 的執行回饋實驗;清楚區分課堂主線、指定閱讀與延伸閱讀。
拆解三個中文圈從零訓練 LLM 的開源專案——baby-llama2-chinese(218M、634 億 tokens)、ChatLM-mini-Chinese(0.2B T5、1,023 萬條對話)、Steel-LLM(1.12B、1 兆 tokens、8 個月)——比較語料策略、tokenizer 決策與社群生態;誠實呈現評測:baby-llama2 在 MiniMind 的橫評中 21 分墊底,ChatLM 知識紮實(62 分)但程式能力弱。
四個 coding agent 的 TUI 都遵守同樣兩條規則:工具高度恆定(1 行摘要,不從 0 跳到 N 行)、不自動收合(只有使用者手動展開才會展開)。looplane 兩條都違反了。
OpenELM 用 layer-wise scaling 把參數偏向靠近輸出的層,1.08B 參數、1.5T tokens 在 LLM360 平均分數上超越吃了 3T tokens 的 OLMo 1.2B(+2.36%);MiniCPM 用三階段解凍(先 Resampler、再視覺編碼器、最後全開)從零訓練多模態小模型,MiniCPM-V 4.5 以 8B 達到 VideoMME 30B 以下 SOTA,再靠 4-bit 量化把 fp16 的 16–17GB 記憶體壓到約 5GB。
Karpathy 三代教學專案縱覽:nanoGPT(2022,各約 300 行重現 GPT-2 124M)、llm.c(純 C/CUDA 訓練)、nanochat(2025-10,一個 speedrun.sh 從 tokenizer 訓到 WebUI)。100 美元、4 小時在 8×H100 上訓出能對話的模型;GPT-2 級能力到 2026 年初已壓到約 2 小時、48 美元。
LitGPT(Lightning AI,約 13,600 stars,Apache 2.0)把 Llama 3、Qwen2.5、Phi 4 等 20+ 個 LLM 逐一從零重寫成無抽象層的單檔實作,附 pretrain / finetune / evaluate / serve 完整命令列;1.1B 參數、3T tokens 的 TinyLlama 就是用它的程式碼訓出來的。這篇拆解它與 MiniMind 的差異、實際用法與限制。