影片狀態：錄影需登入或課程授權。 影片來源與說明
第 13 堂（11/4，Evaluation Fundamentals & Benchmark Design）把評估拆成 4-tuple。request 是你交辦的事，environment 是 agent 能動的世界。stopping criteria 管何時收工，scorer 負責判分。四個少一個，分數就站不住。同一天晚上 11:59 要交期中 demo 錄影（不在課堂上發表），週五交期中報告。
拿修 bug 當例子。request 是「修好這個 issue」，environment 是程式碼庫加終端機，stopping criteria 是交出 patch，scorer 是跑測試。指定讀物是 Zhu 等人的 agentic benchmark 最佳實踐，講 scorer 多容易寫錯；延伸閱讀 Press 的 benchmark 指南與 tinyBenchmarks 分別談四元組怎麼寫清楚、用多少題就夠。截至 2026-10-29，這堂還沒有公開投影片，本文是依官方課表與指定閱讀寫的預習，不代表講師在課堂上說過的內容。第 11 堂以後的堂次編號依課表順序推算，官網目前只列日期與主題。
同框表示四項共同組成規格，不表示執行順序；停止與成功分開定義。
先把考題寫完整，再相信分數
這堂要把評分器寫完整，並接回第 12 堂的資料品質。官方課表將資料選擇排在 11/2、benchmark 設計排在 11/4。截至 2026-10-23 尚無公開投影片，因此本節按課表問題導讀指定閱讀，不杜撰未上課的內容。對要做繁中內部助理的讀者，最有用的起點是一個可重播、可判分的任務，而非先追排行榜。
Request 與 environment：同一句話怎麼變成不同考題
「找出延期交付的原因」若能讀所有信件，與只給部分搜尋結果，是兩個不同任務。先固定信件快照、工具、權限與起始狀態，再定義請求。否則新版系統拿到更多資料，分數提高可能只是題目變容易。Press 的 benchmark 指南用四元組把這些條件寫清楚。
Stopping criteria 與 scorer：停止不等於成功
停止可以是交出答案、預算耗盡或明確失敗。Scorer 則獨立檢查答案是否指出正確原因、引用真的存在，以及有沒有把「可能」改成「已決定」。空答案不該因為沒說錯話就得滿分；同樣，格式正確也不等於完成任務。ABC 論文的核心用途，是讓你系統性尋找這種規格漏洞。
用反例測評分器，再用資料改善系統
先自己寫幾份反例：空答案、只貼原文、引用對但結論錯、結論對但引用不存在。評分器若全放行，先修評分器。把有爭議的例子交給人類看，記錄分歧原因，再更新 rubric；EvalGen提醒標準會隨實際輸出而演變。更新後重新標註，不把不同標準下的分數直接串成趨勢。
理解檢查：修好 scorer 後成功率下降，代表 agent 退步嗎？答案判準：不能直接比較。先用同一版本 scorer 重評舊系統和新系統，再檢查新規則是否更符合任務。
讀物 1｜Agentic Benchmark Checklist
原文：Agentic Benchmark Checklist
TL;DR
ABC 從案例、文獻與建置經驗整理 outcome validity 與 task validity 的檢查，並用 CVE-Bench 示範修訂。
編輯判斷
| 面向 | 閱讀判斷 |
|---|---|
| 核心問題 | 任務與 scorer 的漏洞，會讓分數高估或低估多少？ |
| 證據與邊界 | 空回覆38%與 CVE-Bench33個百分點是特定 benchmark 案例；不是所有評估誤差的固定幅度。 |
領域背景
Agent benchmark 同時包含環境、任務與判分程式；任何一層漏洞都可能使漂亮分數失去意義。
中階導讀
方法。 依檢查表掃描任務建置、環境與scorer，用能利用漏洞的trivial agent檢驗評估。
Zhu 等人的論文開門見山：很多 agentic benchmark 的題目設定或獎勵設計有坑。兩個點名案例：SWE-bench Verified 測試案例不足，TAU-bench 把空回應也算過關——交白卷的 trivial agent 在航空子集拿下 38% 成功率。這類坑會讓分數低估或高估，幅度可達一倍。
作者群給的解法是 Agentic Benchmark Checklist（ABC）。它從實作經驗、文獻回顧和已知事故歸納出一套檢查項。拿它去掃現有 benchmark，分數真的會動：在設計複雜的 CVE-Bench 上走一遍，高估幅度少了 33 個百分點。
證據與結果。 ABC在具體benchmark發現空回應過關與測試不充分等問題，證明評分程式的有效性需要另外檢查。
深入要點
- Outcome validity檢查判分是否反映真正成功；task validity檢查任務本身是否測到宣稱的能力。
- 高估與低估都可能存在，修scorer後分數降低不等於agent能力退步。
Reviewer 一句話評
把考卷本身也當成需要測試的軟體。
給你的 take-away
先用空答案、錯誤證據與部分完成的反例攻擊自己的 scorer。
讀物 2｜How to Build Good Language Modeling Benchmarks
原文：How to Build Good Language Modeling Benchmarks
TL;DR
指南用 request、environment、stopping criteria、scorer 定義任務，將任務設計與分數連起來。
編輯判斷
| 面向 | 閱讀判斷 |
|---|---|
| 核心問題 | Benchmark 如何同時自然、可評分，又有挑戰？ |
| 證據與邊界 | 這是設計指南，不是保證採用四元組就沒有資料污染或評分漏洞。 |
領域背景
只描述輸入和答案，會漏掉 agent 能碰的世界、預算與停止條件，讓同名評估不可比較。
中階導讀
方法。 先將一題拆成四元組，再檢查任務是否自然、可自動驗收且對目標系統有挑戰。
證據與結果。 指南提供可寫進任務規格的條件，讓開發者討論自然性、可判分性與難度，而非只追總題數。
深入要點
- Stopping定義何時收工，scorer定義做得好不好；兩者可以同時回報超時與失敗。
- 環境權限與工具可用性會改變題目難度，必須跟request一起版本化。
Reviewer 一句話評
四元組讓隱含的題目條件變得可討論。
給你的 take-away
把一題寫成完整四元組，請另一個人只看規格重播與判分。
讀物 3｜tinyBenchmarks
TL;DR
作者用選題與統計估計方法，從精選子集預測完整評測的 accuracy。
編輯判斷
| 面向 | 閱讀判斷 |
|---|---|
| 核心問題 | 完整 benchmark 太貴，能否用少量題估計表現？ |
| 證據與邊界 | 約100題對MMLU的結果依賴選題與模型分布，不等於任意100題都保留排名。 |
領域背景
完整評測費用高，但題目之間常含重複訊息；縮小評測要處理代表性與估計誤差。
中階導讀
方法。 利用既有模型的題目反應挑代表性案例，再以估計程序補回未跑題目的資訊。
證據與結果。 作者在MMLU等評測上展示少量選題可估計完整表現，節省成本來自代表性與估計器，而非隨機刪題。
深入要點
- 要分開報告估計誤差與模型差距；兩模型差距小於誤差時，排名不應過度解讀。
- 模型分布變化後，原子集可能不再代表新模型，需重新校準。
Reviewer 一句話評
小測的可信度來自校準，而非題數夠少。
給你的 take-away
先用完整評測校準子集誤差，再把小測用於迭代，最後保留完整驗收。
怎麼做：為 HW2 寫下你的 4-tuple
怎麼做：為 HW2 暖身，給自己的 agent 寫下 4-tuple。request 用一句話寫交辦事項，environment 列出它能碰的工具與資料，stopping criteria 寫明什麼算做完，scorer 先寫一個最陽春的版本。寫完拿 Zhu 等人的案例反問自己：我的 scorer 會不會把空回應算過關。這張紙就是 midway report 評估章節的草稿。
它在課程裡的位置
第 13 堂把評估規格寫完整，下一週第 14 堂處理沒有標準答案時怎麼請模型當裁判。HW2 要依四元組建 benchmark 任務，本堂的檢查表可以直接拿來自我審查。
本堂 Course Material 對照
- 官方投影片：尚未公開（截至 2026-10-29）
- 指定閱讀：Zhu 等人〈Establishing Best Practices for Building Rigorous Agentic Benchmarks〉（本文深讀）
- 延伸閱讀：Press〈How to Build Good Language Modeling Benchmarks〉（本文深讀）、Polo 等人〈tinyBenchmarks〉（本文深讀）
- 課表原文：CS329Z 官網
課程影片來源
官方 Logistics 頁（2026-10-10 即時讀取）的 Lecture Recordings 一節寫明：講課錄影只能登入課程 Canvas 取得。我實際開啟課程 Canvas 入口（canvas.stanford.edu/courses/233286），被導向 Stanford 登入頁，確認有登入牆。課程官網與搜尋都沒有找到公開的 YouTube 或 OCW 錄影，所以沒有可嵌入的影片。
課程與錄影入口：
查核日期：2026-10-10。
更新紀錄
- 2026-10-29：系列由一週一篇改為一堂一篇。本篇收錄 Lecture 13（11/4 週三）的內容，原屬「第 7 週：分數別騙自己，資料再做大」導讀；以下保留拆分前的紀錄。
- 2026-10-23：依第一堂模板重整材料狀態、機制、情境與理解檢查；將指定閱讀深讀與課堂預習分開。
- 2026-10-23：將既有教學內容補成圖解與必要對照表；本次未重新查證數據、課表或研究結果。
- 2026-10-10：標註影片狀態，核對錄影來源與取得方式。
- 2026-09-29：期中 demo 改為錄影繳交（週三 11/4 晚上 11:59 截止，不在課堂發表），同步改寫開頭與課程位置段落
- 2026-10-10：重查影片狀態。官方 Logistics 頁寫明錄影需登入課程 Canvas，實際開啟入口確認有登入牆，也沒有找到公開錄影；狀態改為需登入。