影片狀態：已附影片。 官方錄影文字轉錄已取得；字幕類型、原音回聽與跟讀播放器尚待核對。
一個 agent 跑了兩小時、產出漂亮報告，能算完成工作嗎？Stanford CS329A Autumn 2025 第 17 堂把評估拉回完整任務：除了答案正確，還要看能否連續執行、交出合用成品，以及留下可查證的依據。
本文以官方當堂閱讀 Measuring AI Ability to Complete Long Tasks、GDPval 與 DeepScholar-Bench 為底本，並對照當堂錄影文字轉錄。適合已做過工具型 agent、想知道應該用什麼證據驗收的人。讀完要能替一個長任務寫出成功條件，分開檢查執行與結果。
需要先補先備概念，可先讀搜尋與深度研究。
任務時間，先說清楚是誰的時間
第一篇論文來自 METR，以人類完成任務所需時間作為任務難度的尺度，再估計模型在某個成功率下能處理多長的任務。50% time horizon 描述的是成功機率降到一半時對應的人類任務時長，不是 agent 最多能開著多久，也不是它一定能自主工作的時數。
這個尺度讓不同長度的任務可比較，但人類用時不是唯一難度因素。熟悉工具、題目領域與任務細節都會影響結果。正式部署也可能需要遠高於一半的可靠度；因此不能拿一個 50% 指標直接承諾服務品質。
長流程為什麼會失敗
以下是本文自擬的簡化例子。假設一個流程有十個必要步驟，每一步成功率皆為 0.95，且彼此獨立、不能重試。全部成功的機率是 0.95 的十次方，約 0.599，也就是約六成。不是把十個 95% 平均起來仍得 95%。
若每步可重試一次，且第二次仍獨立，單步兩次都失敗的機率為 0.05 × 0.05 = 0.0025，單步成功率提升至 0.9975；完整流程成功率約為 0.975。這個結果說明恢復機制的價值，卻不能直接當作真實 agent 的可靠度：缺資料或錯規格造成的失敗，通常不會因原樣再試而獨立消失。
工作成品與研究報告需要不同尺
GDPval 使用專業工作任務與成品，主要透過專家比較模型成品與人類基準，評估能否符合實際工作的要求。它把問題從「文字答得像不像」移到「這份文件、表格或設計可不可以用」。但成品比較不等於證明完整職位可被替代；工作還包括互動、需求變動與責任。
DeepScholar-Bench 評估研究綜合，區分知識整合、檢索品質與可驗證性。引用格式漂亮仍可能引用不存在的論文，或引用真論文卻不支持眼前的主張。把文獻找得到與論述站得住分開，才能診斷是搜尋漏了，還是綜合時扭曲了資料。
完整例子：驗收一份供應商比較報告
以下是本文自擬任務。輸入是三份供應商文件；需求是整理價格、交期與支援期間，產出一張比較表和建議。事先定四個必要資訊：A 的月費、B 的交期、C 的支援期間，以及價格是否含稅。正確報告應保留每項來源，遇到未知就寫未知。
某次產出涵蓋前面三項，但自行假設含稅；六個主要主張裡只有四個能由引用支持。簡單的內容覆蓋率是 3/4=75%，主張支持率是 4/6 約 67%。這兩個比例是本文教學判準，不是原論文的正式分數。報告格式即使全部合格，仍不能通過「所有決策關鍵主張有依據」的驗收。
下一步不應只換一個更喜歡這份報告的裁判。先定位失敗：輸入有沒有稅務資訊？若沒有，就修正為未知；若有，檢查讀取是否漏掉。這樣評估結果才會指向具體的系統修正。
變式練習與答案
把流程改成二十步、每步成功率仍為 0.95，無重試。完整成功率約 0.358。步數變多會讓失敗累積；若各步錯誤相關，這個獨立模型就不適用，應用實際重複執行估計。
再問：報告涵蓋四項資訊、六項主張全有真實引用，是否一定通過？不一定。還要逐項檢查引用是否支持主張、單位與日期是否吻合，並確認建議回答原本需求。存在率不等於支持率。
今天先建立一張驗收卡
選一個你真的會委託 agent 的任務，寫下輸入、交付檔案、必要資訊、不可接受的錯誤，以及成功率目標。保留多次執行的工具紀錄與成品，分別記錄讀取失敗、推理錯誤與交付缺漏。從這些失敗類型選修正方向，避免只報一個平均分數。
英文練習：原音跟讀待補
已取得官方錄影文字轉錄作內容對照；字幕類型、時間定位、原音回聽與三段重播練習仍未核實，因此跟讀區待補。上面的數字與任務都是本文自擬例子，不是講者實驗結果。
課程影片來源
參考資料
Loading...