CMU 10-423 L23：程式生成與自主 agent——從 pass@k 到 coding agent 迴圈
CMU 10-423 第 23 講分兩半。前半講程式生成：評估從 BLEU 轉向「單元測試過了幾個」，基準從 HumanEval、MBPP 一路到 SWE-Bench Verified 與 Terminal-Bench 2.0；模型從 CodeBERT、Codex 到 FIM 與 StarCoder；程式領域特有的技巧是拿單元測試輸出做自我修正。後半講 agent：tool calling 的定義、Kimi K2 怎麼合成工具資料、coding agent 的五步迴圈，以及 Mind2Web、Set-of-Mark、SeeClick 這些操作網頁與 GUI 的方法。這一講沒有作業，只由 Quiz 6 驗收。