Post-training 從聊天走到 Agent：公開材料導讀｜Stanford CS329A 第 9 堂
聊天模型的獎勵看單則回覆像不像人喜歡的答案；Agent 的獎勵要看多步操作後任務有沒有真的完成，兩者需要的資料與環境不同。
#cs329a
18 篇文章LLM 推理：中間 token 為什麼有用｜Stanford CS329A 第 15 堂
推理是輸入與輸出之間的中間 token；RL 微調勝過模仿人類解答的關鍵是可靠的驗證器，多次取樣再選最常見的答案能再往上推。
數學奧林匹亞的三套系統：驗證從哪裡來｜Stanford CS329A 第 16 堂
AlphaGeometry2 靠符號引擎、AlphaProof 靠 Lean 驗證，2024 年合計 28 分；2025 年 Gemini Deep Think 用自然語言拿 35 分，驗證改由人類閱卷。
自主 Agent 系統：獎勵與理解才是瓶頸｜Stanford CS329A 第 18 堂
Laskin 的判斷是工程師八成時間在理解系統而不是寫程式；而 RL 能走多遠取決於有沒有乾淨的獎勵，這個問題他認為和超級智慧一樣難。
機器人的多模態 Agent：VLA 怎麼接上動作｜Stanford CS329A 第 19 堂
VLA 在視覺語言模型上加一個動作模組；讓動作模組的梯度回傳會損害語言理解，knowledge insulation 的作法是擋住梯度；π0.5 則用網路資料與多種機器人資料一起訓練來換取泛化。
能產生答案，為什麼還需要驗證｜Stanford CS329A 第 1 堂
Agent 要能根據可信回饋修正行動；同一次任務做得更好，不代表模型權重已經學會。
開放式演化：指定閱讀導讀｜Stanford CS329A 第 7 堂
開放式演化改的是 agent 程式與流程；archive 保留不同分支，保留測試再檢查泛化。
軟體工程 agent：指定閱讀導讀｜Stanford CS329A 第 13 堂
多個程式候選仍需需求反例來挑選；先通過正確性檢查，速度提升才有意義。
Agent 記憶：指定閱讀導讀｜Stanford CS329A 第 14 堂
取回管理、訓練 KV 表示與 cache 重用處理不同瓶頸；速度與命中率都不保證資料新鮮。
推論時多試幾次，怎麼選出正確答案｜Stanford CS329A 第 2 堂
多產生候選只能提高正解出現的機會；可信的選擇器才把機會變成實際成功。
驗證答案之前，先驗證推理步驟｜Stanford CS329A 第 3 堂
最後答案正確不代表推導成立；步驟回饋能定位錯誤，驗證器本身仍需檢查。
工具回饋如何改變下一步，而不只是增加紀錄｜Stanford CS329A 第 4 堂
外部觀察、執行測試與原則批評提供不同回饋；先辨認訊號，再決定修正或訓練。
多步驟規劃：哪一步失敗，才拆哪一步｜Stanford CS329A 第 5 堂
多步驟任務要區分搜尋、平行執行與訓練；子任務產物必須支撐原任務的成功條件。
訓練時改進：讓回饋真的變成學習｜Stanford CS329A 第 6 堂
組內回饋必須能區分好壞；正解篩選、相對優勢與取樣策略，決定訓練是否真的得到有用訊號。
搜尋與深度研究：候選很多，怎麼選出可交付的答案｜Stanford CS329A 第 8 堂
候選搜尋解決選擇問題，文件檢索補知識缺口；兩者都需要保留規格與可檢查的依據。
長任務評估：做完、做對與值得交付是三件事｜Stanford CS329A 第 17 堂
人類任務時長、成品品質與引用支持率回答不同問題；長任務驗收應同時檢查流程與交付物。
未來研究：把自我改進的瓶頸寫成可驗證假說｜Stanford CS329A 第 20 堂
多樣性、驗證、資料選擇與效率是不同瓶頸；研究計畫要有保留測試與足以推翻假說的條件。
自我改進 Agent：課程主軸與閱讀路線｜Stanford CS329A 課程總覽
產生正確候選與辨認正確候選是兩種能力。系列依 Autumn 2025 課表，以一篇總覽與十七篇逐堂導讀串起十七個內容場次，其中五場客座沒有公開材料，改用講者類似題目的公開材料；影片 Part 7–9 對應原課第 8、17、20 堂。