Baseline、PPO 與可驗證獎勵：只對答案給分，怎麼訓練出長思維鏈｜Stanford CS229 第 20 堂
學期最後一堂把 policy gradient 收尾：過去的獎勵與只依賴狀態的 baseline 都可以從權重裡拿掉而不改變期望值。接著用重要性取樣推出 PPO 的截斷目標函數，拆成四種情況看哪些樣本還有梯度，再比較 CISPO 的改法。最後把語言模型逐 token 生成寫成 MDP，只在答案對的時候給 1 分，用同一題 8 個樣本的平均當 baseline 訓練長思維鏈。
#rlvr
6 篇文章用 SFT、IPO、RLOO 微調 LLM 解 Countdown｜Stanford CS224R 主題單元
CS224R Spring 2026 的 default project 要你在 Qwen2.5-0.5B Base 上，針對 Countdown 算術推理任務依序實作三個階段：SFT 暖身、IPO 偏好最佳化、用規則式 verifier 當獎勵的 RLOO，三者用同一套 vLLM 評估比較，再做一個自選的研究延伸。實作部分禁止用 SFTTrainer 這類高階 trainer，也禁止任何 AI 工具協助，只有延伸部分例外。延伸占報告成績的一半，看的是方法和紀錄，不是分數。起始碼和資料集都公開，校外讀者缺的是 Modal credits 和 autograder。
李宏毅 ML 2026 Self-Correction：模型能改自己的錯嗎？改 decoding、改 workflow、改參數各換到什麼｜台大李宏毅 機器學習 主題單元
這一講問：沒有人介入時，模型能不能自己發現錯誤並改正？李老師把做法分成三條路。改 inference：contrastive decoding 一家族都在「製造一個會答錯的版本，再把它減掉」，差別只在錯誤版本怎麼來。改 workflow：插一句「再檢查一下」有時有用但不穩定，外部回饋比自我反思可靠，而且在算力有限時，拿同樣算力多抽幾個答案投票往往更划算。改參數：直接教自我修正會遇到「訓練後犯的錯不一樣了」，所以業界改用 RL；RL 到底是教會新能力還是只把本來就有的路徑變常見，目前仍在爭論。
reasoning model 怎麼學會想久一點，GRPO 又省掉了 PPO 的什麼｜Stanford CME295 第 6 堂
CME295 第 6 講把 reasoning model 拆成三件事：先輸出推理鏈再給答案、用「答案對不對」這種可驗證獎勵跑 RL、用 GRPO 以同組答案的平均分當基準而不另訓 value model。DeepSeek-R1-Zero 只靠 RL，AIME 2024 pass@1 從 15.6% 升到 71.0%；而把 R1 的推理軌跡蒸餾給 Qwen-32B，分數還比直接對 32B 做 RL 高。
Coding Agents——從補一行程式到修完整個 repo｜CMU 11-768 第 6 堂
Neubig 的 L6 把 coding agent 拆成三層：先把模型訓練成會寫程式（預訓練、中訓練、infilling、測試獎勵的 RL），再用 localize–edit–verify 迴圈和一套編輯工具讓它改 repo，最後用 SWE-bench 類的可執行環境評測與訓練；修 bug 只佔開發者一天的 15%，下一步是測試、CI、維護這些外迴圈任務。
RLVR 用可驗證獎勵擴大推理，但 GRPO 不是免費的 PPO｜Stanford CS336 第 16 堂
第十六講從 PPO 走到 GRPO 與 RLVR：數學、程式碼和環境結果提供可規模化 reward，避開一般偏好模型的部分 overoptimization；但 group-normalized advantage 會引入難度與長度偏差，rollout infrastructure 也成為主要成本。