reasoning model 怎麼學會想久一點，GRPO 又省掉了 PPO 的什麼｜Stanford CME295 第 6 堂
CME295 第 6 講把 reasoning model 拆成三件事：先輸出推理鏈再給答案、用「答案對不對」這種可驗證獎勵跑 RL、用 GRPO 以同組答案的平均分當基準而不另訓 value model。DeepSeek-R1-Zero 只靠 RL，AIME 2024 pass@1 從 15.6% 升到 71.0%；而把 R1 的推理軌跡蒸餾給 Qwen-32B，分數還比直接對 32B 做 RL 高。