CS336 Lecture 16：RLVR 用可驗證獎勵擴大推理，但 GRPO 不是免費的 PPO
第十六講從 PPO 走到 GRPO 與 RLVR：數學、程式碼和環境結果提供可規模化 reward，避開一般偏好模型的部分 overoptimization；但 group-normalized advantage 會引入難度與長度偏差，rollout infrastructure 也成為主要成本。
#rlvr
2 篇文章LLM 推理：思維鏈與長推理 RLVR
第 18 章把 LLM 推理拆成兩個槓桿：推論時用思維鏈增加計算，訓練時用可驗證獎勵與 policy gradient 學出長推理行為。