#grpo — quidproquo

ai deep-dive 認識 AI 模型 2026年8月26日

後訓練 RL 三條路線：Ornith、Nous Research、MiniMax 怎麼用強化學習做出黑馬模型

2026 年三個非大廠團隊用不同的 RL 後訓練路線做出 benchmark 黑馬：Ornith 讓模型自己出題自己改進（GRPO self-improvement loop），Nous Research 用 DataForge 合成資料 + Atropos 執行獎勵 RL，MiniMax 在 20 萬個真實環境裡大規模 RL。三條路各有強項，但共同證明了一件事：後訓練 RL 比預訓練規模更重要。

#reinforcement-learning #grpo #post-training #self-improvement #open-source #agentic-coding #fine-tuning

ai deep-dive Stanford CS336 導讀 2026年8月22日

CS336 Lecture 16：RLVR 用可驗證獎勵擴大推理，但 GRPO 不是免費的 PPO

第十六講從 PPO 走到 GRPO 與 RLVR：數學、程式碼和環境結果提供可規模化 reward，避開一般偏好模型的部分 overoptimization；但 group-normalized advantage 會引入難度與長度偏差，rollout infrastructure 也成為主要成本。

#cs336 #rlvr #grpo #reasoning #reinforcement-learning