影片狀態：已附影片。 官方錄影文字轉錄已取得；字幕類型、原音回聽與跟讀播放器尚待核對。
模型這次答對了，下一次就比較會答嗎？如果你只讓它重試，模型參數沒有更新，成功經驗不會自動變成能力。Stanford CS329A Autumn 2025 第 6 堂把問題移到訓練時：如何把模型產生的候選與可驗證的結果，轉成下一輪學習資料。
本文以官方當堂閱讀 STaR、DeepSeekMath 與 DAPO 的方法章節為底本，並對照官方錄影文字轉錄，重組成概念教學，不是課堂口述逐字稿。適合知道語言模型會依前文預測下一個 token、但還沒寫過 RL 訓練迴圈的人。讀完要能判斷：一批候選是否提供有用的回饋，而不是只看算力花了多少。
先把成功路徑留成資料
STaR 的做法是產生解題理由、核對最後答案，再用通過的理由做監督式微調。答錯的題目可以提供已知正解，請模型重新產生理由；收進資料時拿掉答案提示，讓模型學習從題目產生完整解答。新模型再產生下一批資料，形成循環。
這裡需要題目與正解。模型能自己寫理由，不表示它能自己提供可靠標籤。最終答案正確也不能保證每一步理由正確；因此你應抽查理由是否真的推出答案，而不是事後編出一個解釋。
再讓候選互相比較
DeepSeekMath 提出的 GRPO 對同一道題抽一組回答，用組內獎勵估計相對優勢，省去另外訓練 critic 的需求。結果式監督下，簡化的計算是「獎勵減組內平均，再除以組內標準差」。優勢為正的回答受到鼓勵，負的受到抑制；實際更新還有機率比率、裁剪與參考模型約束，不能把優勢直接當成新機率。
STaR 是保留成功示範後模仿；這個 RL 做法則用候選間的差異改變生成傾向。兩者都依賴回饋品質，但更新方式不同。
完整例子：同一道折扣題，四個候選
以下是本文自擬例子。輸入是：「一本書原價 120 元，打八折，買三本共多少？」正解為 120 × 0.8 × 3 = 288 元。核對器只檢查最後數值，四個候選依序輸出 288、360、288、96，獎勵為 1、0、1、0。
組內平均為 0.5。為了手算，採母體標準差：四項偏差平方都是 0.25，平均後開根號得到 0.5。因此優勢為 1、−1、1、−1。兩個正確路徑相對受到鼓勵，但若其中一個理由寫成「三本都不用付錢，答案是 288」，它仍能騙過這個核對器。RL 學到的是核對器獎勵的行為，不是我們心中更完整的正確性。
若走 STaR，則先收下答案為 288 的兩條示範，再檢查推導品質；若走 GRPO，則保留相對獎勵來更新策略。這是同一批候選如何導出不同訓練程序的差別。
為什麼更多抽樣仍可能沒有訊號
現在四個回答全部是 288。平均獎勵為 1，組內沒有差異；若全錯也一樣。標準差為零，不能直接照上面的除法計算，實作需要處理。DAPO 的 dynamic sampling 會濾掉全對或全錯的題目群組，再抽樣補足有訊號的訓練批次。這不等於永遠丟掉困難題；它處理的是當前抽樣群組無法區分好壞的問題。
DAPO 還分別調整 clipping 上界以維持探索、採 token 層級的 loss 聚合，以及處理超長輸出的獎勵。重點是：取樣、更新權重與截斷規則都會改變你實際教給模型的東西，不能只抄一個演算法名稱。
變式練習與答案
把獎勵改成 1、1、1、0。平均為 0.75，母體標準差是 √0.1875，約 0.433。前三個優勢約 0.577，最後一個約 −1.732。為什麼正確回答的優勢變小？因為它們相對同組的表現不再那麼突出。這不是把正確答案判成不重要，而是組內比較基準改變。
再問：若四個答案都錯，能否宣稱模型已經學會避免這四種錯法？不能。這個群組缺少相對獎勵差異；需要更好的初始模型、資料難度安排或回饋設計，才能產生可利用的訊號。
今天可以做的動作
先拿十道有明確正解的題目，每題抽四個候選。保存題目、每個答案、理由與獎勵，數出全對、全錯和有混合結果的群組，再人工檢查兩條「答案對、理由錯」的路徑。這份紀錄能先回答你的回饋是否可靠；在這之前加大訓練量，可能只是把壞訊號放大。
英文練習：原音跟讀待補
本篇提供論文閱讀導讀。已取得當堂錄影文字轉錄；字幕類型、三段連續原音起訖與回聽尚未完成核對，因此原音跟讀區待補；英文版是文章翻譯，不是講者逐字稿。可以先用自己的英文解釋組內平均如何改變優勢，這是自擬表達練習，不是原音 shadowing。
課程影片來源
參考資料
Loading...