影片狀態：已附影片。 本文依 Stanford CS329A Autumn 2025 官方課表 第 3 堂，結合 Stanford Online 錄影字幕與指定閱讀導讀。字幕由字幕服務取得，人工或自動來源尚未確認；本文不是完整逐字稿或親聽筆記。
需要先補課程脈絡，可從本系列總覽開始。
答案對了，推理可能還是錯的
一份數學解答剛好算到正確數字，並不代表每一步成立。如果要選出可重用的解法，或讓模型下次遇到變式也能解，除了看終點，也需要定位哪一步開始出錯。這堂適合已經理解多候選生成、正在設計驗證規則的人；不需要先會訓練獎勵模型。
本堂指定閱讀 Let's Verify Step by Step 比較結果監督與過程監督。本文對照字幕並閱讀其問題定義與方法段落，聚焦兩種回饋的差異，不重現論文訓練。論文在這裡訓練的是評分候選的獎勵模型，並沒有用強化學習更新固定的生成模型；「多寫推理」和「以步驟標註訓練驗證器」也不是同一件事。
本堂從單一驗證器走到組合
字幕中的路線先談 Training Verifiers to Solve Math Word Problems 的結果評分，再轉向步驟評分。Math-Shepherd 以接續生成能否抵達正解提供步驟標註；這是可到達正解的估計，不等於每一步邏輯都必然正確。難題的有限抽樣也可能找不到正確續寫，讓好步驟被錯判。
最後的 Weaver 組合不完美的驗證器。重點是先篩除品質不足的成員、處理分數尺度，再估計組合權重；不是把相同模型複製幾份就自然更可靠。若成員共享錯誤，新增票數沒有新增有效證據。下方例子練習步驟判準，先讓你知道驗證器到底該辨認什麼。
結果監督與過程監督
結果監督只告訴驗證器最後結果是否正確。過程監督則對中間步驟給回饋，讓錯誤位置可被指出。前者容易取得標準答案，後者要求有人或其他可信機制判斷步驟，資料成本較高。
把它想成導航：結果監督知道有沒有抵達目的地；過程監督知道在哪個路口轉錯。抵達對的地方也可能因為兩次錯誤剛好抵銷。步驟檢查提供更細的診斷，但它本身仍可能誤判，不能把評分器稱為真理機器。
完整例子：兩個錯誤抵銷
以下是自擬教學例子。題目是：3 盒筆，每盒 4 枝，送走 2 枝，剩幾枝？正確計算為 3 × 4 - 2 = 10。
候選甲寫：「共有 3 × 4 = 14 枝；送走 2 枝後，14 - 2 = 10 枝。」它的最終答案 10 正確，但第一步乘法和第二步減法都錯。候選乙寫：「共有 3 × 4 = 12 枝；剩 12 - 2 = 10 枝。」每一步都成立。
只比較最後答案的規則會接受甲與乙。逐步檢查則將甲第一步標成錯誤，不能因為終點吻合就放行。檢查第二步時還要說清楚判準：14 - 2 = 10 本身不成立；若甲寫成 14 - 2 = 12，算術局部成立，但上游 14 仍是錯誤輸入。局部合法與整條推導可信，是兩個層次。
本文的人工檢查表可以記「使用的事實」「這步運算是否成立」「是否依賴先前錯誤」。這是自擬診斷方法，不是論文的標註規格。它讓讀者實際練習過程驗證，而不用先建一個評分模型。
判準要能找到反例
穩健驗證的重點，是規則遇到不熟悉的答案時仍有用。若規則只獎勵「步驟很多」「措辭肯定」或「答案看起來整齊」，模型可以迎合格式卻不改正內容。驗證輸出應保留錯誤位置和原因，不能只有一個總分。
另一個誤解是逐步驗證能揭露模型真正的內部思考。這裡檢查的是模型輸出的可觀察解答，不是不可見的計算過程。可讀解答能接受外部檢驗，但不能藉此宣稱知道模型心裡怎麼想。
方法也有範圍限制。算術可重算，開放式設計問題卻可能沒有唯一答案。遇到「這方案更好」時，先把好拆成延遲、成本或使用者需求等可比較條件，再談驗證。步驟再細，沒有明確條件仍難判定。
變式練習與答案
改成 5 盒、每盒 4 枝、送走 3 枝。候選寫「5 × 4 = 23，23 - 3 = 17，答案 17」。最後答案是否正確？是，因為真正答案為 20 - 3 = 17。推理是否可接受？否，兩個等式都錯，最早錯誤在第一步。
若另一候選寫「共有 20 枝，所以剩 18 枝」，最早可指出的錯誤在哪？最後減法或缺少的減法步驟：送走 3 枝應剩 17。若它沒有寫運算，應要求可檢查的中間結果，不能自行替它補成正確推導。
今天可以做的驗證練習
準備五份包含中間式的解答，刻意加入一份答案正確但步驟錯誤的案例。先只看終點評分，再逐步重算，記錄兩種判準接受了哪些候選。成功判準是能定位第一個不成立的式子，並把「最終答案對」和「推導成立」分開。確認這件事之後，再考慮是否值得花成本蒐集步驟標註。
原始錄影與英文練習
可從官方錄影連續觀看。取得的字幕用於概念導讀；三段同步字幕跟讀、原音回聽與播放器實測仍待補，尚未確認播放器實際顯示字幕。本站未重刊完整逐字稿，也未提供已核對的口述短引文或時間碼。可以先讀指定論文，再用自己的英文說明例子輸入與成功判準；這是自擬表達練習。
參考資料
Loading...