影片狀態：錄影需登入或課程授權。 本文依 CMU 10-423 Spring 2026 第 26 堂公開投影片整理；算例與變式是本站教學補充。
第 26 堂有兩份投影片：前半講互動世界模型，後半講對齊的理論。兩者共用一個檢驗習慣：生成結果看起來合理，不等於系統在你改變條件時仍照預期行為。世界模型要驗收「換一個動作，未來是否跟著改」；對齊理論要寫清楚「在哪些前提下，控制要求不會被任務分數買掉」。
世界模型：動作如何改變預測的未來
一支影片可以把角色畫得很自然，卻不讓你決定角色往哪走。世界模型多問了一件事：「目前狀態相同，如果採取另一個動作，未來會怎樣？」這個問題把生成畫面連到規劃與控制，而不是只追求好看的續片。
先備是時間關聯與狀態更新。這一部分把 world-model 投影片的三種表示分開：3D 場景、互動影片與 latent prediction。
狀態、觀測與動作先分清楚
理想化轉移寫成 p(s_next | s, a)，其中 s 是狀態、a 是動作。相機畫面只是觀測，可能看不到牆後物體、速度或摩擦係數。真正可用的模型往往要讀歷史，或維護代表不確定性的 latent／belief；一張畫面不能總是決定下一刻。
給相同歷史與不同 a，模型應產生可區分且符合動作語意的未來。這不表示未來一定是單一點：隨機環境可輸出分佈。重點是動作有介入效果，而且多步後不至於只剩視覺上像真的漂移。
三種表示，各解決不同難題
3D 場景表示先追幾何與視角一致性。NeRF 用位置與觀看方向預測顏色及密度，再沿相機射線做體積渲染；Gaussian splatting 用顯式高斯集合表示場景。它們可在新視角重現同一場景，但靜態場景重建不等於物體受力後的動力學。DreamFusion 等方法把生成先驗接到 3D 優化，也不能由輸出 3D 物件直接推出可控制物理世界。
互動影片模型把歷史視覺表示與動作接到下一幀生成。Genie 的 video tokenizer 壓縮畫面，latent action model（LAM）從相鄰畫面推斷離散 latent action，dynamics model 再用過去 video tokens 與 action 預測新畫面。訓練 LAM 時可以讀下一幀，因為正在推斷發生過的變化；遊玩生成時沒有真的下一幀，動作由使用者或策略提供。把訓練的事後推斷直接當作推論輸入會洩漏未來。
Latent prediction 則不一定重建所有像素，而預測與任務有關的表示。V-JEPA 路線讓表示學習避開部分像素細節；但「能預測 masked video latent」與「能按動作規劃」仍不同。V-JEPA 2 的 action-conditioned 部分另外連接動作與機器人資料。能做規劃需要足夠的可觀測資訊、動作語意與 rollout 評估，不能由 latent 這個名詞推定。
同一格子世界的兩個未來
本文自擬一條有五格的走廊，位置 x 在 0–4，動作 a 是 −1、0、+1。轉移為 x_next=clip(x+a,0,4)。起點 x=2，選 +1 得 3，選 −1 得 1。再連續做 +1，從 2→3→4→4；連續 −1 則 2→1→0→0。邊界阻擋讓這不只是把 x 每步加固定數。
3D／幾何驗收問：從兩個視角看 x=2，是否是同一物體、同一位置？互動影片驗收問：固定起始畫面，換 action 是否走向右或左？latent 驗收問：把 x 編成 z=x/4，則 x=2 對應 .5；+1 路徑預測 .75→1→1，解碼回 3→4→4，是否能選出到右端的動作序列？三種驗收可以共享世界，但證據不能互相代用。
若模型忽略 a，只學 x_next=x，它在靜止片段可能重建很好，卻在上述動作反事實測試立刻失敗。若只第一步正確、第三步越過牆，也不能算多步可用。應分開記單步誤差、多步邊界錯誤與達成目標的比例。
Genie 的 latent action 不等於鍵盤標籤
LAM 沒有原始操作標籤，離散碼可能學到方向與跳躍等變化，卻不保證 code 0 必定是「左」。換一個訓練結果，碼號可重新排列；非動作因素也可能混入表示。論文在轉移到真實環境操作時，使用少量有 action labels 的資料建立 latent-to-real-action mapping。無標籤影片學到可控 latent，與完全不需要動作映射，是兩個不同聲明。
變式：把起點改為 x=4，連做兩次 +1，答案是 4→4→4；若先 −1 再 +1，答案 4→3→4。若「右」latent 同時使背景換色，代表動作可能與外觀纏在一起，必須在不同起始場景驗證同碼是否維持控制語意。漂亮畫面不能補上這個缺口。
對齊的理論界線：共識與可修正性需要哪些前提
假設客服 agent 同時被要求快速解決問題、保護隱私、遵守退款規則。把三項加成一個 reward，不會讓衝突消失：最容易取得高分的行為，可能正是洩露資訊或繞過規則。後半的投影片把這個問題推到理論層次：達成多方共識的成本是什麼？怎樣的目標結構能保留人類修改與關閉系統的能力？
先備是偏好訓練與實際風險。這一部分不把模型一次答錯等同於形式化定理，也不把定理擴張成「對齊永遠不可能」。
共識是一個有定義的目標
Agreement-based paper 把任務數記為 M、參與 agent 數記為 N；每個任務有有限狀態集合與目標函數。agent 持有不同私有資訊與先驗，交換訊息後更新判斷。ε 是容許的判斷差距，δ 控制未達標的機率。這是對目標判斷達到近似一致的形式化設定，不是保證所有人的所有道德價值都相同。
論文一般下界的量詞非常重要：存在某些函數、輸入集合與先驗，使任何協定都需要至少量級為 M N² log(1/ε) 的 bits。即使理想化 agent 算力無上限，困難實例的資訊交換仍不能省掉。它不是說每個簡單任務都必須付同樣成本，也不是把 bits 當成 LLM tokens 或秒數。
狀態空間大小 D 的額外依賴出現在另外限定的協定類別下界；上界也有 D。不能把不同定理的條件拼成一個對所有模型無條件成立的公式。這些結果支持「選任務、選參與者、控制問題範圍」，而不是直接預報某家模型的訓練費用。
一個共識算例，不冒充下界證明
本文自擬狀態為「訂單已送達／未送達」，函數 f 表示可退款的事件。agent A 的判斷是 .8，B 是 .3；若 ε=.1，差距 .5 尚未達標。兩者交換可追溯的配送紀錄後，更新為 .55 與 .50，差距 .05，對這個任務達到容許誤差。
若還有一個隱私任務，A/B 對允許揭露的判斷是 .9/.2，第一任務的共識不能代替第二任務。把目標從一項擴到多項，就要驗收多項。這個例子只示範判準，不證明此資訊交換必定收斂，也沒有拿兩個數值推出複雜度。
變式：更新結果 .55/.43，在 ε=.1 下通過嗎？答案否，差距 .12；把 ε 放寬為 .15 才通過。放寬標準是一項需求選擇，不是訓練突然變好。若只測一種訂單狀態，也不能聲稱所有狀態都已有相同機率保證。
可修正性不是「任務拿高分」
Corrigibility 指系統願意接受人類干預、保留關閉與修改的可能。第二篇論文分開五類 utility：服從干預、保留關閉開關可及性、誠實、低影響行為、有限的任務效益，再以具有嚴格間距的權重實現優先次序。動機是避免高任務分數把更高優先的控制要求買掉。
自擬兩項 toy utility：安全 S∈{0,1}，任務 R∈[0,10]，總分 11S+R。守住安全但沒完成任務得 11；破壞安全而滿分任務只得 10，所以任何任務收益都不能抵銷失去一個完整安全單位。若權重改成 5，則安全／零任務得 5，違規／滿任務得 10，控制要求便被交易掉。
這不是論文定理的完整實作。若安全值連續，違規只扣 .001，固定權重 11 就未必夠；若 reward 沒有上限，也無法以原界線比較。toy 的結論依賴二元安全與 R 的範圍，正好展示為什麼說「安全權重最大」還不夠。
定理保證到哪裡
論文單步定理用特定 partially observable off-switch game、明確定義的五個 utility、最佳化策略，以及 W1–W3 權重間距。W1 例如要求最高優先權重超過其他若干收益的上界組合；不是只要權重依序遞減即可。結論是該設定下最佳策略符合指定可修正性條件。多步結果另外處理學習與規劃誤差，不能把單步精確保證搬到未知環境。
Reward hacking 是代理目標被鑽漏洞，不代表每個有限環境裡所有 reward 必定被 hack。對任意被改造程式的無限期行為，論文以停機問題說明通用保證的障礙；有限 horizon 等限制則提供可處理的子問題。系統可以有形式化安全結構，但 utility 估計是否準確、觀測是否可信、環境是否符合模型，仍要驗證。
最後變式：toy 中 R 上界變成 20，安全權重仍 11，還有支配保證嗎？答案沒有：安全／0得11，違規／20得20。若維持二元 S，要用大於20的權重纔有原比較。先寫出假設、再看結論，纔是這堂理論真正可以帶到產品設計的習慣。
延伸閱讀
課程影片來源
官方課程首頁提供 Panopto 錄影入口，讀取需登入或課程授權。本篇提供投影片導讀，未提供原音逐字稿、字幕或跟讀材料。
參考資料
Loading...