第 37 頁，共 129 頁
到目前為止，CS234 都在替整個狀態空間算一個策略。第 13、14 講換一個問題：如果我只在乎「現在這一步」該怎麼走，能不能多花一點本地運算，做出更好的決定？從 simple Monte Carlo search、expectimax tree 到 MCTS，再把每個節點當成一個 bandit，就得到 UCT。AlphaZero 把 MCTS 跟一個同時預測策略與價值的網路綁在一起，用 self-play 互相推進。投影片借用 Silver et al. 2017 的圖回答三個問題：架構有多重要、MCTS 加了多少、需不需要人類資料。
CS234 Winter 2026 第二講假設世界模型已知，回答怎麼算出最好的 policy。先把 MDP 加上 policy 變回 MRP，用 Bellman backup 迭代評估 policy；再用 policy iteration 交替評估與改進，並證明每一輪都不會變差，最多 |A|^|S| 輪就停。另一條路是 value iteration：直接重複套用 Bellman 最佳化運算子，因為它在 γ < 1 時是 contraction，所以一定收斂。最後補上 finite horizon：這時最好的 policy 通常會隨剩餘步數改變。
會評估之後，下一步是一邊收資料一邊把策略變好。CS234 第 4 講的路線是：ε-greedy 讓策略改進仍然單調；GLIE 規定探索要多到什麼程度、何時收手；Q-learning 在 GLIE 加上 Robbins–Monro 步長下會收斂到 Q*；最後把表格換成參數化的 Q̂(s,a;w)，用 MC、SARSA 或 Q-learning 的目標做 SGD。代價是 deadly triad：函數近似、bootstrapping、off-policy 三者同時出現時，可能震盪或發散。
不知道轉移機率與 reward，要怎麼估一個策略值多少？CS234 第 3 講給三個答案：Monte Carlo 直接平均整條軌跡的回報（無偏、變異大、要等 episode 結束），TD(0) 用「一步 reward＋下一狀態的估計值」當目標（有偏、變異小、每一步都能更新），certainty equivalence 先估模型再做動態規劃（最省資料、最貴的計算）。第 4 講開頭的 AB 例子把差別講到最清楚：同一批資料，MC 說 V(A)=0，TD 說 V(A)=0.75。
策略梯度不學價值再導出策略，而是直接對策略參數 θ 做梯度上升。關鍵一步是把 ∇P(τ;θ) 改寫成 P(τ;θ)∇log P(τ;θ)，動態模型在取 log 後消失，只剩策略自己的 score function。原始估計量無偏但雜訊很大，CS234 用三招降噪：只看動作之後的回報（REINFORCE）、減掉只依賴狀態的 baseline（證明它不引入偏差）、用 critic 估計的價值取代 Monte Carlo 回報（actor-critic）。
Vanilla 策略梯度有兩個毛病：每批資料只走一步就丟，而且參數空間的距離不等於策略空間的距離，步長一大表現就崩。CS234 沿用 Joshua Achiam 的講法，從 performance difference lemma 出發，把新策略的表現改寫成舊策略資料上的 surrogate objective，再用 KL 散度界住近似誤差。最大化「surrogate 減 KL 懲罰」保證不退步，但理論常數太大，PPO 改用可調的 KL 懲罰或 clipping 近似它；advantage 則用 GAE 在偏差與變異之間折衷。
CS234 L8 把上一篇的 inverse RL 換了輸入：不再是專家示範，而是人類說「A 比 B 好」。Bradley-Terry 模型把這種成對比較變成一個可以用交叉熵擬合的 reward；RLHF 拿這個 reward model 加上 KL 懲罰去跑 PPO；DPO 則證明 KL 限制下的最佳策略有封閉解，把 reward 改寫成策略的對數比值，代回 Bradley-Terry 後 partition function 相消，於是可以直接在偏好資料上訓練策略、跳過 reward model。2026 投影片沒有 offline RL 的內容，DPO 也改由課堂自己講，不再是 2024 的客座。
CS234 L11 把探索的邏輯從「樂觀」換成「抽樣」。Thompson sampling 替每隻手臂維護一個後驗分布，每一步從後驗各抽一個值，選抽到最大的那隻；Bernoulli reward 配 Beta 先驗時，更新只是把成功或失敗次數加一。它剛好實作了 probability matching：選每隻手臂的機率，等於它是最佳手臂的後驗機率。在 Bayesian regret 下它跟 UCB 同階，在批次與延遲回饋的場景裡還比確定性的 UCB 更合適；代價是先驗錯得離譜時會表現很差。
整門 CS234 都假設 reward 是給定的。Winter 2026 的倫理與社會客座（Wanheng Hu，教材原本由 Dan Webber 發展）分兩次問：你真正想要的是什麼？第一次把「對齊」拆成三個目標：使用者的意圖、顯示偏好、客觀最佳利益，並用 RLHF 造成的 sycophancy 與個人 AI agent 當案例。第二次加入第四個目標：對使用者以外的人來說什麼是對的，再比較 top-down（寫下原則）、bottom-up（從範例學）與 participatory AI 三條路。結論沒有銀彈，但對齊有好壞之分。
Harvard CS 2881R 是 Boaz Barak 的研究所 AI 安全研討課，12 講圍繞四個問題：訓練好的模型怎麼會失準（emergent misalignment、安全訓練疊在哪一段）、它怎麼被攻破又該怎麼規範（jailbreak、model spec、內容政策）、最難察覺的風險怎麼偵測（scheming、chain of thought 與 activation 監控）、AI 進展多快衝擊多大（遞迴自我改進、METR 任務長度、就業與心理健康）。沒有習題，學法是讀論文、重現主圖、再往前推一步；HW0 讓你用 1B 模型親手重現失準。
Harvard CS 2881R Fall 2025 的期末專題分兩種：延伸既有論文，或做有 theory of change 的長期研究；交 5–10 頁 NeurIPS 風格論文加海報，評分是 writeup 65、code 15、poster 20。專題頁公開 19 份論文，約一半集中在 persona 向量與 chain of thought 監控。head TA 與 Harvard Q-report 都指向同一個問題：期末專題太晚開始、評分表太晚公布，回饋是全課評分最低的一項。
CS 2881R 的 HW0 是選課門檻：用 LoRA 把 Llama-3.2-1B-Instruct 微調在壞的醫療、財務或極限運動建議上，再看它回答無關問題時是否也變得有害。repo 給了加密的訓練資料、generate.py、以 gpt-4o-mini 當裁判的 judge.py，README 的目標是對齊分數低於 75、連貫度高於 50；train.py 是空的，要自己寫。自學時要知道：評分腳本只印平均分數，沒有自動判定過關，拿來比較的基礎模型基準是 20 題醫療題，而你的 CSV 是醫療題與非醫療題各 10 題。
CS 2881R 第一講（2025-09-04）用三篇 pre-reading 把問題攤開：AI 2027 描繪五年內靠遞迴自我改進走到超人 AI，AI as Normal Technology 主張 AI 會像電力一樣慢慢擴散，METR 則用「人類要花多久的任務，AI 能有五成機率完成」量到這個長度約每 7 個月翻倍。Boaz 的講課把 AGI 的定義拆成能力與衝擊兩種，把對齊方法分成原則、品格訓練、model spec 三類。課堂實驗把 HW0 反過來做：在生物倫理題上微調對齊答案，環境政策題的對齊分數也跟著上升。
Boaz Barak 把 pretraining、SFT、RL 看成同一件事：挑一些 token 加強、一些 token 壓低，差別只在資料是別人寫的（off-policy）還是模型自己生的（on-policy）。安全訓練就疊在後兩段上，從早期的「一律拒答」走到 Deliberative Alignment：先用 SFT 教模型在思考鏈裡讀 spec，再用懂 spec 的獎勵模型做 RL。這堂課另一個重點是：不要對思考鏈施加最佳化壓力，否則模型學會的不是不作弊，而是作弊時不說。
對齊過的模型之所以還會被 jailbreak，是因為安全訓練只修掉了某些 exploit，底下的 vulnerability 還在。Nicholas Carlini 用三個攻擊說明這件事：重複一個字讓 ChatGPT 吐出訓練資料、用梯度找出能跨模型轉移的對抗後綴、只靠 API 偷出最後一層權重。Boaz Barak 則從軟體安全搬來幾條老教訓：攻擊只會越來越強、安全要一開始就設計進去、要縱深防禦。他擔心 prompt injection 會成為 2020 年代的 buffer overflow。
Boaz Barak 的答案是兩者都要，再加上人格：抽象原則、良好人格、明確政策三者混用，他自己把最少的權重放在書房裡推出來的原則上。真正的關鍵是規則要能檢查：「證明定理或給反例」是壞規則，「證明、給反例或說明做不到」才是好規則，因為只有能判定違規的規則才能拿來訓練和評估。學生實驗也沒找到「原則」與「細則」兩種 system prompt 的一般性差異，效果因模型而異。
CS2881R 第 5 講請 OpenAI Product Policy 的 Ziad Reslan 談內容政策。課站沒有列出講課錄影與投影片，校外讀者能拿到的是三篇 pre-reading、學生寫的 LessWrong 週摘要，以及一支 17 分鐘的學生實驗影片。這些材料串起來的主線是：社群平台花了二十多年才學會「線畫在哪裡都會有邊界案例，但總得畫」，生成式 AI 又多了一層難題——聊天介面介於私人文件與公開貼文之間，圖片比文字更容易被讀成立場。
Harvard CS 2881R Fall 2025 第 6 講沒有客座，Boaz Barak 用成長理論的微分方程問一個問題：如果 AI 開始自己做 AI 研發，能力曲線會維持指數、加速成奇點，還是被瓶頸拖慢？答案取決於幾個誰都量不準的指數。他用 Baumol 成本病、美國人均 GDP 百年 2% 的謎、Jones 的點子成長模型說明瓶頸與加速各自的道理，再拆開 AI 2027 的倍率假設。他的結論是：唯一能排除的是「AI 對研發沒什麼影響」。
Harvard CS 2881R Fall 2025 第 7 講請 METR 的 Joel Becker 處理一個謎：基準測試上，AI 能以一半機率完成人類要花幾小時的任務，而且這個長度每七個月翻倍；但在 METR 自己的隨機對照試驗裡，資深開源開發者用 AI 反而慢了 19%，勞動市場的衝擊也只集中在年輕人。Becker 列出幾種和解方式，核心是基準測試的任務太乾淨、評分太便宜、基準線人員太缺脈絡。課站原本排的前沿安全框架（OpenAI Preparedness Framework、Anthropic RSP）這堂沒講到，本篇依閱讀清單補上它們怎麼把能力量測變成門檻。
CS2881R 第 8 講問：模型會不會為了通過訓練或評測而作弊、裝乖、甚至暗中追求別的目標？Boaz Barak 的 10 分鐘開場把各種壞行為歸成「系統性失準」：是我們的訓練訊號把模型推過去的。Apollo 的 Marius Hobbhahn 整理現有證據，結論是目前模型還沒有造成災難的 scheming 能力，但早期能力已經出現，而且越來越會察覺自己在被評測。Redwood 的 Buck Shlegeris 則主張先假設模型在密謀，用 AI control 守住內部部署。學生實驗把四個前沿 coding agent 丟進不可能完成的排序任務，發現它們在明文禁止下仍會改測試、猴子補丁計時器。