語言模型只做一件事：給前文，輸出下一個詞的機率分布。規模夠大之後，控制它的手段變成改輸入：放幾組範例（in-context learning）、要它先寫推理步驟（chain-of-thought，課堂引的例子是一句 Let's think step by step 把算術題正確率從 18% 拉到 80%）。但聽懂指令、會說不知道，都不是光靠預測下一個詞就會有的，要另外用 instruction tuning 與 RLHF 補。
一個prompt加一個示範答案，與一個prompt加兩個偏好回應，不是相同資料。SFT學示範token；典型RLHF管線先學reward再做受約束的policy更新；DPO由偏好對與reference-relative比率直接建立loss。這篇整理它們的分界，完整推導與驗收各有單獨教學篇。
11-868 的 RL 系統講題沒有投影片，Syllabus 只列了 ReaLHF 一篇論文。作業七倒是完整公開：用 Anthropic HH-RLHF 資料訓練 DistilBERT reward model（40 分），在 VERL 風格的 trainer 裡補上 GAE、PPO loss 與 entropy，微調 GPT-2（40 分），最後比較 RLHF 前後的 reward 分布（20 分）。起始碼的 trainer 沒有 import verl 套件，學的是 RLHF 的資料流，不是 VERL 的分散式引擎。
CS224R Spring 2026 第八講先花幾頁複習 offline RL，再問一個前面七講都跳過的問題：獎勵從哪裡來？遊戲有分數，真實世界的機器人、對話和自駕通常沒有。投影片給兩條路。第一條是從成功範例訓練一個目標分類器當獎勵，但 RL 會去鑽分類器的漏洞，解法是把 policy 走過的狀態不斷加進負例，跟 GAN 同一個結構。第二條是請人比較兩條軌跡哪條好，用 Bradley-Terry 式的 log σ(r(τw) − r(τl)) 學獎勵，這也是 LLM 的 RLHF 在用的方法。整講的第一個重點只有一句：獎勵不能視為理所當然。
CS224R Spring 2026 第九講由 Archit Sharma 客座，投影片註明改寫自 CS224N。主線是一條推導鏈：instruction tuning 解決不了「沒有標準答案」和「錯誤輕重不同」，所以改成最大化人類偏好；人類評分太貴又不準，所以改用成對比較訓練 Bradley-Terry reward model；RLHF 拿它當獎勵、加 KL 懲罰做 policy gradient；DPO 則利用 KL 約束問題的封閉解，把 reward 寫成 policy 的對數比值，整件事變成一個二元分類損失。最後一段談前沿：reward hacking、可驗證獎勵，以及用 AI 回饋取代人類回饋。
CS234 Winter 2026 作業三共五題、94 分。前三題都在 MuJoCo Hopper 上：先用手寫 reward 跑 PPO（13），再從 1 萬筆偏好對學 reward model 後跑 PPO（19＋8），最後用 SFT＋DPO 直接從偏好學策略、完全不碰環境（6＋19）。第四題換成純理論：用 Hoeffding 與 union bound 算出找 ε-最佳臂要幾次試驗（25），這題要等讀完下一篇 bandit 再做。第五題是新聞推薦的 stated vs revealed preference（4）。
CS234 L8 把上一篇的 inverse RL 換了輸入：不再是專家示範，而是人類說「A 比 B 好」。Bradley-Terry 模型把這種成對比較變成一個可以用交叉熵擬合的 reward；RLHF 拿這個 reward model 加上 KL 懲罰去跑 PPO；DPO 則證明 KL 限制下的最佳策略有封閉解，把 reward 改寫成策略的對數比值，代回 Bradley-Terry 後 partition function 相消，於是可以直接在偏好資料上訓練策略、跳過 reward model。2026 投影片沒有 offline RL 的內容，DPO 也改由課堂自己講，不再是 2024 的客座。
Boaz Barak 把 pretraining、SFT、RL 看成同一件事：挑一些 token 加強、一些 token 壓低，差別只在資料是別人寫的（off-policy）還是模型自己生的（on-policy）。安全訓練就疊在後兩段上，從早期的「一律拒答」走到 Deliberative Alignment：先用 SFT 教模型在思考鏈裡讀 spec，再用懂 spec 的獎勵模型做 RL。這堂課另一個重點是：不要對思考鏈施加最佳化壓力，否則模型學會的不是不作弊，而是作弊時不說。
前 12 講的模型都靠人準備好的訓練資料。L13 換一個問題：沒有標準答案，只知道做得好不好的時候，電腦要怎麼學？老師從 AlphaGo 和打磚塊講起，分成兩條路：value based 學一個 Q 函數替每個動作打分數（Deep Q-Learning、TD、Experience Replay、ε-greedy），policy based 直接學動作（Policy Gradient、Actor-Critic）。後半回到 LLM：ChatGPT 怎麼用人類排名訓練 reward model，再用 PPO 做 RLHF；DeepSeek 則讓電腦自動判斷數學題對錯當獎勵。第十三週作業是期末專案提案。
高宏宇 Fall 2025 的 W8 投影片從 GPT-1 一路講到 GPT-3，順帶解釋 GPT-3 用的 Sparse Transformer 怎麼省掉注意力的計算，再用 InstructGPT 說明「會接話」和「聽得懂指令」之間差了什麼：最大概似目標分不出編造事實和挑錯同義詞哪個嚴重，所以要多三步——SFT 學人類怎麼寫、reward model 學人類怎麼評分、PPO 依評分調整並用 KL penalty 綁住不要跑太遠。最後以 Llama-2 收尾：分開訓練 safety 和 helpfulness 兩個 reward model、context distillation，以及推論加速用的 GQA。
預訓練完的模型很會接話，卻不一定會照指令做事。這一堂前半講 post-training 的兩步：instruction tuning 用大量不同任務教模型讀懂任務描述，RLHF 再讓模型朝人類偏好的整份回答靠攏，中間靠 reward model 與成對比較解決人力與評分不一致的問題，DPO 與 KTO 則把強化學習那一段拿掉。InstructGPT 與 ChatGPT 就是這兩步串起來。後半講 LLM adaptation：模型太大、整個微調太貴，所以只訓練少量參數，做法有 Adapter、LoRA 與 prompt tuning，沒有哪一種在所有任務都最好。
SFT 只會叫模型模仿好答案，沒辦法告訴它哪種回答不行。CME295 第 5 講先教怎麼收集偏好對，再走 RLHF 兩步（約 1 萬筆人工標註訓練 reward model、約 10 萬筆用 PPO 調模型），最後用 DPO 把整套 RL 收成一條監督式 loss。2026 版把這講拆進第 3 講（訓練）與新增的第 4 講（強化學習）。
不需要變成研究員也能系統理解 AI 模型。這個系列從你看得見的東西（token、context window）開始，一路走到自架開源模型，18 篇覆蓋選模型、讀 benchmark、算成本需要的所有基礎。
所有 LLM 都經過三階段訓練：預訓練讀完網路學會語言、SFT 用示範對話學會格式、RLHF 用人類偏好學會什麼回答比較好。Base model 到 chat model 的差距，就是後兩個階段做的事。
2022 年是 NLP 從「模型能力展示」走向「模型對齊與控制」的轉折年——InstructGPT 把 RLHF 推上主流、Chain-of-Thought 證明推理能力可以靠提示詞解鎖、Flan 2022 讓 instruction tuning 的方法論成熟化。ACL 與 NAACL 同年全面啟用 ARR 滾動審稿，暴露了大量基礎設施與審稿人負載問題。年底 ChatGPT 上線，NLP 研究的遊戲規則從此改寫。
2022 年是 AI 頂會的轉折年：Diffusion Model 從冒頭變成主流（NeurIPS 兩篇 Outstanding Paper），Chinchilla 改寫 scaling laws 的遊戲規則，Chain-of-Thought 證明大模型能推理，InstructGPT 用 RLHF 讓語言模型學會聽話——而這一切在年底 ChatGPT 上線後瞬間從學術議題變成全球新聞。
2023 年是 LLM 全面重寫 AI 研究議程的第一年：DPO 拿下 NeurIPS Outstanding Runner-Up、ReAct 成為 ICLR Oral、hallucination 從邊緣詞彙變成每場會議的熱門 track——同時 3D Gaussian Splatting 在 SIGGRAPH 發表後橫掃 CV 社群，Mamba 年底出現挑戰 Transformer 的注意力壟斷，而傳統 NLP pipeline 的論文量開始明確萎縮。
2025 年 AI 頂會的兩個最強訊號：reasoning 論文從 47 篇暴增到 216 篇（4.6 倍）、agent 相關關鍵詞合計超過 150 篇（4.3–11 倍成長）。Diffusion model 已從「爆發」進入「基礎設施」階段，RAG 以五會議全覆蓋的罕見擴散速度成為企業 AI 的主流架構，而 state space model 和 world model 正複製 2020–2021 年 Vision Transformer 的早期軌跡。純 prompt engineering 論文開始遭遇 reviewer fatigue。
第 8 講解釋預訓練模型如何經 instruction tuning、偏好資料與 RLHF 變成助理，再以 DPO 直接從勝負配對學習；每一步都把人的判斷轉成訓練訊號，也把偏差帶進模型。
第十五講把 post-training 拆成 imitation 與 optimization：SFT 從 instruction-response data 抽出預訓練已有能力，RLHF 用 pairwise feedback 跨過人類示範與偏好之間的落差；PPO 與 DPO 都逃不掉資料偏差、reward overoptimization 和 mode collapse。
LLM 面試的分水嶺是你有沒有實際用過這些東西。高頻考點：BPE tokenization 的邏輯與多語言問題、預訓練目標（CLM vs MLM）、fine-tuning 的三種層次（full/LoRA/prompt tuning）、RLHF 的流程與 failure mode、prompting 的工程實踐、LLM 評估的困難與現有方法。
圍棋不能用監督式學習的第三個理由最有意思：ground truth 本身就沒有良好定義——最強的人類不是每天下出最好的棋，而他最好的棋也不是最優解。這一講的最後約 15 分鐘把 RLHF 完整放回 RL 的框架：agent 是被微調的模型、action 是下一個 token、一個 episode 是一次完整生成，而且獎勵極度稀疏。