語言模型只做一件事：給前文，輸出下一個詞的機率分布。規模夠大之後，控制它的手段變成改輸入：放幾組範例（in-context learning）、要它先寫推理步驟（chain-of-thought，課堂引的例子是一句 Let's think step by step 把算術題正確率從 18% 拉到 80%）。但聽懂指令、會說不知道，都不是光靠預測下一個詞就會有的，要另外用 instruction tuning 與 RLHF 補。
一個prompt加一個示範答案，與一個prompt加兩個偏好回應，不是相同資料。SFT學示範token；典型RLHF管線先學reward再做受約束的policy更新；DPO由偏好對與reference-relative比率直接建立loss。這篇整理它們的分界，完整推導與驗收各有單獨教學篇。
預訓練完的模型很會接話，卻不一定會照指令做事。這一堂前半講 post-training 的兩步：instruction tuning 用大量不同任務教模型讀懂任務描述，RLHF 再讓模型朝人類偏好的整份回答靠攏，中間靠 reward model 與成對比較解決人力與評分不一致的問題，DPO 與 KTO 則把強化學習那一段拿掉。InstructGPT 與 ChatGPT 就是這兩步串起來。後半講 LLM adaptation：模型太大、整個微調太貴，所以只訓練少量參數，做法有 Adapter、LoRA 與 prompt tuning，沒有哪一種在所有任務都最好。
2022 年是 NLP 從「模型能力展示」走向「模型對齊與控制」的轉折年——InstructGPT 把 RLHF 推上主流、Chain-of-Thought 證明推理能力可以靠提示詞解鎖、Flan 2022 讓 instruction tuning 的方法論成熟化。ACL 與 NAACL 同年全面啟用 ARR 滾動審稿，暴露了大量基礎設施與審稿人負載問題。年底 ChatGPT 上線，NLP 研究的遊戲規則從此改寫。