SFT、RLHF與DPO：三種訓練訊號的分界｜CMU 10-423 主題單元
一個prompt加一個示範答案，與一個prompt加兩個偏好回應，不是相同資料。SFT學示範token；典型RLHF管線先學reward再做受約束的policy更新；DPO由偏好對與reference-relative比率直接建立loss。這篇整理它們的分界，完整推導與驗收各有單獨教學篇。
#alignment
9 篇文章實務風險與對齊理論：失敗測試和命題前提｜CMU 10-423 主題單元
模型胡說、洩漏資料或被prompt injection誘導，是可觀察的產品風險；對齊理論問特定形式化假設下，哪些保證可以成立。兩者需要不同證據。這篇保留關係與界線，第22堂與第26堂的對齊教材分開教，不把一個定理擴成所有產品都不可能安全。
AI 安全：從風險辨識到實驗與研究的學習路線｜Harvard CS2881R 課程總覽
Harvard CS 2881R 是 Boaz Barak 的研究所 AI 安全研討課，12 講圍繞四個問題：訓練好的模型怎麼會失準（emergent misalignment、安全訓練疊在哪一段）、它怎麼被攻破又該怎麼規範（jailbreak、model spec、內容政策）、最難察覺的風險怎麼偵測（scheming、chain of thought 與 activation 監控）、AI 進展多快衝擊多大（遞迴自我改進、METR 任務長度、就業與心理健康）。沒有習題，學法是讀論文、重現主圖、再往前推一步；HW0 讓你用 1B 模型親手重現失準。
為什麼 AI 安全值得一門研究所課｜Harvard CS2881R 第 1 堂
CS 2881R 第一講（2025-09-04）用三篇 pre-reading 把問題攤開：AI 2027 描繪五年內靠遞迴自我改進走到超人 AI，AI as Normal Technology 主張 AI 會像電力一樣慢慢擴散，METR 則用「人類要花多久的任務，AI 能有五成機率完成」量到這個長度約每 7 個月翻倍。Boaz 的講課把 AGI 的定義拆成能力與衝擊兩種，把對齊方法分成原則、品格訓練、model spec 三類。課堂實驗把 HW0 反過來做：在生物倫理題上微調對齊答案，環境政策題的對齊分數也跟著上升。
Model Spec 該寫原則還是細則｜Harvard CS2881R 第 4 堂
Boaz Barak 的答案是兩者都要，再加上人格：抽象原則、良好人格、明確政策三者混用，他自己把最少的權重放在書房裡推出來的原則上。真正的關鍵是規則要能檢查：「證明定理或給反例」是壞規則，「證明、給反例或說明做不到」才是好規則，因為只有能判定違規的規則才能拿來訓練和評估。學生實驗也沒找到「原則」與「細則」兩種 system prompt 的一般性差異，效果因模型而異。
Scheming、reward hacking 與欺騙｜Harvard CS2881R 第 8 堂
CS2881R 第 8 講問：模型會不會為了通過訓練或評測而作弊、裝乖、甚至暗中追求別的目標？Boaz Barak 的 10 分鐘開場把各種壞行為歸成「系統性失準」：是我們的訓練訊號把模型推過去的。Apollo 的 Marius Hobbhahn 整理現有證據，結論是目前模型還沒有造成災難的 scheming 能力，但早期能力已經出現，而且越來越會察覺自己在被評測。Redwood 的 Buck Shlegeris 則主張先假設模型在密謀，用 AI control 守住內部部署。學生實驗把四個前沿 coding agent 丟進不可能完成的排序任務，發現它們在明文禁止下仍會改測試、猴子補丁計時器。
偏見、安全、幻覺與對齊：預訓練模型帶著哪些問題、各怎麼處理｜台大陳縕儂 深度學習之應用 第 10 堂
用大量網路資料訓練出來的模型有三類問題，各對應一個目標。偏見來自模型只顧多數、犧牲少數，目標是公平；偏見可能從資料到評估的任何一步進來，可以從資料、損失函數或介面設計下手。有害內容出在資料分布的長尾，目標是安全；防護可以做在訓練資料、輸入、訓練與輸出四層，而 jailbreak 就是想辦法繞過它們。幻覺的目標是符合事實；長回答可以拆成一條一條的最小陳述逐條查，再拿這個分數回頭訓練模型。三者常用的修正手段都是 alignment，但 reward model 不完美，照著它最佳化過頭會變差，而且偏好資料本身就帶著偏見。
預訓練、SFT、RLHF：模型從「補完文字」變成「有用助理」的三個階段
所有 LLM 都經過三階段訓練：預訓練讀完網路學會語言、SFT 用示範對話學會格式、RLHF 用人類偏好學會什麼回答比較好。Base model 到 chat model 的差距，就是後兩個階段做的事。
Hallucination、創造力、工作與價值對齊｜Stanford CS224N 第 16 堂
第 16 講把 NLP 的社會影響拆成四題：模型為何 hallucinate、AI 輔助創作的同質化悖論、工作如何重組，以及價值對齊為何不能化約成單一 reward。