因果注意力：從 Q、K、V 算到下一個 token｜CMU 10-423 第 2 堂
RNN 把歷史壓進一個狀態，attention 則讓目前位置直接讀取一組歷史表示。
ai
1239 篇文章訓練與解碼：同一組 logits 為何生成不同句子｜CMU 10-423 第 3 堂
模型學會的下一 token 分佈，跟我們怎麼從分佈挑 token，是兩件接續發生的事。
擴散模型進階：訓練抽時間，生成走逆向鏈｜CMU 10-423 第 8 堂
前一堂知道怎麼造出 noisy input 與噪聲標籤，這堂要回答下一個缺口：網路預測 ε 之後，怎麼得到下一個較乾淨的樣本？
VAE：重建誤差、KL 與重參數化如何合作｜CMU 10-423 第 9 堂
普通 autoencoder 把輸入壓成一個向量再還原；VAE 則為每筆資料產生一個潛在分佈，讓重建與生成能在同一個機率模型中討論。
ICL、SFT 與 RLHF：從改輸入到改參數｜CMU 10-423 第 11 堂
分清 ICL、SFT、reward model 與 RLHF 各自改變什麼，並用算例驗收
DPO 與 latent diffusion：偏好如何更新模型，文字如何控制去噪｜CMU 10-423 第 12 堂
推導 DPO loss 並重算數值例子，再追 latent diffusion 的形狀與條件路徑
Vision-language model：圖片如何成為語言模型的輸入｜CMU 10-423 第 13 堂
以完整數值例子與變式答案理解Vision-language model：圖片如何成為語言模型的輸入。
Cross-attention 與 DiT：條件如何進入去噪器｜CMU 10-423 第 14 堂
以完整數值例子與變式答案理解Cross-attention 與 DiT：條件如何進入去噪器。
Q-Former 與 scaling laws：橋接凍結模型，分配固定算力｜CMU 10-423 第 15 堂
追 Q-Former 的 query 讀取與兩階段訓練，再用固定預算計算模型與資料的分配
Mixture of Experts：總容量與啟用計算如何分開｜CMU 10-423 第 16 堂
以完整數值例子與變式答案理解Mixture of Experts：總容量與啟用計算如何分開。
分散式訓練：梯度、模型與狀態各如何切分｜CMU 10-423 第 17 堂
以完整數值例子與變式答案理解分散式訓練：梯度、模型與狀態各如何切分。
高效推論：FlashAttention、KV cache 與推測解碼｜CMU 10-423 第 18 堂
以完整數值例子與變式答案理解高效推論：FlashAttention、KV cache 與推測解碼。
長上下文：放得進去為什麼仍找不到答案｜CMU 10-423 第 19 堂
區分位置/記憶體/資訊取用並設計受控驗收
State Space Models：狀態更新如何展成卷積｜CMU 10-423 第 21 堂
從recurrence展開固定卷積並識別selection邊界
生成式 AI 風險：把失敗變成可測試的情境｜CMU 10-423 第 22 堂
把不同危害對應不同資料流與指標
聲音的理解與生成：sample 怎麼變成文字，token 怎麼變回聲音｜CMU 10-423 第 24 堂
計算 frame、mel 與 WER，再算 codec token 帳並區分擴散採樣
影片生成：時間軸如何進入模型｜CMU 10-423 第 25 堂
能追時空attention shape並區分影片時間與去噪時間
世界模型與對齊理論：動作介入與可修正性需要哪些前提｜CMU 10-423 第 26 堂
區分三種世界表示與動作介入證據，再看共識成本與 corrigibility 定理的條件
LoRA：少改參數，改的是哪個矩陣｜CMU 10-423 第 10 堂
以完整數值例子與變式答案理解LoRA：少改參數，改的是哪個矩陣。
練習考卷：用錯誤定位觀念缺口｜CMU 10-423 主題單元
用公開練習卷區分機率、資料流與評估錯誤，走完序列機率例子，再以變式題驗收。