CS224N 第 3 講：矩陣微積分與反向傳播
第 3 講把神經網路訓練拆成計算圖、局部導數與鏈鎖律：forward pass 算結果，backprop 由輸出往回累積梯度，讓每個參數知道自己該往哪裡移。
#cs224n
20 篇文章CS224N 第 11 講：Benchmark 與 LLM 評估為什麼會過期
第 11 講把評估拆成測什麼、怎麼量與何時不再可信：benchmark 會飽和、遭污染或被提示格式左右，LLM judge 也只是帶著自身偏差的模型。
CS224N 第 9 講：Prompting、LoRA 與參數高效微調
第 9 講比較 prompting、pruning、LoRA、prompt tuning 與 adapters：它們都在回答同一題——要讓一個大型預訓練模型適應新任務，究竟需要改多少參數與儲存多少任務狀態？
CS224N 第 6 講：把期末專案收斂成可驗證的研究問題
第 6 講先補完 Transformer encoder、decoder 與 cross-attention，再把期末專案拆成題型、評分、研究題目與資料來源；好題目必須能用一個明確 baseline 和指標驗證。
CS224N 第 1 講：NLP 的四次典範轉移
Winter 2026 第 1 講用四個時代整理 NLP：早期探索、符號系統、統計機器學習、深度與自監督學習；重點不是背年表，而是看每個時代如何重新定義語言問題。
CS224N 第 15 講：沒有公開投影片時，如何讀 Agentic Interpretability
第 15 講由 Been Kim 客座談 interpretability，但 Winter 2026 官網沒有公開投影片或 agenda；本文不虛構講授內容，只用官方五篇閱讀建立概念發現、agentic investigation 與新詞彙三條閱讀路線。
CS224N 第 17 講：Multimodality 的官方閱讀地圖
第 17 講由 Luke Zettlemoyer 客座談 multimodality，但官網沒有公開投影片或 agenda；官方閱讀清單可確認三條主線：視覺推理介面、early-fusion token 模型、文字自回歸加影像 diffusion。
CS224N 第 19 講：小模型如何跨過 Scaling Law 的門檻
最後一講把 Open Questions in NLP 2026 收斂成 smart scaling：以 prolonged RL、Prismatic synthetic data、RL as pretraining 與開放協作，讓小模型不只靠增加參數追求推理能力。
CS224N 第 8 講：從 instruction tuning、RLHF 到 DPO
第 8 講解釋預訓練模型如何經 instruction tuning、偏好資料與 RLHF 變成助理，再以 DPO 直接從勝負配對學習；每一步都把人的判斷轉成訓練訊號，也把偏差帶進模型。
CS224N 第 7 講：預訓練、subword 與 in-context learning
第 7 講把預訓練拆成可擴張資料、subword tokenization、三種模型目標與 in-context learning；核心取捨是用通用的自監督目標換取可重用表示，再用下游訊號指定用途。
CS224N 第 10 講：RAG 與 Language Agents 的六個元件
第 10 講從問答與 RAG 進入 language agents，再拆成推理規劃、記憶、工具、資料與評估；agent 不是單一模型，而是模型與外部狀態之間可被逐步檢查的迴圈。
CS224N 第 12 講：Decoding、DeepSeek-R1 與推理訓練
第 12 講先證明輸出策略不是小細節：greedy、beam 與 sampling 會產生不同文字；再由 R1-Zero/R1 走進 PPO、GRPO、DAPO，最後追問長推理何時真的有用。
CS224N 第 13 講：Speculative Decoding 與 Test-Time Scaling
第 13 講從推論效率走到推論能力：speculative decoding 用小模型草擬、大模型驗證；on-policy distillation 處理資料漂移；長上下文與 test-time scaling 則用更多推論資源換取表現。
CS224N 第 4 講：語言模型、RNN 與消失梯度
第 4 講把語言模型定義成下一詞機率分布，再用 RNN 壓縮任意長前文；它同時揭露 recurrence 的核心代價：資訊與梯度都必須沿時間步逐步傳遞。
CS224N 第 16 講：Hallucination、創造力、工作與價值對齊
第 16 講把 NLP 的社會影響拆成四題：模型為何 hallucinate、AI 輔助創作的同質化悖論、工作如何重組，以及價值對齊為何不能化約成單一 reward。
CS224N 第 18 講：Tinker and LoRA Without Regret 材料缺口紀錄
第 18 講由 John Schulman 客座，官方只公布題名 Tinker and LoRA Without Regret、日期與講者，沒有投影片、agenda 或閱讀；因此本篇只保存可確認事實與不可確認清單。
CS224N 第 14 講：Tokenization 如何製造多語言成本差
第 14 講從 word、character/byte 與 subword 切分一路走到 BPE failure cases 和跨語言公平：tokenizer 決定序列長度、運算成本與模型看到的語言單位，因此不是中立前處理。
CS224N 第 5 講：從 recurrence 到 Transformer
第 5 講從 RNN 的長距離與循序瓶頸走到 self-attention，再組成 Transformer；它縮短位置間的資訊路徑並容許平行計算，但付出二次方 attention 成本與位置資訊必須另行注入的代價。
CS224N 第 2 講：word2vec 如何把語意變成向量
第 2 講從 word2vec 的預測任務、目標函數與梯度一路走到 count-based vectors 和評估，核心是：詞義不是查表得到的標籤，而是從上下文分布學出的高維座標。
Stanford CS224N 導讀：打開 2019 年那版課表，Transformer 還排在第 14 堂
CS224N 把 2000 年以來每一屆的課程網站都留在線上。2019 冬季那版，Transformer 是第 14 堂的客座講題；2026 冬季那版，它是第 5 堂，之後每一堂都預設你已經懂它。機器翻譯作業整個消失了，第三份作業改成自己刻一個 decoder-only Transformer，附 pytest 可以在筆電上跑。