把期末專案收斂成可驗證的研究問題｜Stanford CS224N 第 6 堂
第 6 講先補完 Transformer encoder、decoder 與 cross-attention，再把期末專案拆成題型、評分、研究題目與資料來源；好題目必須能用一個明確 baseline 和指標驗證。
ai
1274 篇文章NLP 的四次典範轉移｜Stanford CS224N 第 1 堂
Winter 2026 第 1 講用四個時代整理 NLP：早期探索、符號系統、統計機器學習、深度與自監督學習；重點不是背年表，而是看每個時代如何重新定義語言問題。
沒有公開投影片時，如何讀 Agentic Interpretability｜Stanford CS224N 第 15 堂
第 15 講由 Been Kim 客座談 interpretability，但 Winter 2026 官網沒有公開投影片或 agenda；本文不虛構講授內容，只用官方五篇閱讀建立概念發現、agentic investigation 與新詞彙三條閱讀路線。
Multimodality 的官方閱讀地圖｜Stanford CS224N 第 17 堂
第 17 講由 Luke Zettlemoyer 客座談 multimodality，但官網沒有公開投影片或 agenda；官方閱讀清單可確認三條主線：視覺推理介面、early-fusion token 模型、文字自回歸加影像 diffusion。
小模型如何跨過 Scaling Law 的門檻｜Stanford CS224N 第 19 堂
最後一講把 Open Questions in NLP 2026 收斂成 smart scaling：以 prolonged RL、Prismatic synthetic data、RL as pretraining 與開放協作，讓小模型不只靠增加參數追求推理能力。
從 instruction tuning、RLHF 到 DPO｜Stanford CS224N 第 8 堂
第 8 講解釋預訓練模型如何經 instruction tuning、偏好資料與 RLHF 變成助理，再以 DPO 直接從勝負配對學習；每一步都把人的判斷轉成訓練訊號，也把偏差帶進模型。
預訓練、subword 與 in-context learning｜Stanford CS224N 第 7 堂
第 7 講把預訓練拆成可擴張資料、subword tokenization、三種模型目標與 in-context learning；核心取捨是用通用的自監督目標換取可重用表示，再用下游訊號指定用途。
RAG 與 Language Agents 的六個元件｜Stanford CS224N 第 10 堂
第 10 講從問答與 RAG 進入 language agents，再拆成推理規劃、記憶、工具、資料與評估；agent 不是單一模型，而是模型與外部狀態之間可被逐步檢查的迴圈。
Decoding、DeepSeek-R1 與推理訓練｜Stanford CS224N 第 12 堂
第 12 講先證明輸出策略不是小細節：greedy、beam 與 sampling 會產生不同文字；再由 R1-Zero/R1 走進 PPO、GRPO、DAPO，最後追問長推理何時真的有用。
Speculative Decoding 與 Test-Time Scaling｜Stanford CS224N 第 13 堂
第 13 講從推論效率走到推論能力：speculative decoding 用小模型草擬、大模型驗證；on-policy distillation 處理資料漂移；長上下文與 test-time scaling 則用更多推論資源換取表現。
語言模型、RNN 與消失梯度｜Stanford CS224N 第 4 堂
第 4 講把語言模型定義成下一詞機率分布，再用 RNN 壓縮任意長前文；它同時揭露 recurrence 的核心代價：資訊與梯度都必須沿時間步逐步傳遞。
Hallucination、創造力、工作與價值對齊｜Stanford CS224N 第 16 堂
第 16 講把 NLP 的社會影響拆成四題：模型為何 hallucinate、AI 輔助創作的同質化悖論、工作如何重組，以及價值對齊為何不能化約成單一 reward。
LoRA 低秩更新：Tinker 客座課前預習｜Stanford CS224N 第 18 堂
手算低秩更新、分清更新與完整權重的秩，並計算可訓練參數。這是依 LoRA 論文的課前預習，不重建尚未取得公開材料的 Tinker 客座內容。
Tokenization 如何製造多語言成本差｜Stanford CS224N 第 14 堂
第 14 講從 word、character/byte 與 subword 切分一路走到 BPE failure cases 和跨語言公平：tokenizer 決定序列長度、運算成本與模型看到的語言單位，因此不是中立前處理。
從 recurrence 到 Transformer｜Stanford CS224N 第 5 堂
第 5 講從 RNN 的長距離與循序瓶頸走到 self-attention，再組成 Transformer；它縮短位置間的資訊路徑並容許平行計算，但付出二次方 attention 成本與位置資訊必須另行注入的代價。
word2vec 如何把語意變成向量｜Stanford CS224N 第 2 堂
第 2 講從 word2vec 的預測任務、目標函數與梯度一路走到 count-based vectors 和評估，核心是：詞義不是查表得到的標籤，而是從上下文分布學出的高維座標。
SPINACH Agent 如何逐步探索 Wikidata 並寫 SPARQL｜Stanford CS224V 第 10 堂
SPINACH 不一次猜完整 SPARQL，而是搜尋 entity/property、查看 Wikidata entry 與 property examples、執行小查詢，再逐步組合完整查詢；action set 與停止規則是可靠性的核心。
CHURRO 如何讓多語歷史文件變成可搜尋文字｜Stanford CS224V 第 12 堂
CHURRO 以 HDML 表示整頁文字、版面與 metadata，整合跨世紀多語資料訓練 page-level VLM，再把輸出接到 HistoryGenie，讓檔案館材料能被檢索與對話。
資料受限時，語言模型還能怎麼擴展｜Stanford CS224V 第 14 堂
最後一講不是完整 LLM 訓練教學，而是資料效率研究：在 compute 充足、資料固定時重看 epochs、batch、ensemble 與 self-training，再研究 synthetic continued pretraining 的可擴展條件。
WikiChat 的七階段 RAG 如何逐條攔下幻覺｜Stanford CS224V 第 5 堂
WikiChat 不把檢索結果直接交給一次生成，而是形成查詢、檢索、過濾、生成、拆主張、再檢索查核與移除無根據內容，並把檢索與事實性分開評估。