Stanford CS229 導讀：講義每年重編，公開作業停在 2020，官方自測題是 2008 年的
CS229 的自學三件套不在同一個時鐘上：講義 278 頁、2026 年 8 月才重編過；公開拿得到的作業是 2020 年夏季那批；Stanford Online 叫你入學前先做的自測題，PDF 建立於 2008 年。2026 春季錄影公開 17 支，最後三支的標題跟內容對不上。
22 篇文章
Stanford CS229 導讀
逐章讀 Stanford CS229 的 2026 官方主講義：從監督式學習與深度學習，走到基礎模型、LLM 推理與強化學習，共二十一章，不假裝對應單一學期的逐講進度。
線性迴歸：從 LMS 到局部加權迴歸
線性迴歸不只是一條最佳直線；第一章用平方損失串起梯度下降、常態方程、最大概似估計與局部加權迴歸。
分類與邏輯斯迴歸：從決策邊界到 Newton 法
第二章從 sigmoid 機率模型推導邏輯斯損失，再比較感知器、多類別 softmax 與 Newton 法。
廣義線性模型：用指數族統一迴歸與分類
第三章用指數族、自然參數與連結函數，把最小平方法和邏輯斯迴歸放進同一套建模模板。
生成式學習演算法：GDA、Naive Bayes 與平滑
第四章改從 p(x|y) 與 p(y) 建模，用 GDA、Naive Bayes 和 Laplace 平滑展示生成式分類的力量與代價。
核方法：不顯式展開特徵的非線性學習
第五章把高維特徵的內積改寫成 kernel，讓依賴內積的線性演算法在不顯式建立特徵的情況下學非線性。
支援向量機：間隔、對偶與 SMO
第六章把分類信心形式化為幾何間隔，再用拉格朗日對偶、kernel 與 SMO 建出可實作的 SVM。
深度學習：模組、反向傳播與向量化
第七章把神經網路拆成可組合模組，並用反向傳播與向量化說明深度模型如何有效率地訓練。
泛化：偏差變異、雙降與樣本複雜度
第 8 章把測試誤差拆成不可避免雜訊、偏差平方與變異，再用 uniform convergence 與 VC dimension 說明模型何時能從訓練資料泛化；雙降則提醒我們，參數數量不是萬用的複雜度尺度。
正規化與模型選擇：顯式、隱式與交叉驗證
第 9 章把泛化控制拆成三條路：在損失中顯式懲罰複雜度、利用最佳化器偏好的隱式正規化，以及用未參與訓練的資料選模型；MAP 則說明高斯先驗如何對應 L2 懲罰。
分群與 k-means：交替最佳化的第一個範例
第 10 章用 k-means 建立非監督式學習的第一個完整演算法：交替更新會讓 distortion 單調不增並在數值上收斂，但不保證得到全域最佳解。
EM 演算法：從高斯混合到 VAE
第 11 章從高斯混合模型的軟指派出發，用 Jensen inequality 建立 ELBO，將 EM 解釋為對變分分布與模型參數的交替最大化，再以近似後驗與 reparameterization trick 延伸到 VAE。
主成分分析：投影、重建與降維
第 12 章把 PCA 寫成一個幾何最佳化問題：在單位方向上最大化投影變異，解就是共變異矩陣的主特徵向量；取前 k 個特徵向量，同時得到保留最大變異與最小線性重建誤差的低維表示。
獨立成分分析：從混合訊號恢復獨立來源
第 13 章把 ICA 建模為 x=As：觀測是未知線性混合，目標是估計 W=A^{-1} 恢復獨立且非高斯的來源。變數變換的 Jacobian determinant 進入 likelihood，導出 Bell–Sejnowski 的梯度更新。
擴散模型：正向加噪、反向生成與 ELBO
第 14 章從固定的高斯加噪 Markov chain 出發，學習逐步反轉每個 transition；ELBO 把 reverse-kernel matching 化成加權雜訊預測，連續時間觀點則用 score ∇log p_t 解釋反向漂移。
基礎模型概覽：線性探測、微調與 LoRA
第 15 章比較線性探測、完整微調與 LoRA：差別不只在可訓練參數量，也在表徵是否移動、資料需求與記憶體成本。
表徵學習：對比學習、語意檢索與 RAG
第 16 章把表徵學習連到實際系統：對比目標塑造向量空間，語意檢索在其中找鄰居，RAG 再把取回內容交給生成模型。
大型語言模型：分詞、Transformer、MoE 與 SFT
第 17 章從 next-token loss 推到 Transformer、KV cache、MoE 與 SFT，說清楚 LLM 的訓練目標、架構與推論成本如何連在一起。
LLM 推理：思維鏈與長推理 RLVR
第 18 章把 LLM 推理拆成兩個槓桿：推論時用思維鏈增加計算，訓練時用可驗證獎勵與 policy gradient 學出長推理行為。
強化學習：MDP、價值迭代與連續狀態
第 19 章用 Bellman 方程把長期決策拆成一步更新，並從已知 MDP 的 value iteration 走到模型學習與連續狀態近似。
LQR、DDP 與 LQG：從線性控制到不確定性
第 20 章利用線性動態與二次目標得到可解的 LQR，再以 DDP 處理局部非線性、以 Kalman filter 與 LQG 處理不可直接觀測的狀態。
策略梯度及其變體：REINFORCE 與 PPO
第 21 章從 log-derivative trick 推出 REINFORCE，再用 reward-to-go、baseline 與 PPO clipping 控制 policy-gradient 的高變異與更新幅度。