正則化：weight decay 怎麼限制模型｜台大林軒田 機器學習基石 第 14 堂
從 10 次多項式退回 2 次，等於在 10 次的問題上加限制式。把限制放軟成 ‖w‖² ≤ C 之後，最佳解上 E_in 的負梯度必須和 w 平行，由此得到 w_REG = (ZᵀZ + λI)⁻¹Zᵀy，也等於最小化 E_aug = E_in + (λ/N)wᵀw，這就是 weight decay。λ 愈大，等效的 C 愈小，有效 VC 維度 d_EFF 跟著變小；換成 L1 則會得到稀疏解。
#regularization
9 篇文章偏差與變異、正規化與模型選擇：模型該多複雜｜Stanford CS229 第 6 堂
這堂課把測試誤差拆成雜訊 σ²、偏差平方、變異三項，再用 ridge regression 的閉式解說明正規化怎麼把特徵值從 λ 推到 λ+ρ，用一點偏差換掉大量變異。後半堂講雙降、ImageNet-V2，以及用開發集、k 折交叉驗證與 successive halving 挑超參數。
Finale：整門課收成三類技巧｜台大林軒田 機器學習技法 第 16 堂
技法第 16 堂沒有新模型，它把前 15 堂的模型改用三個問題重新分類：特徵藏在哪裡（kernel、aggregation、extraction、低維投影）、誤差怎麼降下來（梯度、等價問題、拆成多步）、模型太強時怎麼踩煞車（正則化、驗證）。本文用八個點把 PCA 加 AdaBoost-Stump 從頭算完，三個問題各對一次答案；最後保留 Fall 2024 校內課補上的 ReLU、Xavier／He 初始化、momentum、RMSProp 與 Adam。
神經網路：反向傳播怎麼算梯度｜台大林軒田 機器學習技法 第 12 堂
感知器的線性組合做得出 AND、OR，做不出 XOR；再疊一層就可以，這就是多層感知器。這堂課把中間的 sign 換成 tanh、輸出層接線性迴歸，再用連鎖律推出反向傳播：先正向算出每一層的輸出 x，再從輸出層往回算 δ，每個權重的梯度就是前一層的 x 乘上這一層的 δ。最後處理訓練的兩個麻煩：E_in 非凸，初始權重要小而且隨機；d_VC 大約是 O(VD)，要靠 weight elimination 與提早停止防過擬合。
線性回歸、最小平方的幾何、正則化｜Berkeley CS189 第 7–10 堂
CS189 Spring 2026 用四講把線性回歸講成同一件事的三個角度：高斯雜訊下的 MLE 等於最小平方；最小平方的解是把 y 正交投影到 X 的欄空間；特徵共線或參數太多時，用 ridge（等於高斯先驗的 MAP）或 lasso（等於 Laplace 先驗）把解拉回來，λ 則交給驗證集決定。講義、影片、Discussion 3–4 解答都能匿名取得。
MAP，先驗怎麼進入估計，為什麼等價於正則化｜CMU 07-380 第 8 堂
Lecture 8 把 MLE 的 argmax p(D|θ) 換成 argmax p(θ|D)：先驗 p(θ) 乘進 likelihood，取負 log 之後就變成目標函數裡多出來的一項。用 trick coin 看先驗怎麼被資料蓋過，用 Beta 先驗算出點擊率，再把線性迴歸的高斯先驗、Laplace 先驗對到 L2、L1 正則化。
正則化實戰——Weight Decay、Dropout、Batch Norm 與標籤平滑｜MIT 6.7960 主題單元
正則化不只是防過擬合——Weight Decay、Dropout、BN、Label Smoothing 的機制與組合策略一次看懂
冰芯溫度迴歸 — kNN、核迴歸、基底函數與正則化四題導讀｜Harvard CS181 作業 1
HW1 用 80 萬年冰芯溫度資料串起四題：kNN 與核迴歸、最小平方法的幾何證明、基底函數迴歸、以及從機率觀點推出 ridge／LASSO 正則化，最後用 coordinate descent 實作 LASSO。
Feature Engineering 與 Regularization 如何交換表達力和穩定性｜CMU 07-280 第 10 堂
Lecture 10 先用 φ(x) 讓線性模型表達非線性，再以 train/validation/test 分工、L1/L2 regularization 與 model selection 限制新增自由度造成的過度擬合。