監督式學習設定與線性迴歸：一條線怎麼從資料裡學出來｜Stanford CS229 第 2 堂
第 2 堂把監督式學習拆成三件事：假設函數 h、最小平方成本 J(θ)、把 J 壓低的演算法。梯度下降每步要掃過全部 n 筆資料，minibatch SGD 只看一小批就更新，代價是在最佳解附近晃動；線性迴歸另有封閉解 θ = (XᵀX)⁻¹Xᵀy，前提是 XᵀX 可逆。
#linear-regression
8 篇文章線性迴歸：用 pseudo-inverse 一步算出最佳解｜台大林軒田 機器學習基石 第 9 堂
線性迴歸把平方誤差寫成 (1/N)‖Xw − y‖²，令梯度為零就得到 w_LIN = X†y，不必迭代。hat matrix H = XX† 把 y 投影到 X 的直行張成的空間，trace(I − H) = N − (d+1)，由此得到平均 E_in = σ²(1 − (d+1)/N)、平均 E_out = σ²(1 + (d+1)/N)。平方誤差又是 0/1 誤差的上界，所以 w_LIN 也能拿來做二元分類。
Chatbot Arena 論文題、回歸、MLE/MAP、GMM 到 flow matching｜Berkeley CS189 作業 2
HW2 是一份純書面作業，共 10 題。前半練讀論文（Chatbot Arena）和回歸、MLE/MAP 的基本推導，後半兩大題最重：Mixed Feelings 從 k-means 對離群值的脆弱一路推到 robust k-means 和加了均勻背景的 GMM；Watch Me Flow Dat 證明 conditional flow matching 和離散化後的 MLE 是同一個目標。題目 PDF 和 LaTeX 範本都能匿名下載，沒有官方解答。
線性回歸、最小平方的幾何、正則化｜Berkeley CS189 第 7–10 堂
CS189 Spring 2026 用四講把線性回歸講成同一件事的三個角度：高斯雜訊下的 MLE 等於最小平方；最小平方的解是把 y 正交投影到 X 的欄空間；特徵共線或參數太多時，用 ridge（等於高斯先驗的 MAP）或 lasso（等於 Laplace 先驗）把解拉回來，λ 則交給驗證集決定。講義、影片、Discussion 3–4 解答都能匿名取得。
開學前先做這 4 題，卡哪題就先補哪裡｜Harvard CS181 作業 0
HW0 用四題檢查 CS181 的先修：矩陣 y=Xw 的可解條件、目標函數的微分與優化、機率推理，以及用 Python 實作 OLS。做不順的地方就是開學後要優先補的缺口。
冰芯溫度迴歸 — kNN、核迴歸、基底函數與正則化四題導讀｜Harvard CS181 作業 1
HW1 用 80 萬年冰芯溫度資料串起四題：kNN 與核迴歸、最小平方法的幾何證明、基底函數迴歸、以及從機率觀點推出 ridge／LASSO 正則化，最後用 coordinate descent 實作 LASSO。
Linear Regression 與 Normal Equation｜CMU 07-280 第 7 堂
Lecture 7 把 ERM 套到 linear functions 與 squared loss，從一維 slope 推到矩陣形式 `argmin ||y-Xθ||²`，再在 `XᵀX` 可逆時得到 normal equation。
比較 K-NN、Perceptron 與 Linear Regression｜CMU 10-301 作業 3
HW3 是純 written 作業，以 decision tree 回顧，再比較 K-NN、Perceptron 與 Linear Regression 的 inductive bias、誤差與 model selection。