感知器與 PLA：一條線怎麼從錯誤裡修正出來｜台大林軒田 機器學習基石 第 2 堂
這堂課給第 1 堂的流程圖填上第一組具體內容：假說集合 H 是所有的線（感知器），演算法 A 是 PLA，看到分錯的點就把 w 加上 yₙxₙ。資料線性可分時，從 w₀ = 0 出發最多修正 R²/ρ² 次就會停；資料分不開時改用 pocket，把看過錯最少的那條線留在口袋裡。
#classification
8 篇文章雜訊與誤差衡量：目標有雜訊、錯誤有輕重時怎麼學｜台大林軒田 機器學習基石 第 8 堂
這堂課把固定的目標函數換成目標分布 P(y|x)：只要 (x, y) 是從同一個聯合分布獨立抽出來的，VC bound 在有雜訊時照樣成立。誤差衡量 err 和 P(y|x) 一起決定每個 x 上最理想的預測，0/1 誤差選機率最大的 y，平方誤差選加權平均。CIA 指紋辨識把誤放罰 1000 倍，這種加權分類等於把 −1 的資料複製 1000 次再做一般分類。
非線性轉換：用特徵轉換畫出曲線邊界的代價｜台大林軒田 機器學習基石 第 12 堂
資料用直線切不開時，不必重新設計演算法：先用特徵轉換 Φ 把 x 換成 z，在 Z 空間照常跑線性模型，Z 空間的直線就是 X 空間的二次或更高次曲線。Q 次多項式轉換會把維度拉到 d̃ = C(Q+d, d) − 1，計算、儲存與 VC 維度（至多 d̃+1）都跟著漲，所以這堂課的結論是先試線性模型，不夠再往高次走。
線性分類模型：三種誤差、SGD 與多類別｜台大林軒田 機器學習基石 第 11 堂
PLA、線性迴歸、邏輯迴歸都先算分數 s = wᵀx，三種誤差都能寫成 ys 的函數。平方誤差與換成 log₂ 的 cross-entropy 都壓在 0/1 誤差上面，所以把迴歸的 E_in 做小，分類的 E_out 也跟著有保證。接著把梯度裡的 N 筆平均換成隨機抽一筆，得到每步 O(1) 的 SGD；再用 OVA（K 個分類器、取分數最高）與 OVO（K(K−1)/2 個分類器、投票）把二元分類器組成多類別分類器。
分類、生成式分類器、logistic regression、ROC｜Berkeley CS189 第 11–12 堂
CS189 Spring 2026 Lec 11–12 把分類拆成兩條路：生成式先為每一類建 p(x|y)（GDA：共變異數相同得 LDA、線性邊界，不同得 QDA、二次邊界），判別式直接建 p(y|x)（logistic regression：sigmoid、softmax、交叉熵 MLE，沒有封閉解要靠梯度下降）。兩者的橋是：LDA 的後驗一定能寫成 logistic 形式，反過來不成立。評估方面，準確率在類別不平衡時會騙人，ROC／AUC 掃過所有門檻、不看校準，PR 曲線則在意類別比例。
Probabilistic Generative Models，Naive Bayes 與 Gaussian Discriminant Analysis｜CMU 07-380 第 9 堂
Lecture 9 不再直接學 p(y|x)，改成先學類別先驗 p(y) 和類別條件分佈 p(x|y)，再用 Bayes rule 反推。這樣做要付出更強的假設，換來的是能生成新資料、資料少時比較穩。Naive Bayes 用條件獨立把參數砍到可估計，GDA 用多變量高斯處理連續特徵，共變異數一不一樣決定邊界是直線還是曲線。
分類與偏差—變異，兩種不確定性怎麼分｜Harvard CS181 作業 2
CS181 Spring 2026 的 HW2（due 2/27）共四題 90 分：用行星觀測資料訓練 10 個 logistic 模型看偏差與變異、推導生成式分類的 MLE、在 27 筆貸款申請資料上實作五種分類器，再用 SGD／Momentum／Adam 看 ridge 怎麼改變損失地形。核心是分清「模型給的機率」和「10 個模型彼此不一致」這兩種不確定性。
Logistic Regression 如何把分類改寫成機率估計｜CMU 07-280 第 9 堂
Lecture 9 不直接預測 0 或 1，而以 sigmoid 建模 P(y=1|x)，再用 cross-entropy 與凸最佳化學出參數；多類別版本自然延伸成 softmax regression。