機器學習在學什麼：監督式、非監督式與強化學習｜Stanford CS229 第 1 堂
CS229 Spring 2026 的開場課只有 37 分鐘、沒有推導。它用 Tom Mitchell 的「經驗 E、任務 T、衡量 P」定義機器學習，再把整門課分成監督式、非監督式、強化學習三類，三者的差別在於資料裡有沒有答案、資料是不是模型自己收集來的。大型語言模型在這個分類裡同時出現三次。
#unsupervised-learning
5 篇文章k-means 與高斯混合模型：沒有標籤時怎麼分群｜Stanford CS229 第 9 堂
第 9 堂從 k-means 的「指派、取平均」兩步出發，說明它為何一定停下來卻只保證到局部最佳；接著把硬指派換成機率，得到高斯混合模型與 EM 的 E-step（貝氏定理）和 M-step（加權平均）。最後用 Jensen 不等式畫出 EM 的圖像：每一輪造一條貼著 log-likelihood 的下界再爬到頂，完整推導留到第 10 堂。
EM 演算法與 PCA：下界怎麼保證概似不下降｜Stanford CS229 第 10 堂
前半堂用 Jensen 不等式替對數概似造出下界 ELBO，把 Q 取成後驗機率讓下界在目前參數緊貼，推出每一輪 EM 都不會讓概似下降，套回高斯混合就得到上一堂的加權平均公式。後半堂把 PCA 寫成在單位向量上最大化 uᵀΣu，答案是共變異數矩陣最大特徵值對應的特徵向量。
K-means、機率複習、MLE、多變量高斯與 GMM｜Berkeley CS189 第 4–7 堂
CS189 Spring 2026 第 4–7 講用一條線串起非監督式學習：先用 K-means 分群，指出它的弱點（硬指派、沒有機率框架、只適合體積相近的圓形群），再複習機率、引入最大概似估計（MLE）與多變量高斯，最後把 K-means 改寫成高斯混合模型（GMM）。GMM 的 log-likelihood 沒有封閉解，這個缺口正好把課程帶向梯度下降。四講都有投影片與影片，Discussion 2–3 附解答與 walkthrough。
（上）：K-means、HAC 與 PCA，沒有標籤時怎麼整理手寫數字｜Harvard CS181 作業 5／第 1 部分
HW5 的 Problem 3–4 把手寫數字丟給三種不看標籤的方法：K-means 用 10 個平均影像代表整批資料，HAC 用合併樹給出任意群數，PCA 用幾個連續方向壓縮影像。三者都在回答「用少量東西描述資料，誤差多大」，作業要你把它們的目標函數與重建誤差放在一起比。