深度學習：預訓練、autoencoder 與 PCA｜台大林軒田 機器學習技法 第 13 堂
網路疊深之後，每一層只要做一點事，但結構、模型複雜度、最佳化與計算量都變難。這堂課挑初始化與正則化兩件事來講：用 d—d̃—d 的 autoencoder 一層一層預訓練權重，讓每一層先學會保留資訊的編碼；在輸入加人工雜訊訓練，當成一種正則化；最後把 autoencoder 換成線性的，推出最佳的 W 就是 XᵀX 最大的 d̃ 個 eigenvector，資料先減平均就是 PCA。
#pca
6 篇文章EM 演算法與 PCA：下界怎麼保證概似不下降｜Stanford CS229 第 10 堂
前半堂用 Jensen 不等式替對數概似造出下界 ELBO，把 Q 取成後驗機率讓下界在目前參數緊貼，推出每一輪 EM 都不會讓概似下降，套回高斯混合就得到上一堂的加權平均公式。後半堂把 PCA 寫成在單位向量上最大化 uᵀΣu，答案是共變異數矩陣最大特徵值對應的特徵向量。
Optimization，自己寫 LP 求解器和 branch and bound，書面串起 PCA 與 MAP｜CMU 07-380 作業 3
HW3 分三塊：程式作業要你用頂點枚舉寫出 LP 求解器，再在上面疊 branch and bound 解整數規劃，外加三題文字建模；書面四題分別是整數規劃手算、Amazon 送貨路線的倫理、PCA 的 SVD 計算，以及證明 Laplace 先驗等價 L1。截止日是 10/1，本文只講結構和需要的概念，不給解答。
Low Rank Optimization，PCA 的重建誤差、投影變異數與 LoRA｜CMU 07-380 第 7 堂
07-380 Lec7 把 PCA 放進「低秩最佳化」的框架：找一個 rank 不超過 r 的矩陣去逼近原資料。對單位向量 v，每個點的重建誤差等於 ‖x‖² 減去投影長度的平方，所以最小化重建誤差和最大化投影變異數是同一個問題；用 Lagrange 乘數解出來，答案是共變異數矩陣的特徵向量，也可以直接從 SVD 的 V 讀出。課站把 LoRA 論文列為延伸閱讀，它的 ΔW = BA 就是同一個低秩想法用在權重更新上。
（上）：K-means、HAC 與 PCA，沒有標籤時怎麼整理手寫數字｜Harvard CS181 作業 5／第 1 部分
HW5 的 Problem 3–4 把手寫數字丟給三種不看標籤的方法：K-means 用 10 個平均影像代表整批資料，HAC 用合併樹給出任意群數，PCA 用幾個連續方向壓縮影像。三者都在回答「用少量東西描述資料，誤差多大」，作業要你把它們的目標函數與重建誤差放在一起比。
用 Ensembles、k-Means、PCA 與推薦系統收束全課｜CMU 10-301 作業 9
最後一份 written 作業把 ensemble、clustering、representation 與 recommendation 並列，驗收你能否按問題結構選學習典範。