Low Rank Optimization，PCA 的重建誤差、投影變異數與 LoRA｜CMU 07-380 第 7 堂
07-380 Lec7 把 PCA 放進「低秩最佳化」的框架：找一個 rank 不超過 r 的矩陣去逼近原資料。對單位向量 v，每個點的重建誤差等於 ‖x‖² 減去投影長度的平方，所以最小化重建誤差和最大化投影變異數是同一個問題；用 Lagrange 乘數解出來，答案是共變異數矩陣的特徵向量，也可以直接從 SVD 的 V 讀出。課站把 LoRA 論文列為延伸閱讀，它的 ΔW = BA 就是同一個低秩想法用在權重更新上。