深度學習：預訓練、autoencoder 與 PCA｜台大林軒田 機器學習技法 第 13 堂
網路疊深之後，每一層只要做一點事，但結構、模型複雜度、最佳化與計算量都變難。這堂課挑初始化與正則化兩件事來講：用 d—d̃—d 的 autoencoder 一層一層預訓練權重，讓每一層先學會保留資訊的編碼；在輸入加人工雜訊訓練，當成一種正則化；最後把 autoencoder 換成線性的，推出最佳的 W 就是 XᵀX 最大的 d̃ 個 eigenvector，資料先減平均就是 PCA。
#autoencoder
2 篇文章表示學習（重建式）—— 自編碼器、VQ 與自監督｜MIT 6.7960 第 11 堂
表示學習的目標是把原始資料壓成「好用」的向量：自編碼器用重建逼出有意義的潛空間，VQ 把連續表示離散化成碼本，自監督則用『遮住一部分再重建』來免費產生監督訊號。