遷移學習（資料篇）：把生成模型當成可以操作的資料｜MIT 6.7960 第 19 堂
生成模型加上它的潛在空間可以當成一份能操作的資料：沿潛在方向移動可以產生反事實影像、少量人工標註可以擴成整份分割資料集（一張標註過的 GAN 影像約抵 100 張一般標註影像）。但用生成資料訓練表示目前仍輸給真實資料（課堂引的數字是 42.6% 對 43.9%），而且稀有類別正好是生成模型最不可靠的地方。
#transfer-learning
5 篇文章訓練 CNN 與經典架構——正規化、初始化、遷移學習與 VGG 到 ResNet｜Stanford CS231N 第 6 堂
CS231N 第 6 講的 2026 投影片標題是「Training CNNs and CNN Architectures」，分成「怎麼搭」和「怎麼訓練」兩半。架構只細講兩個：VGG 證明三層 3×3 卷積比一層 7×7 更深、參數更少；ResNet 讓層去學殘差 F(x) = H(x) − x，解決深網路連訓練誤差都更差的最佳化問題。訓練那半最實用的是遷移學習：資料不到約一百萬張，就先找大資料集上的預訓練模型。
裝置端訓練：梯度會洩漏資料，activation 才是記憶體殺手｜MIT 6.5940 第 21 堂
在裝置上訓練有兩個理由：模型要跟著使用者的新資料調整，資料又不該離開裝置。L21 先證明「只分享梯度」也不安全：Deep Leakage from Gradients 能從梯度還原出原圖和原句。接著處理記憶體：訓練比推論貴，是因為要存 activation，不是參數。TinyTL 只調 bias 再加輕量殘差，省 6.5 倍記憶體；SparseBP 只更新重要的層與通道；QAS 讓真正的 int8 訓練追上 fp32；PockEngine 在編譯期做完 autodiff，最後在 256KB 的 MCU 上把訓練記憶體壓到 141KB。
遷移學習（Transfer Learning）—— 預訓練、特徵抽取、與微調策略｜MIT 6.7960 第 18 堂
遷移學習的核心是『在大資料上學到的特徵是好的通用表示』：下游任務資料少時，把 backbone 凍住只訓練線性 head；資料夠就全模型微調；想省算力就上 LoRA / adapter。SimCLR、MAE 這類自督導預訓練讓『上游不需要標籤』，下游表現又上一層樓。
Pre-training、Transfer Learning 與 Fine-tuning 的分工｜CMU 07-280 第 15 堂
Lecture 15 將 pretrained model 拆成 representation g 與 task head h：可以凍結 g 只訓練 head，也能用較小 learning rate fine-tune 部分或全部參數；選擇取決於資料量與 source-target 差距。