清大高宏宇 NLP 導讀：Parameter-Efficient Fine-Tuning——沒有 A100 叢集，怎麼微調大模型｜清大高宏宇 自然語言處理 主題單元
高宏宇 Fall 2025 的 PEFT 投影片先算一筆帳：Llama 2-7B 用 16-bit 全參數微調約要 56GB 顯示卡記憶體，只訓練 0.2M 個參數就降到約 17GB，因為梯度和優化器狀態幾乎歸零。接著用 intrinsic dimensionality 解釋為什麼只調一小撮參數就夠：預訓練越久、模型越大，微調需要的有效維度越低。方法分成加參數（Adapters、Prompt Tuning）、挑參數（BitFit）、重參數化（LoRA）與混合（MAM Adapters、S4）四類；後半段從 GPT-2 的任務描述、verbalizer 一路講到 prefix tuning 和 soft prompt tuning 的取捨。