Metrized Deep Learning：替整個網路的權重找一把合用的尺｜MIT 6.7960 第 23 堂
梯度下降等於假定權重空間是歐氏的，而神經網路多半不是。Bernstein 的做法是替每一層選一個範數（線性層用依形狀縮放的譜範數），再用兩條組合規則算出整個網路的範數；用它正規化更新，最佳學習率就不隨寬度與深度漂移。把同一個想法推到對偶映射，線性層的更新變成「把梯度的奇異值全設為 1」，這也是當時 nanoGPT 訓練速度紀錄用的做法。
梯度下降等於假定權重空間是歐氏的，而神經網路多半不是。Bernstein 的做法是替每一層選一個範數（線性層用依形狀縮放的譜範數），再用兩條組合規則算出整個網路的範數；用它正規化更新，最佳學習率就不隨寬度與深度漂移。把同一個想法推到對偶映射，線性層的更新變成「把梯度的奇異值全設為 1」，這也是當時 nanoGPT 訓練速度紀錄用的做法。