#inductive-bias

泛化理論：容量大到能背下整份資料，為什麼深度網路還是沒有背答案｜MIT 6.7960 第 6 堂

參數數量與 VC 維度都解釋不了深度網路的泛化：網路能把隨機標籤背到 100%，VC 界因此變成沒有資訊的空話；參數加到超過插值門檻後測試誤差反而再降一次。Isola 的解釋是「擬合資料以外還有別的壓力」，他認為最重要的是架構內建的對稱性與組合性。這個問題到現在還沒有定論。