Skip to content
所有標籤

#bagging

2 篇文章
aiguide台大林軒田 機器學習基石與技法 導讀

隨機森林：Bagging 加決策樹與 out-of-bag 估計｜台大林軒田 機器學習技法 第 10 堂

隨機森林是 bagging 套在完全長成的 C&RT 上，再讓每次分支只看隨機投影出來的少數特徵。bootstrap 抽 N 次時，每筆資料約有 1/e ≈ 36.8% 的機率沒被某棵樹用到，這些 out-of-bag 資料可以直接算出 E_oob，當作不用另外切資料、不用重新訓練的驗證；再配上 permutation test 就得到每個特徵的重要度。代價是結果會隨亂數種子晃動，樹要加到 G 穩定為止。

#ntu-htlin-ml#ntu#ai-course#machine-learning#ensemble#decision-trees#bagging
aiguide台大林軒田 機器學習基石與技法 導讀

Blending 與 Bagging：把多個假說合起來為什麼更好｜台大林軒田 機器學習技法 第 7 堂

手上有 T 個假說 gₜ 時，除了用 validation 挑一個，還可以一人一票（uniform blending）、學一組票數（linear blending）或再學一個模型來組合（any blending，也叫 stacking）。這堂用一段六行的代數證明：平方誤差下，平均後的 G 不會比 gₜ 的平均表現差，差距就是 gₜ 之間的分散程度，也就是 variance。最後用 bootstrap 從唯一一份資料重抽出 T 份，各訓練一個 gₜ 再投票，就是 bagging。

#ntu-htlin-ml#ntu#ai-course#machine-learning#ensemble#bagging