隨機森林是 bagging 套在完全長成的 C&RT 上，再讓每次分支只看隨機投影出來的少數特徵。bootstrap 抽 N 次時，每筆資料約有 1/e ≈ 36.8% 的機率沒被某棵樹用到，這些 out-of-bag 資料可以直接算出 E_oob，當作不用另外切資料、不用重新訓練的驗證；再配上 permutation test 就得到每個特徵的重要度。代價是結果會隨亂數種子晃動，樹要加到 G 穩定為止。
AdaBoost 每一輪的權重總和，剛好是指數誤差 exp(−ys) 的總和。這堂課由此推出：基礎演算法找的 gₜ 是近似的函數梯度方向，票數 αₜ 是那個方向上的最佳步長。把指數誤差換成平方誤差，同一套推導變成「每一輪對殘差 yₙ − sₙ 做迴歸，再用單變數線性迴歸定步長」，基礎模型用砍弱的 C&RT 就是 GBDT。
決策樹是邊學邊做 conditional aggregation 的模型：每條從根到葉的路徑是一個條件，葉子是一個常數。C&RT 每次用一個 decision stump 把資料切成兩份，挑加權不純度最小的切法，切到不能再切為止；這樣長出來的樹 E_in 幾乎都是 0，所以要用「E_in 加 λ 乘葉子數」剪枝，λ 用 validation 選。同一套遞迴還能處理多類別、類別特徵與缺值。
HW4 Problem 3 用三步量化「多棵樹投票為什麼會準」：Hoeffding 界在 p=0.6 時要 B≈691 棵獨立樹才壓到 10⁻⁶；樹之間相關係數 ρ 讓集成變異數卡在 ρσ²；最後比較隨機森林的密集集成與 MoE 的稀疏路由。
Lecture 6 從 decision stump 遞迴建樹，用 entropy 衡量 label uncertainty，再以 `I(Y;W)=H(Y)-H(Y|W)`選擇分裂；這是計算可行的 greedy ERM，不是全域最佳樹保證。