技法第 7、8 講是 aggregation 模型的入口。T7 先把「組合多個假說」排成 uniform、linear、any（stacking）三種 blending，用一行代數證明 uniform blending 降低的是 variance，再用 bootstrap 在手上唯一一份資料裡造出多樣的 g_t，就是 bagging。T8 把 bootstrap 重新解讀成「替樣本加權」，改成專挑上一輪答錯的樣本加重，讓下一個假說被迫不同，再用 α_t = ln √((1−ε_t)/ε_t) 當投票權，這就是 AdaBoost。練習用 Fall 2024 HW6 Q4、Q9 與 HW7 的 bootstrap、AdaBoost 證明題和 madelon 上 500 輪的 AdaBoost-Stump 實驗；沒有官方解答。
技法第 9–11 講用「樹＋aggregation」一條線串起三種模型。T9 把決策樹看成 conditional aggregation，講 C&RT 的二元分支、Gini 與迴歸誤差、剪枝、類別特徵與 surrogate branch。T10 把 bagging 套在完全長大的樹上，加上隨機子空間與隨機投影就是隨機森林，順帶得到免費的 OOB 驗證與 permutation 特徵重要度。T11 先把 AdaBoost 重新推導成對指數誤差做函數空間的最速下降，再把誤差換成平方誤差，得到「對殘差做迴歸」的 GBDT。練習用 Fall 2024 HW7 的 impurity、gradient boosting 證明題；沒有官方解答。
Fall 2024 技法段有兩份作業和一個期末專題，題目 PDF 都公開。HW6 練 kernel、soft-margin SVM 與 aggregation，程式題用 LIBSVM 在 mnist.scale 的 3 對 7 子問題上數支援向量、算 margin、跑 128 次 validation。HW7 練 bootstrap、impurity、AdaBoost、gradient boosting 與神經網路，程式題是在 madelon 上實作 500 輪 AdaBoost-Stump。期末專題是虛構的 HTMLB 棒球勝負預測，分兩個 Kaggle stage，交一份最多 7 頁的英文報告，至少比較四種方法。沒有官方解答；Kaggle 競賽頁在 2026-09-30 未登入時回 404，校外讀者大概拿不到 HTMLB 資料，只能照同樣的切分方式換一份公開資料自評。
HW4 Problem 3 用三步量化「多棵樹投票為什麼會準」：Hoeffding 界在 p=0.6 時要 B≈691 棵獨立樹才壓到 10⁻⁶；樹之間相關係數 ρ 讓集成變異數卡在 ρσ²；最後比較隨機森林的密集集成與 MoE 的稀疏路由。
LLM Council 是 Andrej Karpathy 花一個週末做的本地 Web App，把一個問題同時丟給多個 LLM，再讓它們匿名互評，最後由 Chairman 模型綜合出一份答案。定位是讀書時比較模型用的小工具，99% vibe coded、不打算長期維護，但架構本身就是一份值得參考的 ensemble LLM 最小實作。