Skip to content
所有標籤

#kernel-regression

2 篇文章

支援向量迴歸:把 kernel 與稀疏解帶到迴歸|台大林軒田 機器學習技法 第 6 堂

用 representer theorem 把 ridge regression 換成解 β,得到 kernel ridge regression 的解析解 β = (λI + K)⁻¹y,但 N 個 βₙ 幾乎都不是 0。把平方誤差換成 ε-insensitive 的管狀誤差,照 soft-margin SVM 的路線寫成 QP 再取對偶,就得到支援向量迴歸(SVR):對偶有 2N 個變數,嚴格落在管子裡的點 βₙ 一定是 0。

冰芯溫度迴歸 — kNN、核迴歸、基底函數與正則化四題導讀|Harvard CS181 作業 1

HW1 用 80 萬年冰芯溫度資料串起四題:kNN 與核迴歸、最小平方法的幾何證明、基底函數迴歸、以及從機率觀點推出 ridge/LASSO 正則化,最後用 coordinate descent 實作 LASSO。