Skip to content
系列
53 篇文章

從考試到 ML/AI 的統計學導讀

從台大資管統計備考出發,補齊基礎統計、統計推論與應用建模,並在每一篇說明它如何接到 ML/AI 的訓練、評估、實驗與資料工作流。

統計學從哪裡開始讀,才接得上考試和 ML/AI?

準備統計學不要從背公式開始。這篇先建立讀書順序:資料、機率、抽樣、推論、迴歸,再接到模型評估、A/B testing 與 ML/AI 的不確定性判斷。

統計學不是背公式:它到底在替你判斷什麼?

統計學的核心不是公式,而是判斷:描述資料、估計未知量、比較差異、檢查關聯,最後在不確定性下做決策。

看到一份資料,第一眼要先看哪些統計量?

資料型態決定你能用什麼統計工具。這篇從類別、數值、計數與時間資料開始,說明平均數、比例、變異數、列聯表在考題和 ML 資料檢查中的用途。

條件機率、獨立、貝氏:考題到底在換哪個視角?

機率題的難點常在視角,不在公式。這篇用事件、條件機率、獨立與 Bayes rule,說明考題如何從原因到結果、再從結果反推原因。

PMF、PDF、CDF 怎麼把機率變成可計算的題目?

隨機變數把事件結果轉成數字。這篇用 PMF、PDF、CDF 說明離散與連續機率怎麼計算,並接到模型分數、threshold 和 token 機率分布。

Bernoulli、Binomial、Normal、Poisson 什麼時候該出場?

分布不是公式清單,而是資料生成情境的名字。這篇用 Bernoulli、Binomial、Normal、Poisson 說明如何從題目敘述選分布。

期望值和變異數在考題與模型評估中各代表什麼?

期望值描述長期平均,變異數描述波動大小。這篇用離散分布算例說明 E[X]、E[X^2]、Var(X),並接到平均 loss 和模型穩定度。

為什麼只看樣本,也能推回母體或模型表現?

抽樣讓樣本統計量有波動,標準誤描述這個波動。這篇分清楚 SD、SE、抽樣分布與 CLT,並接到 benchmark 分數的不確定性。

信賴區間怎麼寫,才不是只背上下界公式?

信賴區間把點估計放回抽樣波動裡看;會寫上下界只是第一步,真正要會的是解釋標準誤、臨界值與 coverage。

假設檢定從 H0 到 p 值,到底要做哪個決策?

假設檢定是一套在不確定資料中做決策的流程:先寫 H0/H1,再用檢定統計量與 p 值判斷資料是否足夠反駁原假設。

兩組平均或比例差異,該用哪一種比較題型?

兩組比較要先判斷 outcome 是數值還是比例、兩組資料是否獨立;這一步會決定標準誤、檢定統計量與結論可信度。

卡方題怎麼判斷是在考適合度還是獨立性?

卡方檢定處理類別資料的次數差異;先分清楚一個變數對理論比例的適合度,還是兩個類別變數之間的獨立性。

多組平均不能一直 t-test:ANOVA 在保護什麼?

ANOVA 先檢查三組以上平均是否有整體差異,避免你用一堆兩兩 t 檢定把 false positive 風險一路放大。

好估計量怎麼判斷:不偏、變異、MSE 要看哪個?

估計量是用樣本推母體的計算規則;判斷它好不好,要一起看 bias、variance 與 MSE。

一條迴歸線怎麼變成預測、解釋與誤差?

簡單線性迴歸用一個 X 描述 Y 的平均變化;斜率、截距、殘差和平方誤差共同構成最小的 supervised learning 模型。

迴歸表的 coef、SE、t、F、R2 要怎麼一起讀?

迴歸表不是 p 值清單;coef、SE、t、F、R2 分別回答效果大小、不確定性、單一係數、整體模型與樣本內解釋力。

分類模型為什麼要先學 log odds?

logistic regression 把線性分數接到 0 到 1 的機率;讀懂 odds、log odds、odds ratio,才不會把分類模型係數解釋錯。

聯合分布和 PMF 轉換題,怎麼不漏格?

聯合 PMF 題要把所有格子列完;邊際化、條件機率和變數轉換,本質上都是對原始格子的加總與重新分組。

台大資管 114–115 統計考古題要怎麼拆,不要只背答案?

考古題的價值是訓練拆題紀律,不是用兩年題型猜完整範圍;每題都要回到資料型態、未知量、工具、計算與語境結論。

混合題來了,要怎麼在 30 秒內判斷工具?

考前最後階段要練的是題型辨識:先判斷資料型態、未知量與決策目標,再選公式,最後用語境結論收束。

樣本、統計量、抽樣分布三者怎麼分清楚?

樣本是資料,統計量是樣本的函數,抽樣分布是統計量在重複抽樣下的分布;這三者分清楚,推論公式才會有意義。

抽樣分配怎麼從公式變成考試可用的判斷?

抽樣分配描述統計量在重複抽樣下的波動;平均、比例、變異數各有常用分布,信賴區間和檢定都從這裡長出來。

點估計的 bias、variance、consistency 各在檢查什麼?

bias 看估計中心有沒有歪,variance 看抽樣波動,MSE 合併兩者,consistency 則問樣本變大時估計量會不會靠近真值。

Method of Moments 為什麼是用樣本矩對母體矩?

Method of Moments 用樣本矩對上理論母體矩,再解出參數;它不一定最有效率,但很適合建立參數估計的第一個直覺。

MLE 為什麼是在問:哪個參數最可能生成這批資料?

MLE 把資料固定、比較不同參數讓這批資料出現的合理程度;log likelihood 讓乘積變加總,也接上 ML 的 negative log loss。

Fisher information 怎麼告訴你參數估得穩不穩?

Fisher information 用 likelihood 的曲率衡量資料對參數的定位能力;資訊越大,MLE 的標準誤通常越小。

Likelihood ratio test 怎麼比較兩個巢狀模型?

LRT 比較受限模型和完整模型的 log likelihood 差;只有在 nested model 與近似條件成立時,常見卡方參考分布才有意義。

Neyman-Pearson 觀點在說哪一種最佳檢定?

Neyman-Pearson 把檢定看成決策規則:在固定第一型錯誤 alpha 下,選出 power 最高的拒絕區域。

信賴區間不只 t 表:一般建構到底怎麼想?

信賴區間不只 t 表:一般建構到底怎麼想? 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。

大樣本近似為什麼常能用,又什麼時候不能亂用?

大樣本近似為什麼常能用,又什麼時候不能亂用? 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。

Delta method 怎麼估 F1、ratio 這類非線性指標的不確定性?

Delta method 怎麼估 F1、ratio 這類非線性指標的不確定性? 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。

不知道公式分布時,bootstrap 怎麼用重抽樣估不確定性?

不知道公式分布時,bootstrap 怎麼用重抽樣估不確定性? 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。

Bayesian inference 怎麼把 prior、資料與 posterior 串起來?

Bayesian inference 怎麼把 prior、資料與 posterior 串起來? 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。

MAP 為什麼會把先驗變成 regularization?

MAP 為什麼會把先驗變成 regularization? 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。

估計、檢定、likelihood、Bayes 要怎麼放在同一張推論地圖?

估計、檢定、likelihood、Bayes 要怎麼放在同一張推論地圖? 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。

OLS 的假設壞掉時,迴歸線還能怎麼用?

OLS 的假設壞掉時,迴歸線還能怎麼用? 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。

Logistic regression 怎麼從機率走到 threshold 和錯誤成本?

Logistic regression 怎麼從機率走到 threshold 和錯誤成本? 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。

GLM 怎麼依資料型態選分布和 link function?

GLM 怎麼依資料型態選分布和 link function? 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。

殘差、outlier、leverage 在告訴你模型哪裡壞了?

殘差、outlier、leverage 在告訴你模型哪裡壞了? 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。

變數選擇怎麼避免把訓練資料背起來?

變數選擇怎麼避免把訓練資料背起來? 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。

Ridge、Lasso、weight decay 為什麼能讓模型穩一點?

Ridge、Lasso、weight decay 為什麼能讓模型穩一點? 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。

Nonparametric methods 少做哪些分布假設?彈性又要付出什麼代價?

Nonparametric methods 少做哪些分布假設?彈性又要付出什麼代價? 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。

實驗設計怎麼讓結果可以被解讀,而不是只像相關?

實驗設計怎麼讓結果可以被解讀,而不是只像相關? 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。

A/B testing 怎麼把產品改動變成可推論的效果?

A/B testing 怎麼把產品改動變成可推論的效果? 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。

因果推論入門:為什麼預測準不代表真的有效?

因果推論入門:為什麼預測準不代表真的有效? 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。

Matching 和 weighting 怎麼讓觀察資料比較像實驗?

Matching 和 weighting 怎麼讓觀察資料比較像實驗? 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。

時間序列為什麼不能隨機切資料?

時間序列為什麼不能隨機切資料? 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。

多變量分析怎麼整理一起變動的特徵?

多變量分析怎麼整理一起變動的特徵? 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。

缺資料不只是空格:它會怎麼扭曲統計和模型?

缺資料不只是空格:它會怎麼扭曲統計和模型? 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。

Monte Carlo 怎麼用重複模擬回答算不動的統計問題?

Monte Carlo 怎麼用重複模擬回答算不動的統計問題? 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。

統計與 ML 評估怎麼做才重跑得出同一個結論?

統計與 ML 評估怎麼做才重跑得出同一個結論? 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。

ML/AI 評估報告怎麼寫,才不只是貼排行榜分數?

ML/AI 評估報告怎麼寫,才不只是貼排行榜分數? 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。

讀完 53 篇後,怎麼把統計接到 ML、因果與數理統計?

讀完 53 篇後,怎麼把統計接到 ML、因果與數理統計? 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。