抽樣分配怎麼從公式變成考試可用的判斷？

TL;DR 抽樣分配描述統計量在重複抽樣下的波動；平均、比例、變異數各有常用分布，信賴區間和檢定都從這裡長出來。

English version

很多推論公式看起來像突然出現：平均數信賴區間、比例檢定、卡方檢定、t 檢定。其實它們都在回答同一個問題：如果我們重複抽樣，每次都算同一個統計量，這個統計量會怎麼分布？

抽樣分配不是你手上那批原始資料的分布。原始資料分布描述 Xi 長什麼樣；抽樣分配描述 xbar、phat、s^2 這些統計量在重複抽樣下怎麼動。這個差別一旦混掉，標準誤、p 值和信賴區間都會跟著錯。

樣本平均的抽樣分配

如果 X1, ..., Xn 是 iid，且：

E[Xi] = mu
Var(Xi) = sigma^2

樣本平均：

xbar = (X1 + ... + Xn) / n

會有：

E[xbar] = mu
Var(xbar) = sigma^2 / n
SE(xbar) = sigma / sqrt(n)

如果母體本來就是常態，xbar 也會是常態。若母體不一定常態，樣本數夠大時，中央極限定理會讓 xbar 近似常態。這就是很多平均數題能用 z 或 t 近似的原因。

比例題可以從 Bernoulli 開始看。每一筆結果是成功或失敗，成功機率是 p。樣本比例：

phat = 成功次數 / n

它的期望值和變異數是：

E[phat] = p
Var(phat) = p(1 - p) / n
SE(phat) = sqrt(p(1 - p) / n)

實務上 p 不知道，常用 phat 代入估標準誤。樣本數夠大時，phat 可以用常態近似。考試題若要比例信賴區間或比例檢定，通常就是在用這個抽樣分配。

平均和比例常用常態近似，樣本變異數則常接到 chi-square。若母體是常態分布，樣本變異數 s^2 有：

((n - 1)s^2) / sigma^2 ~ chi-square(df = n - 1)

這條式子很常出現在變異數推論。它的條件也要記住：母體常態是重要假設。若題目問變異數的信賴區間或檢定，通常會給常態母體或暗示這個設定。

假設某分類器在未來資料上的真正正確率是 p = 0.6，現在每次測試抽 n = 100 題。樣本正確率 phat 的標準誤是：

SE = sqrt(0.6 × 0.4 / 100)
   = sqrt(0.0024)
   ≈ 0.049

這表示即使真正正確率是 0.6，你一次測到 0.57 或 0.62 都不奇怪。這些數字不一定代表模型突然變好或變差，也可能只是抽樣波動。

若樣本數改成 400：

SE = sqrt(0.6 × 0.4 / 400)
   = sqrt(0.0006)
   ≈ 0.0245

樣本數變成 4 倍，標準誤大約變一半。這就是為什麼測試集大小會直接影響 benchmark 排名的可靠度。

模型評估分數有抽樣分配。accuracy、F1、win rate、平均 latency、平均人工評分，都可以視為測試資料上的統計量。你換一批測試資料，統計量就可能改變。

小型 benchmark 特別需要這個觀念。若兩個模型分數只差 1%，但測試集很小，這個差距可能落在抽樣波動裡。若任務是同一批 prompt 比較兩模型，還要進一步用成對設計或 bootstrap，而不是只拿兩個總平均相減。

抽樣分配也會影響 monitoring。線上模型每天的錯誤率上下波動，可能是資料量少造成的自然變動，也可能是真正 drift。沒有抽樣分配的概念，你會分不清警訊和噪音。

抽樣分配讓我們能描述統計量的波動。下一篇會用這個基礎正式比較估計量品質：bias、variance、MSE 和 consistency 各自檢查什麼。