樣本、統計量、抽樣分布三者怎麼分清楚？

TL;DR 樣本是資料，統計量是樣本的函數，抽樣分布是統計量在重複抽樣下的分布；這三者分清楚，推論公式才會有意義。

English version

第二層從一個很容易混淆的地方開始：樣本、統計量、抽樣分布。第一層你已經會用樣本平均、樣本比例、標準誤、信賴區間和檢定。現在要回頭問：這些從樣本算出來的數字，為什麼可以拿來推母體？

先把三個詞分開。

sample: 你這次拿到的資料
statistic: 用樣本算出來的函數
sampling distribution: 重複抽樣時，統計量本身會形成的分布

很多錯誤都來自把第三個和第一個混在一起。你手上的資料有一個分布；如果你重複抽樣很多次，每次都算樣本平均，這些樣本平均也會有自己的分布。後者才是抽樣分布。

iid 是什麼意思

數理推導常先假設：

X1, X2, ..., Xn are iid

independent 表示每筆樣本之間沒有互相影響。identically distributed 表示每筆樣本來自同一個分布。

這兩個條件都很強。若你抽的是同一位使用者一天內連續 20 次點擊，資料可能不獨立。若你把平日和週末、台灣和海外、舊版產品和新版產品混在一起，資料也未必同分布。

考試常在乾淨設定下給 iid，讓你推公式。實務上要多問一句：資料收集方式有沒有破壞這個假設？

統計量只吃樣本，不吃未知參數。樣本平均就是最熟悉的例子：

xbar = (X1 + X2 + ... + Xn) / n

樣本比例也是統計量。樣本變異數、最大值、最小值、中位數、validation accuracy，也都是統計量。它們都可以從樣本資料直接算出來。

若 E[Xi] = mu、Var(Xi) = sigma^2，樣本平均有兩個重要性質：

E[xbar] = mu
Var(xbar) = sigma^2 / n

第一行說樣本平均長期平均會對準母體平均。第二行說樣本數越大，樣本平均的波動越小。標準誤就是：

SE(xbar) = sigma / sqrt(n)

這個 SE 描述的是樣本平均的波動，不是單筆資料的標準差。

假設單筆觀測值的標準差是 10，每次抽 25 筆來估母體平均。樣本平均的標準誤是：

SE = 10 / sqrt(25) = 2

這句話的意思不是每筆資料大約差 2。單筆資料的典型波動尺度仍然是 10。變小的是「25 筆平均起來」之後的波動。

若樣本數改成 100：

SE = 10 / sqrt(100) = 1

樣本數變成 4 倍，標準誤變成一半。這是很多信賴區間和檢定題的底層直覺：更多資料不會讓世界失去變異，它會讓估計量本身比較穩。

模型評估指標也是統計量。你用 1,000 筆測試資料算 accuracy，得到 0.84；這個 0.84 是測試集這個樣本上的統計量。換一批測試資料，accuracy 可能會變。

average loss 也是同樣概念。訓練時看到的 mini-batch loss，是用一小批樣本估整體 loss。batch size 小時，loss 曲線會抖；batch size 大時，估計比較穩，但計算成本上升。

這也是 benchmark 報告需要不確定性資訊的原因。單一分數是統計量，不是模型能力的永久標籤。要比較模型，後面必須接信賴區間、bootstrap、paired evaluation 或其他不確定性處理。

這篇先把統計量的角色釐清。下一篇會更細地看抽樣分布：樣本平均、樣本比例、樣本變異數各自接到哪些分布，考試又會怎麼利用這些結果。