聯合分布題最常錯在漏格。你看到題目問 P(X + Y = 1),很容易只想到 (1,0),忘記 (0,1) 也會讓 X + Y 等於 1。PMF 轉換題真正卡住的地方,通常是原本所有可能的格子沒有列乾淨。
joint PMF 可以想成一張機率表。每一格是一組 (x, y) 的機率。邊際分布是沿著列或欄加總;條件分布是先固定某個條件,再在剩下的格子裡重新標準化;變數轉換則是把舊表格依照新變數的值重新分組。
三個動作:加總、限縮、重分組
若有 joint PMF p(x, y),X 的邊際分布是:
pX(x) = sum_y p(x, y)
意思是固定 x,把所有可能的 y 加起來。Y 的邊際分布則是:
pY(y) = sum_x p(x, y)
條件分布是:
p(x | y) = p(x, y) / pY(y)
分母是在提醒你:既然已經知道 Y = y,就只在這個條件留下的世界裡重新分配機率。
如果新變數 Z = g(X, Y),那 Z 的 PMF 是:
pZ(z) = sum over all (x, y) where g(x, y) = z of p(x, y)
白話說,就是找出哪些原始格子會被映到同一個 z,再把那些格子的機率加起來。
手算例題:2x2 joint PMF
假設 X 和 Y 都只會取 0 或 1,joint PMF 如下:
| X | Y | P(X, Y) |
|---|---|---|
| 0 | 0 | 0.10 |
| 0 | 1 | 0.20 |
| 1 | 0 | 0.30 |
| 1 | 1 | 0.40 |
第一件事先檢查總和:
0.10 + 0.20 + 0.30 + 0.40 = 1
這是合法 PMF。
接著算 X 的邊際分布。固定 X = 0,把 Y = 0 和 Y = 1 加起來:
P(X = 0) = 0.10 + 0.20 = 0.30
固定 X = 1:
P(X = 1) = 0.30 + 0.40 = 0.70
再算一個條件機率。若題目問 P(X = 1 | Y = 1),先找分子:
P(X = 1, Y = 1) = 0.40
再找分母:
P(Y = 1) = 0.20 + 0.40 = 0.60
所以:
P(X = 1 | Y = 1) = 0.40 / 0.60 = 2/3
變數轉換:Z = X + Y
現在定義新變數:
Z = X + Y
Z 可能取 0、1、2。逐一列出來源格子:
Z = 0: (X, Y) = (0, 0)
Z = 1: (X, Y) = (1, 0), (0, 1)
Z = 2: (X, Y) = (1, 1)
因此:
P(Z = 0) = P(0, 0) = 0.10
P(Z = 1) = P(1, 0) + P(0, 1) = 0.30 + 0.20 = 0.50
P(Z = 2) = P(1, 1) = 0.40
最後再檢查:
0.10 + 0.50 + 0.40 = 1
這個檢查很重要。PMF 轉換題如果漏格,總和常常不會是 1。考場上就算時間很趕,也要留 10 秒做這一步。
這在 ML / AI 哪裡會用到
很多 probabilistic model 都在操作 joint probability。Naive Bayes 會把 label 和 features 的 joint probability 拆開近似;HMM 會處理看得見的 observation 和看不見的 hidden state;topic model 也會在文件、主題、詞之間建立機率關係。
ML 評估裡也常有類似結構。你可能同時記錄「資料來源」與「模型是否答對」,這就是一張 joint table。你可以邊際化掉資料來源,只看整體 accuracy;也可以固定某個來源,檢查該來源下的錯誤率。若你只看總分,可能會漏掉某一群資料表現特別差。
LLM 應用也一樣。假設你關心「檢索是否命中」和「回答是否正確」,兩者形成四格表:命中且正確、命中但錯、未命中卻正確、未命中且錯。這張表比單一 accuracy 更能告訴你系統哪裡壞。
常見錯誤
- 沒列完整
(x, y)組合就開始加總。 - 算
P(X = 1 | Y = 1)時,分母用錯成P(X = 1)。 - 變數轉換時漏掉映到同一個新值的其他格子。
- 算完 PMF 沒檢查非負與總和為 1。
- 把 joint probability、marginal probability、conditional probability 混在同一句解釋裡。
練習題
- 自己畫一張 2x2 joint PMF 表,確認四格機率總和為 1。
- 由 joint PMF 算出
P(X = 0)、P(X = 1)、P(Y = 0)、P(Y = 1)。 - 令
Z = X + Y,列出每個z對應哪些(x, y)格子。 - 設計一個 retrieval 系統的四格表:檢索命中與否、回答正確與否,說明每格代表什麼。
下一篇怎麼接
第一層的統計工具到這裡已經足夠讀大部分入門考題。下一篇會回到台大資管 114–115 的考古題入口,示範如何拆題,而不是把兩年題目誤當成完整命題範圍。
章節級參考對照
- OpenIntro / OpenStax:joint PMF、marginal distribution、conditional probability 與離散變數轉換。
- Stanford CS109:離散機率表、random variables 與 probabilistic model 語感。
- scikit-learn:Naive Bayes、分類模型與錯誤分析表格。
參考資料
Loading...