Skip to content
所有標籤

#cs109

23 篇文章

What is Probability?:先把隨機問題列成結果集合,再談事件的機率。|Stanford CS109 第 1 堂

先把隨機問題列成結果集合,再談事件的機率。

Conditional Probability:條件不是裝飾,而是把樣本空間縮到已知資訊仍允許的部分。|Stanford CS109 第 2 堂

條件不是裝飾,而是把樣本空間縮到已知資訊仍允許的部分。

Bayes Theorem:Bayes 定理把容易建模的生成方向,翻成真正想問的推論方向。|Stanford CS109 第 3 堂

Bayes 定理把容易建模的生成方向,翻成真正想問的推論方向。

Counting and Combinatorics:先判斷順序是否重要、元素能否重複,公式才不會套錯。|Stanford CS109 第 4 堂

先判斷順序是否重要、元素能否重複,公式才不會套錯。

Random Variables and Expectation:隨機變數是把結果映成數字;期望值是加權平均,不保證會真的出現。|Stanford CS109 第 5 堂

隨機變數是把結果映成數字;期望值是加權平均,不保證會真的出現。

Moments:期望值、LOTUS 與線性性|Stanford CS109 第 6 堂

期望值把分布壓成加權平均;LOTUS 處理變換後的值,linearity 則讓隨機變數的和即使不獨立也能直接計算。

Variance 與 Poisson:從分散程度到稀有事件計數|Stanford CS109 第 7 堂

先用 variance 描述隨機變數的分散程度,再用 Poisson 處理固定區間內的事件數,以及大 n、小 p 的二項近似。

Continuous Random Variables:PDF、CDF、Uniform 與 Exponential|Stanford CS109 第 8 堂

連續變數的單點機率為零,區間機率是 PDF 面積;CDF、Uniform 與 Exponential 則把面積、等待時間與 memorylessness 串起來。

Normal Distribution:標準化、Φ 與 continuity correction|Stanford CS109 第 9 堂

標準化把不同尺度的 Normal 變數轉成 Z;Φ、線性轉換與 continuity correction 再把區間與大型 binomial 變成可計算的機率。

Probabilistic Models:joint、marginal、independence 與 Bayes|Stanford CS109 第 10 堂

Joint distribution 保存多個變數的完整關係;marginal、conditional、independence 與 Bayes 都是從這份關係表取出不同問題的答案。

Inference:prior × likelihood → normalize|Stanford CS109 第 11 堂

Inference 把 hidden variable 的 prior 逐項乘上 observation likelihood,再正規化成 posterior;同一迴圈可處理多次觀察與離散化的連續 belief。

General Inference:Bayesian networks、sampling 與 rare evidence|Stanford CS109 第 12 堂

Bayesian network 用 conditional independence 分解巨大 joint;ancestral sampling 生成 joint samples,rejection sampling 再以 evidence 篩出 conditional。

Multinomial:多類別計數、bag of words 與 log probability|Stanford CS109 第 13 堂

Multinomial 把 binomial 的兩類計數推廣到多類;同一 PMF 也能把文件視為 word counts,配 Bayes 與 log-score 做 authorship inference。

Beta:把未知 probability 變成可更新的 random variable|Stanford CS109 第 14 堂

Beta distribution 表示對未知成功率的完整 belief;success/failure data 只需更新兩個參數,便能取得 posterior、平滑估計與 Thompson-sampling decision。

Adding Random Variables 與 Central Limit Theorem|Stanford CS109 第 15 堂

少數分布的 independent sums 有 closed form;一般 IID sums 則由 CLT 在大樣本下近似 Normal,離散 sums 還需 continuity correction。

Bootstrapping:sampling statistics、error bars 與 p-values|Stanford CS109 第 16 堂

Bootstrap 把 sample histogram 當作 population proxy,以 replacement 重抽並重算 statistic,近似 estimator 的 sampling distribution、error bar 與 null p-value。

Algorithmic Analysis:conditional expectation、indicators 與 recursion|Stanford CS109 第 17 堂

隨機程式的 expected cost 可依第一個 random choice 分情境;計數問題則拆成 indicators,兩者都靠 linearity,而不必硬求完整 distribution。

Information Theory:surprise、entropy、information gain 與 KL|Stanford CS109 第 18 堂

Surprise 把低機率事件轉成 bits;entropy 是 expected surprise,information gain 選擇最能降低 uncertainty 的問題,KL 則量化錯用 model distribution 的額外代價。

Maximum Likelihood Estimation:固定資料,找最能解釋資料的參數|Stanford CS109 第 19 堂

MLE 固定觀察資料、最佳化參數;log-likelihood 讓乘積變加總,但最大值也可能落在邊界。

Logistic Regression:從 Bernoulli likelihood 推出 gradient|Stanford CS109 第 20 堂

Logistic regression 用 sigmoid 把線性分數變成 Bernoulli 機率,而 gradient xⱼ(y-ŷ) 直接來自 log-likelihood 的 chain rule。

Comparing Classifiers:accuracy 之外還要問 calibration、錯誤成本與 fairness|Stanford CS109 第 21 堂

比較 classifier 不能只看 accuracy;還要用 held-out data、baseline、calibration、precision/recall 與明確的 fairness criterion。

Deep Learning:用 chain rule 推出 backpropagation|Stanford CS109 第 22 堂

Neural network 是堆疊的 logistic units;forward pass 算機率,backpropagation 重用 output error 來計算所有 gradients。

給電腦科學的機率:從計數、推論到機器學習|Stanford CS109 課程總覽

CS109 是 Stanford 給電腦科學學生的機率課:從計數、條件機率與隨機變數,走到推論、最大概似估計、邏輯迴歸與深度學習。互動式課程讀本、課堂習題與解答公開,每一講還附官方寫的 LLM 學習指南;第 15 講之後的投影片、作業系統與錄影校外拿不到。