遷移學習（資料篇）：把生成模型當成可以操作的資料｜MIT 6.7960 第 19 堂
生成模型加上它的潛在空間可以當成一份能操作的資料：沿潛在方向移動可以產生反事實影像、少量人工標註可以擴成整份分割資料集（一張標註過的 GAN 影像約抵 100 張一般標註影像）。但用生成資料訓練表示目前仍輸給真實資料（課堂引的數字是 42.6% 對 43.9%），而且稀有類別正好是生成模型最不可靠的地方。
#generative-models
11 篇文章高斯判別分析與 Naive Bayes：先學每一類長什麼樣，再用貝氏定理分類｜Stanford CS229 第 5 堂
第 5 堂把分類問題反過來做：不直接學 p(y|x)，改學 p(x|y) 與 p(y)。GDA 假設兩類是共用共變異數的高斯，最大概似估計只要數比例、取平均，決策邊界推出來是一條直線，事後機率剛好是 sigmoid；Naive Bayes 用條件獨立把 2^d 個參數壓到 2d+1 個。
擴散模型：加噪的過程要怎麼倒著學回來｜Stanford CS229 第 11 堂
前向過程每一步把資料乘上 √(1−β_t) 再加變異數 β_t 的高斯雜訊，展開後 x_t = √ᾱ_t·x_0 + √(1−ᾱ_t)·ε̂_t，不必學。反向用高斯 p_θ(x_{t−1}|x_t) 去學，把上一堂的 ELBO 套在整條軌跡上，再用 KL 連鎖律拆開，每一步的損失是 ‖μ̃_t(x_t,x_0) − μ_θ(x_t,t)‖²/(2β̃_t)。這堂停在這個式子，化簡成預測雜訊留到第 12 堂。
生成模型（二）——Diffusion 為什麼加噪再去噪就能生成圖片｜Stanford CS231N 第 14 堂
CS231N Spring 2026 的 diffusion 講次沒有從 DDPM 的數學開始，而是先說「這個領域的術語和符號一團亂」，然後只教一個乾淨的現代版本：rectified flow。訓練時在資料和雜訊之間取一個點，讓網路預測從資料指向雜訊的速度；生成時從雜訊出發，往反方向走約 50 步。接著一路疊上實務零件：classifier-free guidance、偏重中間雜訊的排程、在 VAE latent 上做 diffusion、用 Transformer（DiT）當去噪器、蒸餾減少步數。最後才把 VP、VE、ε／v 預測收進一個「廣義 diffusion」框架，並交代 latent variable、score function、SDE 三種數學觀點。
生成模型（一）——自迴歸、VAE 與 GAN 各自在最佳化什麼｜Stanford CS231N 第 13 堂
CS231N Spring 2026 的生成模型第一講，先把「判別模型學 p(y|x)、生成模型學 p(x)」講清楚：所有可能的圖片要搶同一份機率質量，所以生成模型能拒絕不合理的輸入。接著用一張分類圖把生成模型分成「算得出 p(x)」和「只能取樣」兩群，再依序講兩個算得出（或近似算得出）的：自迴歸模型用鏈鎖律把 p(x) 拆成逐步預測，太慢是它在原始像素上的死穴；VAE 算不出 p(x)，改成最大化它的下界 ELBO，重建項和先驗項會互相拉扯。課表把 GAN 列在這一講，但 2026 與 2025 的投影片都把 GAN 放到下一講開頭，本文一併整理，讓三種範式在同一篇對照。
台大李宏毅 ML 2026 導讀：HW9 Flow Matching——從 VAE 走到 MeanFlow，再用一個 Swiss roll 比推論步數｜台大李宏毅 機器學習 主題單元
HW9 共 19 題、10 分，只在 NTU COOL 作答、不交程式。前 16 題讀四篇論文：DDPM、Flow Matching、Rectified Flow、MeanFlow，最後幾題要你橫向比較訓練訊號與少步生成；後 3 題要跑 Colab：在 2D Swiss roll 上訓練兩個小 MLP，一個是學瞬時速度的 Flow Matching（固定用 Euler 50 步評估，Histogram JS ≤ 0.10 才算收斂），一個是學平均速度的 MeanFlow（固定 1 步生成，≤ 0.40），再比較 1 步對 1 步、Euler 不同步數、Euler 與 RK4 在相同步數與相近算力下的差別。作業 PDF 附了一份省略大部分數學的生成模型教學，題目中英雙語全部公開；校外拿不到的只有 COOL 上的評分與解答。
Chatbot Arena 論文題、回歸、MLE/MAP、GMM 到 flow matching｜Berkeley CS189 作業 2
HW2 是一份純書面作業，共 10 題。前半練讀論文（Chatbot Arena）和回歸、MLE/MAP 的基本推導，後半兩大題最重：Mixed Feelings 從 k-means 對離群值的脆弱一路推到 robust k-means 和加了均勻背景的 GMM；Watch Me Flow Dat 證明 conditional flow matching 和離散化後的 MLE 是同一個目標。題目 PDF 和 LaTeX 範本都能匿名下載，沒有官方解答。
Probabilistic Generative Models，Naive Bayes 與 Gaussian Discriminant Analysis｜CMU 07-380 第 9 堂
Lecture 9 不再直接學 p(y|x)，改成先學類別先驗 p(y) 和類別條件分佈 p(x|y)，再用 Bayes rule 反推。這樣做要付出更強的假設，換來的是能生成新資料、資料少時比較穩。Naive Bayes 用條件獨立把參數砍到可估計，GDA 用多變量高斯處理連續特徵，共變異數一不一樣決定邊界是直線還是曲線。
（中）：Autoencoder 為何不能生成，VAE 補了什麼｜Harvard CS181 作業 4／第 2 部分
HW4 Problem 2 先在 CelebA 64×64 上訓練卷積 autoencoder，再讓你從 N(0, I) 隨機取樣，看它生不出臉；接著推 ELBO、reparameterization 與封閉形式 KL，最後把同一個骨幹改成 VAE，比較兩者的重建與取樣。
（下）：SimCLR 對比學習與 GAN，不靠標籤學表示、不靠似然做生成｜Harvard CS181 作業 5／第 3 部分
HW5 的 Problem 1–2 都是「把學習變成分類題」：SimCLR 的 NT-Xent 損失是在 2N−1 個候選裡找出同一張圖的另一個增強版本，GAN 的判別器是在分真假。作業要你推出這兩件事的數學（交叉熵等價、最佳判別器與 JS divergence），再在 FashionMNIST 與 MNIST 上把兩套訓練迴圈寫出來。
（一）：自迴歸模型的解碼、KV Cache 與 Speculative Decoding｜Harvard CS181 作業 6
HW6 Problem 4（20 分）用三個問題拆解「一個 token 接一個 token 生成」的代價：逐步挑最大機率不等於整句最可能、每步重算所有 key 讓成本變成平方級而 KV cache 把它壓回線性、speculative decoding 用小模型先猜再讓大模型一次驗證。全部是紙筆題，但每一題都對應到今天 LLM 推論系統的真實設計。