擴散模型：加噪的過程要怎麼倒著學回來｜Stanford CS229 第 11 堂
前向過程每一步把資料乘上 √(1−β_t) 再加變異數 β_t 的高斯雜訊，展開後 x_t = √ᾱ_t·x_0 + √(1−ᾱ_t)·ε̂_t，不必學。反向用高斯 p_θ(x_{t−1}|x_t) 去學，把上一堂的 ELBO 套在整條軌跡上，再用 KL 連鎖律拆開，每一步的損失是 ‖μ̃_t(x_t,x_0) − μ_θ(x_t,t)‖²/(2β̃_t)。這堂停在這個式子，化簡成預測雜訊留到第 12 堂。
#diffusion-model
33 篇文章擴散模型的雜訊預測損失、基礎模型與 LoRA｜Stanford CS229 第 12 堂
前半堂把擴散模型的 ELBO 收成一條式子：每個時間步都是「猜出當初加進去的雜訊」的平方誤差，訓練五步、取樣一個迴圈。後半堂開始講基礎模型：預訓練加適應的兩階段、linear probe、finetune、LP-FT，以及 LoRA 只訓練 2dr 個參數卻省不了多少運算的原因。
音訊、影片與世界模型：三份教材的閱讀入口｜CMU 10-423 主題單元
聲音表示、影片的時間關聯、動作條件的世界轉移，是三種不同學習任務。原篇把第24–26堂放一起，最後卻只有音訊練習，無法驗收另外兩堂。這個網址保留為閱讀入口；完整教學在下列第 24–26 堂各一篇，第 26 堂那篇也包含另一份對齊教材。
條件注入：attention、DiT與Q-Former怎麼分工｜CMU 10-423 主題單元
Cross-attention是讀取另一組表示的運算；DiT是擴散模型的骨幹選擇；Q-Former是用可學query抽取或橋接資訊的模組。它們可以組合，但不是三個互斥的產品。這篇只比較角色，Prompt-to-Prompt與classifier-free guidance的操作細節放回第14堂教學。
擴散模型入門：加噪為何能成為生成的訓練題｜CMU 10-423 第 7 堂
GAN 用判別器取得生成訊號，擴散模型則先定義一個會逐漸破壞資料的過程，再學習反方向的條件分佈。
DDPM 實作驗收：時間係數怎麼對上 batch｜CMU 10-423 作業 2
會抄加噪公式，還不代表 diffusion 實作正確。
擴散與VAE：機率目標相連，生成流程不同｜CMU 10-423 主題單元
擴散與VAE都能用機率模型的觀點理解，但「都有潛在變量」不代表它們是同一套生成流程。擴散把噪聲步驟串成鏈；VAE用encoder近似latent的後驗，decoder從latent重建資料。這篇是關係導覽，原第8–9堂的教學已拆成各自可檢核的內容。
Transformer Captioning、自監督學習、DDPM、CLIP 與 DINO｜Stanford CS231N 作業 3
CS231N Spring 2026 的 A3 占總成績 15%，四個 Colab notebook 把 L8、L12–L14、L16 各自落成一份實作：Q1 手寫 multi-head attention、Transformer decoder 做 COCO captioning，再組一個 ViT 在 CIFAR-10 上訓練；Q2 實作 SimCLR 的資料增強與對比損失，比較有無自監督預訓練的線性分類；Q3 寫 DDPM 的加噪、UNet、去噪損失、取樣與 classifier-free guidance，生成文字條件的 32×32 emoji；Q4 用預訓練 CLIP 做相似度、零樣本分類與檢索，再用 DINO 特徵只靠一幀標註做影片分割。本文只講題目結構、檔案與目標，不給解答。
生成模型（二）——Diffusion 為什麼加噪再去噪就能生成圖片｜Stanford CS231N 第 14 堂
CS231N Spring 2026 的 diffusion 講次沒有從 DDPM 的數學開始，而是先說「這個領域的術語和符號一團亂」，然後只教一個乾淨的現代版本：rectified flow。訓練時在資料和雜訊之間取一個點，讓網路預測從資料指向雜訊的速度；生成時從雜訊出發，往反方向走約 50 步。接著一路疊上實務零件：classifier-free guidance、偏重中間雜訊的排程、在 VAE latent 上做 diffusion、用 Transformer（DiT）當去噪器、蒸餾減少步數。最後才把 VP、VE、ε／v 預測收進一個「廣義 diffusion」框架，並交代 latent variable、score function、SDE 三種數學觀點。
用 ODE／SDE 讀懂 flow matching 與 diffusion｜MIT 6.S184 課程總覽
MIT 6.S184 是 IAP（1 月獨立活動期）的短課：5 講（第 3 講拆成 3-A、3-B 兩支錄影）、3 個 lab，加上一份 84 頁、官方稱為「課程骨幹」的講義。講義、slides、6 支錄影、lab notebook 與官方解答全部公開，是 A3 足以自學。缺的只有兩塊：lab 繳交走 Canvas 裡的 Gradescope，只有 MIT 修課生能用；第 5 講離散擴散沒有對應 lab。
模擬 ODE 與 SDE｜MIT 6.S184 實驗 1
MIT 6.S184 Lab 1 分三部分：先寫 Euler 和 Euler–Maruyama 的 step 函式，再用它們模擬 Brownian motion 與 Ornstein–Uhlenbeck 過程，觀察 σ 和 θ 怎麼決定軌跡與終點分佈，最後實作 Langevin dynamics，看一團點怎麼被推向一個五峰高斯混合，並用一段手算證明 OU 過程就是目標為高斯的 Langevin dynamics。題目、程式框架與官方解答都在 GitHub；校外讀者沒有 Gradescope 評分，只能自己對解答。
DiT、VAE 到 latent diffusion｜MIT 6.S184 實驗 3
Lab 3 在 MNIST 上從零組出一個有條件的 latent diffusion model，分四段：先用 label dropout 寫 CFG 訓練（在三群高斯混合上驗證），再一塊一塊寫 diffusion transformer（Fourier 時間嵌入、patchify、多頭注意力、adaLN-Zero、depatchify），接著寫一個 VAE，最後把 DiT 搬進 VAE 的 latent 空間訓練。題目與官方解答都公開；繳交走 Canvas 裡的 Gradescope，只有 MIT 修課生能用。
生成就是取樣，ODE 與 SDE 是機器｜MIT 6.S184 第 1 堂
MIT 6.S184 第 1 講先把「生成一張狗的圖」改寫成「從資料分佈取樣」，再給出取樣的機器：從高斯雜訊出發，沿著神經網路給的向量場模擬一條 ODE（flow model），或在每一步再加一點 Brownian motion 的雜訊，變成 SDE（diffusion model）。實際模擬各用一個最簡單的數值方法：Euler 和 Euler–Maruyama。怎麼訓練那個向量場，留到第 2 講。
Flow matching，從條件路徑學邊際向量場｜MIT 6.S184 第 2 堂
我們想學的是「邊際向量場」：沿著它跑 ODE，雜訊會流成資料。問題是它要對整個資料集積分，算不出來。Flow matching 的解法是改成回歸「條件向量場」，也就是只把雜訊推向單一資料點的那個場，這個有公式。講義 Theorem 12 證明兩個 loss 只差一個常數、梯度相同。落到 CondOT 路徑上，訓練只剩一行：取資料 z、雜訊 ε、時間 t，讓網路在 tz+(1−t)ε 這個點預測 z−ε。
A：分數函數、SDE 取樣與 score matching｜MIT 6.S184 第 3 堂
分數函數是 log 密度的梯度，指向機率上升最快的方向。在高斯路徑上，它和上一講的向量場都是 x 與 z 的線性函數，所以可以互相換算（講義 Proposition 1）：學會一個，就等於學會另一個。有了分數，就能在 ODE 上加任意強度的雜訊變成 SDE，而且每個時刻的分佈不變（Theorem 17）。分數本身也能用跟 flow matching 同一招學：回歸條件分數。這在高斯路徑上等於讓網路預測當初加進去的雜訊，也就是 DDPM 的訓練目標。
B：Guidance 與 classifier-free guidance｜MIT 6.S184 第 3 堂
把 prompt 當成神經網路的額外輸入，理論上就能從 p_data(x|y) 取樣，但實際生成的圖不夠貼 prompt。第 3B 講用 Bayes 定理把有條件向量場拆成「無條件向量場＋一個分類器梯度」，把分類器那項放大 w 倍就是 classifier guidance；再把分類器換成「有條件減無條件」的差，就得到不用訓練分類器的 CFG：ũ = (1−w)·u(x|∅) + w·u(x|y)。訓練只要以機率 η 把標籤換成空標籤 ∅。代價是每一步要呼叫網路兩次，而且 w>1 之後就不再是從資料分佈取樣。
U-Net、DiT 與 latent space｜MIT 6.S184 第 4 堂
前幾講的演算法已經完整，第 4 講處理規模化時的兩個工程問題。第一，網路要吃圖片、時間 t 和 prompt 三種輸入，吐出一樣大的向量場，所以用 U-Net 或 diffusion transformer（DiT），時間用 Fourier 特徵嵌入、文字用凍結的 CLIP／T5 嵌入。第二，像素空間太大，所以先訓練一個 VAE 把圖壓進 latent space，在那裡做 flow matching，最後再解碼。Stable Diffusion 3 與 Meta Movie Gen Video 都是這套配方：latent 空間裡的 flow matching＋DiT 變體＋CFG。
離散擴散，用 CTMC 生成語言｜MIT 6.S184 第 5 堂
文字是一串離散 token，沒有方向可以走，ODE 和 SDE 都不存在。第 5 講把前四講的配方原封不動搬過來，只換掉底層的隨機過程：向量場換成 rate matrix，ODE 換成連續時間馬可夫鏈（CTMC），continuity equation 換成 Kolmogorov forward equation。用 factorized mixture path 當機率路徑時，要學的邊際 rate matrix 只剩一個未知數：給定加噪句子，每個位置原本是哪個 token 的機率。於是訓練離散擴散模型變成對每個位置做分類，loss 就是 cross-entropy；把雜訊設成全部 [mask]，就得到 masked diffusion language model。
從變分自編碼器（VAE）開始的冒險旅程——特徵向量、Autoencoder、Diffusion，以及「沒有 VAE，Stable Diffusion 根本不能動」｜政大蔡炎龍 生成式AI 第 10 堂
L10 從「怎麼找到好的特徵向量」出發：Word2Vec 用代理任務學出 embedding，Autoencoder 用「輸入等於輸出」逼出壓縮後的 latent vector，VAE 再要求 latent 符合常態分布，讓鄰近的點生出相似的圖。接著蔡炎龍把 diffusion model 講成「encoder 用算的、只訓練 decoder 的 autoencoder」，最後收在 Latent Diffusion：先用 VAE 把 512×512 的圖壓成 64×64，diffusion 只在這個小空間裡做。第十週作業不寫程式，用 Bing 生出風格一致的多組圖。
文字生圖 AI 的原理及實作——CLIP 讀懂 prompt、排程器決定要不要「A 圖」、LoRA 只調 ΔW，最後用 diffusers 做出自己的生圖 Web App｜政大蔡炎龍 生成式AI 第 11 堂
L11 把 Stable Diffusion 架構圖上剩下的三塊補齊。CLIP 用「文字和圖越像越好」的對比訓練，讓 prompt 變成 77×768 的 embedding；排程器把 1000 步的加噪壓成二、三十步的去噪，但 Euler a 這類 ancestral 演算法不會收斂，步數加到 100，人物的衣服和座位都會換掉；LoRA 凍結原本的 W，只學拆成 A·B 的 ΔW。實作用 diffusers 載入 SD 1.5 系模型，第十一週作業是自己做一個生圖 Web App。
ControlNet 與 Fooocus——怎麼讓生圖 AI 照你的構圖畫？｜政大蔡炎龍 生成式AI 第 12 堂
L11 的 Stable Diffusion 只聽 prompt，構圖、姿勢全看運氣。L12 補上「方向盤」：ControlNet 把 SD 的區塊拷貝一份，用 zero convolution 接回去，讓邊緣圖、姿勢、深度圖這類額外條件也能控制生成，最常見的例子是 Canny 邊緣。後半講 Fooocus：一個目標是「像 Midjourney 一樣簡單」的 SD 介面，重點在 Preset、Style，以及 Input Image 的五個功能，其中 Image Prompt 就是包裝好的 ControlNet。第十二週作業：設想一個應用情境，用 Fooocus 至少生 3 組圖，並寫出創作流程。
文字模型與圖像模型互搶地盤——生成式 AI 新趨勢與期末專案｜政大蔡炎龍 生成式AI 第 14 堂
最後一講看的是兩條技術線開始互相越界：ChatGPT 這類 LLM 開始畫圖，投影片用 early fusion 和 VQ-VAE／VQGAN 解釋「把圖像切成 token」怎麼做；反過來，Inception Labs 的 Mercury 用 diffusion 生成文字，把一句話加噪成一排 [MASK] 再還原。接著是幾篇人人都用得上的研究：怎麼自動評 RAG、推理模型更容易被劫持、DeepMind 的四種 AI 風險。最後是 Vibe Coding 與一串應用工具，以及用 Gather Town 線上研討會進行的期末專案。
台大李宏毅 ML 2026 導讀：HW9 Flow Matching——從 VAE 走到 MeanFlow，再用一個 Swiss roll 比推論步數｜台大李宏毅 機器學習 主題單元
HW9 共 19 題、10 分，只在 NTU COOL 作答、不交程式。前 16 題讀四篇論文：DDPM、Flow Matching、Rectified Flow、MeanFlow，最後幾題要你橫向比較訓練訊號與少步生成；後 3 題要跑 Colab：在 2D Swiss roll 上訓練兩個小 MLP，一個是學瞬時速度的 Flow Matching（固定用 Euler 50 步評估，Histogram JS ≤ 0.10 才算收斂），一個是學平均速度的 MeanFlow（固定 1 步生成，≤ 0.40），再比較 1 步對 1 步、Euler 不同步數、Euler 與 RK4 在相同步數與相近算力下的差別。作業 PDF 附了一份省略大部分數學的生成模型教學，題目中英雙語全部公開；校外拿不到的只有 COOL 上的評分與解答。
Transformer 走出文字，LLM 不再從左寫到右｜Stanford CME295 第 9 堂
CME295 最後一講 128 頁投影片分三段：用八張圖複習前八講、Transformer 怎麼用在影像上（ViT 與兩種 VLM 接法）、以及一次吐出多個 token 的 masked diffusion LLM，最後談研究與應用的下一步。這堂不在考試範圍；2026 版把 diffusion LLM 拉成獨立一講，第 9 講改以多模態為主。
Diffusion LLM 的三種雜訊、一條訓練目標與平行解碼的代價｜Stanford CME295 2026 版 第 8 堂
CME295 2026 版第 8 講（11 月 20 日）把 diffusion LLM 拉成整講，課表列了 continuous、discrete、masked diffusion、訓練與推論五個子題。課前預寫版依 DDPM、D3PM、SEDD、MDLM、LLaDA 等原始論文整理：連續雜訊在文字上要付約 64 倍算力，[MASK] 吸收態勝出；訓練目標是乘上 1/t 的 masked cross-entropy；推論的速度來自每步多填幾格，但 LLaDA 主要結果其實每步只解一個 token，Fast-dLLM 靠信心門檻與近似 KV cache 才拿到最多 27.6 倍加速。
17：兩場延伸講座——用擴散模型生成文字，以及把大模型訓練的「民間知識」講清楚｜Stanford CS224U 主題單元
2023 年春季 CS224U 在 Transformer 單元裡插了兩場由課程團隊成員主講的專題。Lisa Li 講 Diffusion-LM：不再一個字一個字往右生，而是把一串高斯雜訊逐步去噪成詞向量，代價是訓練與解碼效率都輸給自迴歸模型，換到的是可以在每一步用分類器梯度操控輸出。Sidd Karamcheti 講怎麼把 GPT-2 Small 的單卡訓練時間從 99.63 天壓到 3.37 天：資料平行、混合精度、ZeRO 一層層疊上去。前者只有投影片，後者有投影片與兩段錄影。
FLUX——Stable Diffusion 原班人馬出走後造出的圖像模型家族，從 12B 到 Self-Flow 世界模型
FLUX 是 Black Forest Labs 的圖像模型家族——2024 年 8 月由 Stability AI 的 Stable Diffusion 原班人馬創立後首發，12B rectified flow transformer 一戰成名；兩年後家族已長成五層：klein 4B（$0.014 起、家族新一代唯一的 Apache 2.0）/9B、pro（$0.03）、flex（$0.05）、max（$0.07、可即時搜尋網路 grounding），外加 32B 開放權重的 dev；2026 年 8 月更用 FLUX 3 把影片＋同步音訊＋機器人動作收進同一個 Self-Flow 架構。這篇追蹤從 FLUX.1 到 FLUX 3 的演化、授權三層制與選型建議。
2021 AI 頂會導讀：機器學習篇
2021 年是 diffusion model 超越 GAN、自監督學習理論突破、RL 評估方法論覺醒的一年。NeurIPS 收了 9,122 篇投稿創當時紀錄，ICLR 的 Score-Based Generative Modeling 論文日後成為整個 diffusion 生態的理論基石，ICML 則在優化理論與自監督學習動力學分析上交出紮實貢獻。
2021 AI 頂會在收什麼題目：Transformer 擴散、自監督學習與 Diffusion 的起點
2021 年是 AI 頂會的分水嶺：Transformer 從 NLP 全面入侵 CV 與時序領域，自監督學習成為各會議最熱門關鍵詞，Diffusion Model 拿下 ICLR Outstanding Paper 但還沒有人意識到它會取代 GAN——而 GNN 和 Federated Learning 正處於論文量的歷史高峰，之後開始走下坡。
2022 AI 頂會導讀：機器學習篇
2022 年是 diffusion model 登上頂會舞台中央、Chinchilla scaling laws 改寫大模型訓練範式、Chain-of-Thought 讓推理成為可提示能力的一年。NeurIPS 破萬篇投稿，13 篇 Outstanding Paper 裡有 3 篇跟 diffusion 直接相關，Chinchilla 和 data pruning 兩篇挑戰了『大就是好』的信條。ChatGPT 年底發佈前夜，所有拼圖都在這一年的頂會上各就各位。
2022 AI 頂會在收什麼題目：Diffusion 爆發、Chain-of-Thought 與 ChatGPT 前夜
2022 年是 AI 頂會的轉折年：Diffusion Model 從冒頭變成主流（NeurIPS 兩篇 Outstanding Paper），Chinchilla 改寫 scaling laws 的遊戲規則，Chain-of-Thought 證明大模型能推理，InstructGPT 用 RLHF 讓語言模型學會聽話——而這一切在年底 ChatGPT 上線後瞬間從學術議題變成全球新聞。
2024 AI 頂會導讀：機器學習篇
2024 年是 ML 頂會投稿量爆炸的一年：NeurIPS 收到 15,671 篇創歷史紀錄，ICML 和 ICLR 也分別突破九千和七千。研究主題從「把模型練更大」轉向「推論時怎麼花算力更聰明」——test-time compute scaling 成為年度最重要的新方向。Best Paper 層面，VAR 用 next-scale prediction 在影像生成上超越 diffusion、Rectified Flow 成為 Stable Diffusion 3 的理論基礎、ICLR 首次頒發 Test of Time Award 給 VAE 原論文。
2025 AI 頂會在收什麼題目：Agent 爆發與 Reasoning 革命
2025 年 AI 頂會的兩個最強訊號：reasoning 論文從 47 篇暴增到 216 篇（4.6 倍）、agent 相關關鍵詞合計超過 150 篇（4.3–11 倍成長）。Diffusion model 已從「爆發」進入「基礎設施」階段，RAG 以五會議全覆蓋的罕見擴散速度成為企業 AI 的主流架構，而 state space model 和 world model 正複製 2020–2021 年 Vision Transformer 的早期軌跡。純 prompt engineering 論文開始遭遇 reviewer fatigue。