文字條件是從哪裡注入圖片生成模型的？CMU 10-423 L14 的答案是 cross-attention：query 來自影像的潛在表示，key 和 value 來自提示詞，所以每個潛在像素都有一個「看向哪些字」的機率分布。這張注意力圖可以拿來做很多事：classifier-free guidance 讓生成更貼近提示，Prompt-to-Prompt 在不重新訓練的情況下，把舊的注意力圖抄進新提示詞的生成，只改圖片的一部分。DiT 則把 UNet 換成 Transformer，用 adaLN-Zero 注入條件。L15 前半的 Q-Former 用一小組可學習的 query，把凍結的影像編碼器接上凍結的 LLM，也就是 HW4 要你實作的東西。
CMU 10-423 Spring 2026 的 HW4 總分 79：書面題考 LDM（7 分）、VQ-VAE（8 分）、CLIP（4 分）、以 PaliGemma2 為例的 VLM（18 分），程式題（40 分）要你在凍結的 GPT-2 與凍結的 CIFAR-10 DiT 之間只訓練一個 Q-Former，讓類別條件的擴散模型改吃文字。要寫的程式只有三個函式，14 個單元測試；官方估計 25 個 epoch 在 T4 上要 2–3 小時、A100 約 1 小時，資料與 DiT 權重得用 download_data.sh 從 Google Drive 下載。
Lab 3 在 MNIST 上從零組出一個有條件的 latent diffusion model，分四段：先用 label dropout 寫 CFG 訓練（在三群高斯混合上驗證），再一塊一塊寫 diffusion transformer（Fourier 時間嵌入、patchify、多頭注意力、adaLN-Zero、depatchify），接著寫一個 VAE，最後把 DiT 搬進 VAE 的 latent 空間訓練。題目與官方解答都公開；繳交走 Canvas 裡的 Gradescope，只有 MIT 修課生能用。
前幾講的演算法已經完整，第 4 講處理規模化時的兩個工程問題。第一，網路要吃圖片、時間 t 和 prompt 三種輸入，吐出一樣大的向量場，所以用 U-Net 或 diffusion transformer（DiT），時間用 Fourier 特徵嵌入、文字用凍結的 CLIP／T5 嵌入。第二，像素空間太大，所以先訓練一個 VAE 把圖壓進 latent space，在那裡做 flow matching，最後再解碼。Stable Diffusion 3 與 Meta Movie Gen Video 都是這套配方：latent 空間裡的 flow matching＋DiT 變體＋CFG。
2024 年 2 月 Sora 預覽震撼業界，兩年半後格局翻轉：OpenAI 於 2026 年 4 月關閉 Sora 消費者 App、API 排定 9 月 24 日退役；Veo 3.1 以原生音訊與 Flow 工具鏈成為敘事首選；快手 Kling 3.0 轉型統一多模態、年化營收 2.4 億美元；Runway Gen-4.5 曾登頂 Artificial Analysis 榜（2025-11 快照）、靠企業工作流站穩專業市場。這篇以家族×世代時間線拆解四大家的演化、規格定價對照與選型建議。
圖生影片（I2V）在 2026 年的骨幹清一色是 latent diffusion + DiT，畫質已經不是選型軸；真正的軸是原生音訊、能不能自架、每秒多少錢。三個容易踩的坑：Sora 的 app 已在 4/26 關閉、API 9/24 關；Wan 2.7 被大量文章稱為 Apache 2.0 開源但一手來源查無權重；Veo 3.1 官方價是 $0.40/s 而非二手網站流傳的 $0.75/s。