Skip to content
所有標籤

#diffusion

3 篇文章
aiguideMIT 6.5940 TinyML and Efficient AI Computing 導讀

高效 Diffusion 模型：步數、解析度、每一步的算力，三個地方都能省｜MIT 6.5940 第 18 堂

Diffusion 慢，是因為同一個大網路要從純雜訊一路跑幾十到上千步。L18 先把 DDPM、條件生成、latent diffusion、SDEdit、DreamBooth 講完，再分三條路加速：少跑幾步（DDIM 跳步、progressive distillation 每輪把步數減半）、每步少算（DC-AE 把圖壓 64 倍、只重算被編輯的 1.7% 區域省 8.2 倍 MACs、SVDQuant 把 FLUX 壓到 4-bit）、多卡分攤（DistriFusion 8 張 A100 最多快 6.1 倍）。

#mit-65940#ai-course#mit#diffusion#efficient-ml#quantization
techguideMIT 6.7960 Deep Learning 導讀

生成模型基礎 —— 密度／能量模型、GAN、自回歸與擴散｜MIT 6.7960 第 14 堂

生成模型本質是在學資料的分佈 p(x)。密度模型直接建模機率，能量模型用一個未歸一化勢能 + 採樣器，GAN 讓判別器逼出逼真樣本，自回歸一步步預測下一個 token，擴散則用『逐步加噪再學去噪』繞開棘手的最大似然。

#mit-67960#deep-learning#generative-model#gan#diffusion#autoregressive#fall-2024
techguideMIT 6.7960 Deep Learning 導讀

條件生成模型（Conditional Generative Models）—— cGAN、cVAE 與 Classifier-Free Guidance｜MIT 6.7960 第 16 堂

條件生成的關鍵是「把 y 餵進模型」：cGAN 在 G/D 拼接 y，cVAE 把 y 當額外輸入進 encoder/decoder；擴散模型時代，Classifier Guidance 用外部分類器梯度把生成推向指定類別，Classifier-Free Guidance 則同訓練 conditional + unconditional 並在推論時線性組合兩者——後者是 Stable Diffusion / Imagen 的標準武器。

#mit-67960#deep-learning#conditional-generative#cgan#cvae#classifier-free-guidance#diffusion#text-to-image#fall-2024