分散式訓練：記憶體不夠就切模型，頻寬不夠就壓梯度｜MIT 6.5940 第 19–20 堂
GPT-3 的 fp16 權重就要 350GB，一張 80GB 的 A100 放不下，更別說梯度和 Adam 狀態。L19 講怎麼切：資料平行、ring all-reduce、ZeRO-1/2/3（每張卡能訓練的模型從 5B 推到 320B）、GPipe 把 pipeline 利用率從 25% 提到 57%、Megatron 式 tensor parallelism、Ulysses 與 Ring Attention 的 sequence parallelism。L20 講切完之後的通訊瓶頸：Alpa 自動搜平行策略、DGC 把梯度壓 277–608 倍還不掉精度、TernGrad 把梯度量化成三值，以及用延遲更新蓋掉網路延遲的 DGA。