#fsdp

CS336 Lecture 8：ZeRO、FSDP 與 3D Parallelism 怎麼對齊硬體拓撲

第八講把平行化從原語提升到系統設計：ZeRO 逐階切 optimizer、gradient 與 parameter，TP/PP/SP/EP 再分別切 width、depth、sequence 與 experts；組合順序必須服從網路拓撲與動態 activation memory。