CS336 Lecture 7：從 collective operations 組出資料、張量與管線平行
第七講不從 FSDP API 開始，而是用 broadcast、all-reduce、all-gather、reduce-scatter 與 all-to-all 建立通訊語言，再親手組出 data、tensor 與 pipeline parallelism。
#parallelism
2 篇文章CS336 Lecture 8：ZeRO、FSDP 與 3D Parallelism 怎麼對齊硬體拓撲
第八講把平行化從原語提升到系統設計：ZeRO 逐階切 optimizer、gradient 與 parameter，TP/PP/SP/EP 再分別切 width、depth、sequence 與 experts；組合順序必須服從網路拓撲與動態 activation memory。