MIT 6.5940 第 4 講：每層剪多少、怎麼 fine-tune、硬體怎麼吃稀疏
MIT 6.5940 第 4 講把剪枝的後半段講完：用敏感度分析、AMC（強化學習）或 NetAdapt（逐步查表）決定每層剪多少；用 1/10 到 1/100 的學習率 fine-tune、迭代剪枝把 AlexNet 的剪枝倍數從 5 倍推到 9 倍；最後看 EIE、NVIDIA 2:4 稀疏與 TorchSparse/PointAcc，說明稀疏要有系統支援才會變快。
#model-compression
3 篇文章MIT 6.5940 第 5 講：數字格式、K-means 量化與線性量化
MIT 6.5940 第 5 講從「8-bit 整數加法比 32-bit 浮點加法省 30 倍能量」出發，先複習 INT、定點數、FP32/FP16/BF16、FP8 與 FP4 的位元配置，再講兩種量化：K-means 量化只省儲存、計算仍是浮點；線性量化用 r = S(q − Z) 把矩陣乘法、全連接層與卷積都改成整數運算。
MIT 6.5940 第 6 講：量化 II——PTQ 的粒度與裁切、QAT 與 STE、二值化與混合精度
第 6 講處理「量化後精度掉了怎麼辦」。先不重訓：換更細的 scale 粒度（per-channel、group、MX）、裁掉離群值（EMA、校準批次、MSE、KL）、改捨入方式（AdaRound）。不夠再重訓：QAT 保留一份全精度權重，前向做假量化，反向靠 STE 把梯度直接穿過去。投影片引用的白皮書數字裡，MobileNetV1 做 per-tensor INT8 PTQ 準確率掉到 0.1%，改成 per-channel QAT 回到 70.7%，浮點原本是 70.9%。最後兩段談 1–2 bit 的二值／三值網路，以及用強化學習自動分配每層位元數的 HAQ。