6.5940 的前兩講先證明問題存在，再給量尺。L1 用一張圖說明模型參數量的成長遠快於 GPU 記憶體，並指出雲端 GPU 有 80GB 記憶體、微控制器只有 320kB。L2 把效率指標分成記憶體與運算兩類：#Parameters、model size、peak activations，以及 MAC、FLOP、OP。以 AlexNet 為例，它有 61M 參數、724M MACs；在微控制器上真正先爆掉的常常是 activation，不是參數。Lab 0 用 CIFAR-10 上的 VGG 變體（9.2M 參數、606M MACs）當之後幾個 lab 的起點。
MIT 6.5940（TinyML and Efficient Deep Learning Computing）教的是讓模型變小、變快、塞進手機和微控制器的技術：pruning、quantization、NAS、distillation、LLM 部署與分散式訓練。2025 年秋季因 Song Han 休假停開，2025 年課頁回 404；Fall 2026 正在上，截至 2026-09-30 只放出 L1–L6 與 Lab 0–1。本系列因此以最近一屆完整的 Fall 2024 為主幹：23 講投影片、23 支錄影、Lab 0–5 都公開，屬 A3；Fall 2026 列 A2，每篇另附對照。
Lab 4 是 Colab notebook，用 OPT-1.3B 一步步重做 AWQ：先看 3-bit 量化後 perplexity 變多差，再保留 1% 重要 channel（Q1），最後改用縮放保護它們並搜尋最佳縮放（Q2），兩題各 50 分，另有依 perplexity 計分的 bonus。Lab 5 換到 C++：用 TinyChatEngine 在自己的電腦上跑 4-bit 的 LLaMA2-7B-chat，替 W4A8 線性層 kernel 依序寫 loop unrolling、multithreading、SIMD、multithreading＋unrolling、全部組合五個版本，每個 20 分，另有最多 20 分的效能 bonus。本文整理兩份作業的題目、配分、環境與校外限制，不附解答。
MCU 的 SRAM 約 256–320kB、Flash 約 1MB，比手機小上萬倍，連 int8 的 MobileNetV2 峰值記憶體都超出 5 倍。L10 的答案是 MCUNet：TinyNAS 先挑搜尋空間再搜子網路，MCUNetV2 用 patch-based inference 把 MobileNetV2 的峰值 SRAM 從 1372kB 壓到 172kB，最後看視覺、語音、異常偵測三類 tinyML 應用。
OpenELM 用 layer-wise scaling 把參數偏向靠近輸出的層，1.08B 參數、1.5T tokens 在 LLM360 平均分數上超越吃了 3T tokens 的 OLMo 1.2B（+2.36%）；MiniCPM 用三階段解凍（先 Resampler、再視覺編碼器、最後全開）從零訓練多模態小模型，MiniCPM-V 4.5 以 8B 達到 VideoMME 30B 以下 SOTA，再靠 4-bit 量化把 fp16 的 16–17GB 記憶體壓到約 5GB。
比較 NVIDIA DGX Spark、Apple Mac Studio M4 Ultra、ASUS Ascent GX10、MSI AI Edge 等個人 AI 工作站，幫你找到適合的本地推論硬體。
NVIDIA DGX Spark 搭載 GB10 Grace Blackwell Superchip，128GB 統一記憶體，提供 1 petaFLOP FP4 算力，售價約 $3,999 美元起。適合開發者在本地跑 200B 參數模型、fine-tune 70B 模型，是目前最容易入手的 NVIDIA AI 開發平台。