11-868 只花兩堂課講模型本身：L06 把 Transformer 拆成 embedding、多頭注意力、FFN、LayerNorm 與殘差，L07 用 T5、LLaMA、GPT-3 三個模型示範現代 LLM 改了哪些地方。對系統工程師來說，重點是記住形狀：GPT-3 175B 是 96 層、d_model 12288、context 2048，訓練 3,000 億 token；LLaMA 65B 是 80 層、d_model 8192、訓練 1.4 兆 token。這些數字決定了後面每一堂加速、平行與服務課要處理的量。
高宏宇 Fall 2025 的 W8 投影片從 GPT-1 一路講到 GPT-3，順帶解釋 GPT-3 用的 Sparse Transformer 怎麼省掉注意力的計算，再用 InstructGPT 說明「會接話」和「聽得懂指令」之間差了什麼：最大概似目標分不出編造事實和挑錯同義詞哪個嚴重，所以要多三步——SFT 學人類怎麼寫、reward model 學人類怎麼評分、PPO 依評分調整並用 KL penalty 綁住不要跑太遠。最後以 Llama-2 收尾：分開訓練 safety 和 helpfulness 兩個 reward model、context distillation，以及推論加速用的 GQA。
AI 的「開源」不等於軟體的開源。MIT 和 Apache 2.0 真的隨便用；Llama License 超過 7 億月活要另外談；舊版 Gemma 授權 Google 可以片面修改（Gemma 4 已改 Apache 2.0）。這篇按授權類型整理你能做什麼、不能做什麼。
Nous Research 不預訓練，只做 fine-tuning 和 RL——Hermes 4 在 MATH-500 拿 96.3%，NousCoder-14B 只用 24K 樣本就把 Qwen3-14B 的 coding 能力拉高 7%。但真正的護城河是 Hermes Agent 框架：236K GitHub stars，全球第 19 名，3,000 位貢獻者。
Llama 是 Meta 推出的開源 LLM 家族，以企業部署量最大、生態最成熟聞名。Llama 4 Scout（10M context）和 Maverick（17B active / 400B total MoE）是目前的開源多模態標竿，但 Meta 已在 2026 年 4 月轉向閉源 Muse Spark——Llama 4 很可能是最後一個主要的開源 Llama，且授權不是真正的開源（Llama 4 Community License，月活超 7 億需另外授權）。
2026 年行動端 LLM 主力是 Gemma 3n、Qwen 3.5 Small、Llama 3.2、Phi-4-mini、Ministral 3 和 SmolLM3。3B 以下量化模型在 8GB RAM 手機上能跑到 30–50 tokens/sec，但 RAM、散熱和 context window 仍是硬限制。
2026 Q1 開源模型全面爆發：LLM 方面 GLM-5、Kimi K2.5、Qwen3.5 追上閉源；Embedding 和 Reranker 由 Qwen3 和 BGE 主導；語音有 Voxtral TTS 和 Whisper V3；圖像有 FLUX.2；影片有 Wan 2.2 追平 Sora。這篇是完整導覽地圖。