生成時每個 head 都要把過去所有位置的 key 與 value 留在 GPU 記憶體裡，這份 KV cache 會卡住 batch size。GQA 讓 τ 個 query head 共用一組 key／value，把它縮成 1/τ；sliding window 把 T² 的運算壓到 T·w；MoE 讓 128 個 expert 裡每個 token 只跑 8 個。後半堂講怎麼用訓練好的模型：few-shot、zero-shot 都不動參數，SFT 才動，而且 loss 只算在答案的 token 上。
Apodex 由 Apodex 團隊訓練，是一個 reasoning-first 的 Mixture-of-Experts 模型，專為複雜長程研究、預測與可驗證任務設計。搭配代理執行環境，可用工具處理檔案、資料與程式碼；原始模型 API 僅接收文字。
Dots3-Note Preview 的 OpenRouter 頁列出長上下文、圖片輸入與工具呼叫；自架授權仍須取得可確認的官方資料。
LongCat-Flash 與 LongCat-2.0 是美團的開放權重 MoE 模型。本文依官方模型卡說明動態計算、LSA、長上下文與工具使用，並區分模型規格和託管端點限制。
Nemotron 涵蓋文字推理、多模態理解與安全分類；Ultra、Super、Lightning、Nano Omni 及 Content Safety 的架構、上下文與授權不同。本文區分官方模型規格與 API 端點限制。
Scaling laws問固定預算下模型與資料怎麼配置；MoE問如何有更多expert容量、卻只啟用少數expert。前者是配置與經驗模型，後者是架構與路由，不能合稱「把模型變大」就跳過其中一方的機制。
CMU 11-868 在 2026 春季用兩講回答「模型太大，一張 GPU 放不下」：L16 講切層的 pipeline parallelism（GPipe 的 micro-batch、1F1B、交錯 stage）和切矩陣的 tensor parallelism（Megatron-LM 對 FFN、attention、embedding 的切法），結論是節點內用 TP、跨節點用 PP、再外面疊 DP；L17 把 MoE 當成第三種切法——每張卡放不同的專家、其餘部分複製，代價換成 all-to-all 通訊與負載平衡，並以 GShard、DeepSpeed-MoE、DeepSeek-V3 的設計逐一說明。
ADL Fall 2025 課程頁排了 7 堂助教課、10 支影片：Colab 與 PyTorch、ipdb 除錯 → NLP 專案的一生 → 四種 NLP 任務的資料格式 → LoRA 與 QLoRA → scaling law、LLaMA 架構與 MoE → 量化與評估 → 用 vLLM 部署。影片是助教在 2023 與 2024 年錄的，Fall 2025 沿用，影片裡說的作業一、作業三是當年的作業。課程頁上的 5 份講義連結都 404，同名檔在 Fall 2024 路徑可以打開，Deployment 只有影片。本文依影片口述逐堂整理助教實際示範的步驟與提醒，附可以手算的例子。
前四篇分別看全景、訓練、長時程、規劃。這篇看一個把所有環節串起來的完整系統：Tongyi DeepResearch。核心創新是『Agentic CPT』——在預訓練和微調之間插入一個 agentic 中間訓練階段，讓模型天生帶有 agent 偏置。MoE 架構 30B 參數只激活 3B，HLE 32.9 超越 OpenAI o3。
Ling-3.0-flash-Fin（Ant Group 蚂蚁百靈）：2026-09-09 外灘大會發佈，124B 總參數／5.1B 啟用，256K context（可擴至 1M），MIT 開源；沿用 Ling-3.0-flash 的 MoE 架構與長上下文能力，透過金融語料持續預訓練與領域後訓練強化財務能力，在 FinFIRST、FinSearchComp Verified、FinCRAFT、Finance Agent、APEX-Agents、SpreadsheetBench、τ³-Banking 七個金融基準上測試，AA Intelligence Index v4.1.1 從 38 提升至 41 分；模型權重已上線 Hugging Face 與 ModelScope，OpenRouter 提供一個月限免 API
Laguna 是 Poolside 的 agentic coding 模型家族：XS 2.1 以 33B-A3B 跑進 36GB Mac，S 2.1 以 118B-A8B、1M context 在 Terminal-Bench 2.1 拿下 70.2%、DeepSWE 40.4%，兩者都掛 OpenMDW-1.1 開源。
百靈以 Ling 執行、Ring 深度推理、Ming 多模態分工，主軸是同樣算力下的智效比；選型先看任務、部署預算與模態需求。
Nex-N2.5 是 Nex AGI 的開源 agentic 模型家族：mini 以 35B-A3B 在 OSWorld-G 拿下 82.9 分，Pro 以 397B-A17B、87.4 分超車 Claude Opus 5，Max 以 1.6T 在 BrowseComp 以 92.6 分居全表之冠，三款都掛 Apache-2.0 開源。
MiniMind 是一個從零開始訓練 LLM 的開源專案：64M 的 Dense 模型與 198M-A64M 的 MoE 模型，單張 3090 約 2 小時、約 3 元人民幣就能跑完 Pretrain → SFT → LoRA → DPO → PPO/GRPO/CISPO → Agentic RL 的完整流程。所有核心演算法用 PyTorch 原生實作，不依賴高階封裝。
Thinking Machines Lab（Mira Murati 2025 年創立，20 億美元 seed、估值 120 億美元）2026 年 7 月以 Apache 2.0 釋出 Inkling（975B 總參數／41B 活躍、1M context、原生多模態、可控思考）與輕量版 Inkling-Small（276B／12B），搭配 Tinker 微調平台，把「可自訂」本身做成產品。
2026 年幾乎所有前沿開源模型都是 MoE 架構：Ornith 35B 只啟用 3B 打贏 31B dense、MiniMax M3 用 456B 總量但 45.9B 啟用拿下 SWE-bench Pro 59%、DeepSeek V4 用 1.6T 總量但 49B 啟用。這篇用四個案例解釋 MoE 為什麼在 coding 和 agentic 任務上佔據主流。
MiniMax 從消費級聊天 App 起家，M2.5 在 SWE-bench Verified 拿 80.2% 但 API 價格只有 Claude Opus 的 1/10-1/20；M3（456B 總量 / 45.9B 啟用）是首個在 SWE-bench Pro 突破 59% 的開源權重模型，還有 1M context。
DeepReinforce 用 self-improvement RL 訓練的 Ornith 1.5 家族：397B 旗艦在 SWE-bench Verified 拿 86.0 追平 Claude Opus 4.8，35B-A3B 每 token 只啟用 3B 參數卻在同量級 coding benchmark 全面領先，9B 版本可以跑在手機上。MIT 授權、完全開源。
DeepSeek 用 MLA + MoE 兩項架構創新把推論成本壓到業界最低，V4 Flash 以 13B 活躍參數跑出接近前端模型的品質，成為 OpenRouter 用量第一。這篇追蹤從 V1 到 V4 的演化、R1 推理線的分叉、以及每個版本該怎麼選。
GLM 是智譜 AI（Z.ai）推出的開源 LLM 家族，源自清華大學 KEG 實驗室。GLM-5.3（2026/08）在 coding benchmark 比前代提升 50%，CyberGym 84.5% 超過 Anthropic Mythos 5 與 OpenAI GPT-5.6 Sol，在 Artificial Analysis Intelligence Index 得分 60 與 Kimi K3 並列開源第一。它是目前唯一完全在華為昇騰晶片上訓練出的前沿開源模型。
Grok 是 xAI 的 LLM 家族，2023/07 成立、2024/03 以 314B MoE Apache 2.0 開源起手，兩年半迭代到 Grok 4.6（500K、$2/$6、四檔推理）與 2M 的 Grok 4 Fast；另有 Imagine 圖像/影片與 Grok Build 終端 coding agent——護城河在分發（X / grok.com / Tesla / Bedrock），而非單點模型能力。這篇追蹤 Grok 1→4.6 的演化、子線定位、定價與授權陷阱。
Kimi 是月之暗面（Moonshot AI）推出的 LLM 家族，以超長 context 起家。2026 年 7 月發布的 Kimi K3 是全球首個開源 3T 級模型——2.8T 參數、104B 活躍、1M context，在 Artificial Analysis Intelligence Index 得分 60 與 GLM-5.3 並列開源第一。其 Kimi Delta Attention 架構帶來 2.5 倍 scaling 效率提升。
Llama 是 Meta 推出的開源 LLM 家族，以企業部署量最大、生態最成熟聞名。Llama 4 Scout（10M context）和 Maverick（17B active / 400B total MoE）是目前的開源多模態標竿，但 Meta 已在 2026 年 4 月轉向閉源 Muse Spark——Llama 4 很可能是最後一個主要的開源 Llama，且授權不是真正的開源（Llama 4 Community License，月活超 7 億需另外授權）。
Mistral 是歐洲最成功的 AI 新創，以「更小、更快、更便宜」的策略和歐洲資料主權定位在 AI 市場殺出血路。Mistral Large 3 是歐洲最強的商用 LLM，Small 4 是 24B 級別的效率之王，Medium 3.5 則是專為 agentic coding 優化的 Modified MIT 開源模型。它的護城河不是技術規模，而是「歐洲合規」這張牌。
Qwen 是 HuggingFace 下載量最高的模型家族，尺寸從 0.8B 一路涵蓋到 2.4T。2026 年 8 月阿里首度開源 Max 級旗艦權重（Qwen3.8-2.4T-A95B），但授權換成了自訂條款而非慣例的 Apache 2.0；同期開源、筆電就能跑的原生視覺模型 Qwen3.8-27B 反而是新面孔裡唯一的 Apache 2.0。這篇追蹤 Qwen 從 2023 年到 3.8 世代的演化、開源線與商用線的分家邏輯，以及每一層該怎麼選。
2026 Q1 開源模型全面爆發：LLM 方面 GLM-5、Kimi K2.5、Qwen3.5 追上閉源；Embedding 和 Reranker 由 Qwen3 和 BGE 主導；語音有 Voxtral TTS 和 Whisper V3；圖像有 FLUX.2；影片有 Wan 2.2 追平 Sora。這篇是完整導覽地圖。