先分清 workflow 和 agent，再手刻第一個 RAG｜Stanford CS329Z 第 2 週
Week 2 把模型內部接到檢索工程：Lecture 02 拆解解碼、注意力、訓練、推論與 context 預算；Lecture 03 從 chunk、索引、稀疏／稠密檢索講到 reranking 與 agentic RAG。另以指定讀物補足 workflow 選型、RAG 與 ColBERT 實驗。
ai
1274 篇文章工具接進來，框架拆開看——HW1 開工｜Stanford CS329Z 第 3 週
Lecture 04 從工具學習、API 檢索走到 function calling、MCP 與可靠度評估；Lecture 05 比較 DSPy、LangGraph、harness、Temporal 與觀測。指定讀物再拆 MCP 協議及 DSPy 優化機制，HW1 則維持手刻 harness 的要求。
先學會邊想邊做，再學會記住——ReAct 與 MemGPT｜Stanford CS329Z 第 4 週
Week 4 從 ReAct 迴圈與 MemGPT 分層記憶出發，接上 Lecture 06／07 的設計模式、context 管理與記憶評測。透過一個 email 助理例子，學會區分原始紀錄與模型輸入，並檢查摘要後是否仍遵守使用者限制。
該單幹還是開會——多智慧體與優化三軸｜Stanford CS329Z 第 5 週
Lecture 08 拆開編排、通訊與協調，教你用 task ledger 和 worktree 管理分工；Lecture 09 從資料與評估出發，比較 context 優化、SFT、RL 與蒸餾。透過可追溯的 email 例子，判斷多加 agent 或優化哪一層才對準瓶頸。
資料飛輪轉起來——HW1 繳交週｜Stanford CS329Z 第 6 週
第 6 週把 Terminal-Bench 的成果驗收接上 Shankar 資料飛輪：先查 agent 實際改了什麼，再把人工複核的失敗變成開發示範，另外保留測試題。HW1 於 10/30 截止。
分數別騙自己，資料再做大——期中驗收週｜Stanford CS329Z 第 7 週
Week 7 是期中驗收週：週一談資料選擇，週三談評分與 benchmark 設計；Zhu 等人教你別被自己的分數騙，SWE-smith 把軟體工程任務資料做到 5 萬題，讀完為 HW2 寫下第一版 4-tuple。
請模型當裁判，再幫 agent 上護欄｜Stanford CS329Z 第 8 週
Week 8 週一用 MT-Bench 與 Anthropic 評測指南建立模型裁判，週三用 PrivacyLens 與四件護欄面對實戰洩漏；週五 paper video 到期，本週交付就是一份會動的裁判分數加一條許可檢查。
寫程式的智慧體，先替它造一把順手的 IDE｜Stanford CS329Z 第 9 週
第九週週三談寫程式智慧體：SWE-agent 證明介面即效能，OpenHands 把沙箱與評測做成通用底座；第二份作業週五到期，本週交付是一道會動的修 bug 考題。
複合式 AI 系統：模型、資料與工具如何配合｜Stanford CS329Z 第 1 週
先從第一堂投影片理解 agent 迴圈、元件與工程問題，再分別深讀 BAIR 的複合系統觀點、Ng 的工作模式，以及 Si 的執行回饋實驗；清楚區分課堂主線、指定閱讀與延伸閱讀。
複合式 AI 系統：模型、資料與工具如何配合｜Stanford CS329Z 第 1 堂
先從第一堂投影片理解 agent 迴圈、元件與工程問題，再分別深讀 BAIR 的複合系統觀點、Ng 的工作模式，以及 Si 的執行回饋實驗；清楚區分課堂主線、指定閱讀與延伸閱讀。
個人學模型訓練要租 GPU 嗎：GPUtw.ai、LoRA、Jupyter 與第一輪實驗
GPUtw.ai 適合個人把短租 GPU 當成學習工具：先跑 Jupyter、Ollama、ComfyUI，再用 LoRA/QLoRA 做小模型微調。它不是大型基礎模型訓練平台，第一次使用應該小額測部署、計費與資料保存。
中文社群怎麼從零訓練 LLM：語料、tokenizer 與三個開源專案的取捨
拆解三個中文圈從零訓練 LLM 的開源專案——baby-llama2-chinese（218M、634 億 tokens）、ChatLM-mini-Chinese（0.2B T5、1,023 萬條對話）、Steel-LLM（1.12B、1 兆 tokens、8 個月）——比較語料策略、tokenizer 決策與社群生態；誠實呈現評測：baby-llama2 在 MiniMind 的橫評中 21 分墊底，ChatLM 知識紮實（62 分）但程式能力弱。
跟成熟 coding agent 學設計（39）：TUI 工具結果不閃爍的兩條共同規則
四個 coding agent 的 TUI 都遵守同樣兩條規則：工具高度恆定（1 行摘要，不從 0 跳到 N 行）、不自動收合（只有使用者手動展開才會展開）。looplane 兩條都違反了。
小模型怎麼省參數：OpenELM 的 layer-wise scaling 與 MiniCPM 的三階段解凍
OpenELM 用 layer-wise scaling 把參數偏向靠近輸出的層，1.08B 參數、1.5T tokens 在 LLM360 平均分數上超越吃了 3T tokens 的 OLMo 1.2B（+2.36%）；MiniCPM 用三階段解凍（先 Resampler、再視覺編碼器、最後全開）從零訓練多模態小模型，MiniCPM-V 4.5 以 8B 達到 VideoMME 30B 以下 SOTA，再靠 4-bit 量化把 fp16 的 16–17GB 記憶體壓到約 5GB。
Karpathy 的 nano 諧系：nanoGPT、llm.c 到 nanochat
Karpathy 三代教學專案縱覽：nanoGPT（2022，各約 300 行重現 GPT-2 124M）、llm.c（純 C/CUDA 訓練）、nanochat（2025-10，一個 speedrun.sh 從 tokenizer 訓到 WebUI）。100 美元、4 小時在 8×H100 上訓出能對話的模型；GPT-2 級能力到 2026 年初已壓到約 2 小時、48 美元。
從零訓練的框架：LitGPT 的無抽象重寫、pretrain 流程與 TinyLlama 實績
LitGPT（Lightning AI，約 13,600 stars，Apache 2.0）把 Llama 3、Qwen2.5、Phi 4 等 20+ 個 LLM 逐一從零重寫成無抽象層的單檔實作，附 pretrain / finetune / evaluate / serve 完整命令列；1.1B 參數、3T tokens 的 TinyLlama 就是用它的程式碼訓出來的。這篇拆解它與 MiniMind 的差異、實際用法與限制。
MiniMind：用 3 塊錢從零訓練一個 LLM
MiniMind 是一個從零開始訓練 LLM 的開源專案：64M 的 Dense 模型與 198M-A64M 的 MoE 模型，單張 3090 約 2 小時、約 3 元人民幣就能跑完 Pretrain → SFT → LoRA → DPO → PPO/GRPO/CISPO → Agentic RL 的完整流程。所有核心演算法用 PyTorch 原生實作，不依賴高階封裝。
國家隊的從零訓練：Apertus 的合規路線與 LLM-jp 的日文生態
兩個國家級專案展示了從零訓練的另一種動機：瑞士的 Apertus 用 15T tokens、1,000+ 語言與嚴格的 opt-out 個資過濾對齊 EU AI Act；日本的 LLM-jp 由 NII 主導，2026 年 4 月的 LLM-jp-4 在 12T tokens 上訓練出多項 benchmark 超越 GPT-4o 的模型。它們回答的問題和效能路線不同：不是「跑得快」，而是「主權與合規下能訓出什麼」。
全透明的 LLM 怎麼做：OLMo 3 的 model flow 與 LLM360 K2 的 360° 開源
「開源 LLM」其實是一條光譜：只開權重（Llama）→ 權重加資料（多數 fully open 專案）→ 連資料順序、中間 checkpoint、訓練日誌都開（LLM360 K2、OLMo 3 的 model flow）。這篇拆解兩個把透明度推到極致的專案：OLMo 3 在 2025 年 11 月放出首個全開的 32B thinking 模型，K2 則是首個 65B 級、連 optimizer states 都公開的模型。
在 RunPod 上跑一遍 MiniMind：從零到能對話
系列實作篇：在 RunPod 租一張 RTX 3090（Secure Cloud $0.5/hr、Community Cloud $0.22/hr），照 README 步驟跑完 MiniMind 的 pretrain（約 1.21h）+ SFT（約 1.10h），總成本約 $0.55–1.50 美元，就能在終端機跟自己從零訓出來的 64M 模型對話。