WebDancer 與 WebThinker：從零訓練一個 Deep Research Agent
兩篇 NeurIPS 2025 論文回答同一個問題：怎麼從零訓練一個能自主研究網頁的 agent？WebThinker 選擇「給既有用戶模型加上網頁探索能力」，WebDancer 選擇「從資料構造到 RL 訓練完整重來」。兩種哲學，四個階段，一個核心洞察：訓練比 prompt 好。
#training
16 篇文章台灣資安證照生態——法規、培訓機構、備考資源與考場全攻略
台灣資安法 2.0 已三讀、金管會三級制度到位，但都不強制指定證照——真正的需求來自徵才市場。台灣有 7+ 家培訓機構可選：恆逸課程最齊全（唯一同開 SecAI+ 和 COASP）、WUSON 吳文智是 CISSP 圈的傳奇（月月額滿）、DEVCORE 獨家引進 OffSec 原廠講師。考場在台北信義區和高雄，多數證照也支援在家線上監考。
中文社群怎麼從零訓練 LLM：語料、tokenizer 與三個開源專案的取捨
拆解三個中文圈從零訓練 LLM 的開源專案——baby-llama2-chinese（218M、634 億 tokens）、ChatLM-mini-Chinese（0.2B T5、1,023 萬條對話）、Steel-LLM（1.12B、1 兆 tokens、8 個月）——比較語料策略、tokenizer 決策與社群生態；誠實呈現評測：baby-llama2 在 MiniMind 的橫評中 21 分墊底，ChatLM 知識紮實（62 分）但程式能力弱。
Karpathy 的 nano 諧系：nanoGPT、llm.c 到 nanochat
Karpathy 三代教學專案縱覽：nanoGPT（2022，各約 300 行重現 GPT-2 124M）、llm.c（純 C/CUDA 訓練）、nanochat（2025-10，一個 speedrun.sh 從 tokenizer 訓到 WebUI）。100 美元、4 小時在 8×H100 上訓出能對話的模型；GPT-2 級能力到 2026 年初已壓到約 2 小時、48 美元。
從零訓練的框架：LitGPT 的無抽象重寫、pretrain 流程與 TinyLlama 實績
LitGPT（Lightning AI，約 13,600 stars，Apache 2.0）把 Llama 3、Qwen2.5、Phi 4 等 20+ 個 LLM 逐一從零重寫成無抽象層的單檔實作，附 pretrain / finetune / evaluate / serve 完整命令列；1.1B 參數、3T tokens 的 TinyLlama 就是用它的程式碼訓出來的。這篇拆解它與 MiniMind 的差異、實際用法與限制。
MiniMind：用 3 塊錢從零訓練一個 LLM
MiniMind 是一個從零開始訓練 LLM 的開源專案：64M 的 Dense 模型與 198M-A64M 的 MoE 模型，單張 3090 約 2 小時、約 3 元人民幣就能跑完 Pretrain → SFT → LoRA → DPO → PPO/GRPO/CISPO → Agentic RL 的完整流程。所有核心演算法用 PyTorch 原生實作，不依賴高階封裝。
在 RunPod 上跑一遍 MiniMind：從零到能對話
系列實作篇：在 RunPod 租一張 RTX 3090（Secure Cloud $0.5/hr、Community Cloud $0.22/hr），照 README 步驟跑完 MiniMind 的 pretrain（約 1.21h）+ SFT（約 1.10h），總成本約 $0.55–1.50 美元，就能在終端機跟自己從零訓出來的 64M 模型對話。
從零訓練一個 LLM：從 $0.4 到 65B 的專案光譜
開源社群把「從零訓練 LLM」的門檻壓到了驚人的低：MiniMind 用約 $0.4、單張 3090 兩小時就能跑完從 PreTrain 到 RL 的完整流程，另一端 OLMo 3 與 LLM360 K2 把 65B 模型的訓練資料、程式碼、每個階段的 checkpoint 全部公開。這個系列用 11 篇逛完從 $0.4 到 65B 的專案光譜，並標註這份地圖覆蓋不到的地方。
什麼時候該從零訓練 LLM：一張決策樹與完整的成本梯度
從零訓練只在三種情況成立：你要學習訓練本身、你有開放模型沒見過的 10B+ 乾淨語料、或你需要全透明的訓練過程做研究。否則微調或 RAG 幾乎總是更便宜的答案。這篇把系列走過的主要路線收斂成一張成本梯度表與決策樹。
YuLan-Mini：1.08T tokens 怎麼榨出 2.4B 參數的旗艦小模型
YuLan-Mini 是中國人民大學 AI Box 實驗室用 48 張 A800 訓出來的 2.4B 開源模型：只餵 1.08T tokens，MATH-500 拿 37.8、HumanEval 64.0，數學與程式能力壓過用了 7T–18T tokens 的 Qwen2/Qwen2.5 同級模型。它公開的不是口號，是每個階段的資料配比、退火前的 optimizer 狀態、連消融實驗的 W&B logs。
模型怎麼改進自己：梯度下降與訓練迴圈
模型透過 loss 知道自己錯多少，透過梯度知道往哪邊調。梯度下降就是反覆做三件事：算 loss、算梯度、調參數。Learning rate 決定每步調多大——太大會跳過最佳解，太小訓練到天荒地老。
模型怎麼知道自己錯了：Loss Function 與 Cross-Entropy
模型每次預測下一個 token 時，會給每個候選詞一個機率。Loss function 衡量這個機率分佈跟正確答案差多遠——差越多，loss 越高，模型就知道自己錯得越離譜。Cross-entropy 是最常用的算法，perplexity 是它的直覺版。
Scaling Laws：模型要多大才夠，以及為什麼不是越大越好
Scaling laws 說 loss 跟參數量、資料量、算力之間有可預測的冪次關係。Chinchilla 論文的關鍵發現：大多數模型都太大、訓練資料太少——同樣的算力預算，訓練一個較小但吃更多資料的模型反而更強。這改變了整個產業的訓練策略。
預訓練、SFT、RLHF：模型從「補完文字」變成「有用助理」的三個階段
所有 LLM 都經過三階段訓練：預訓練讀完網路學會語言、SFT 用示範對話學會格式、RLHF 用人類偏好學會什麼回答比較好。Base model 到 chat model 的差距，就是後兩個階段做的事。
CS336 Lecture 9：Scaling law 不是水晶球，是小實驗的外推工具
第九講從資料量與 error 的 log-log 線性關係出發，說明 scaling law 如何比較架構、optimizer、batch 與模型資料配置；Chinchilla 爭議也示範擬合方法、資料範圍與部署目標會改變答案。
攀岩書籍知識版圖：從訓練科學到心理哲學，60+ 本書的完整導覽
攀岩書不是一本本獨立存在的——它們背後有學派之爭、有哲學差異、有知識斷層。這篇整理了 60+ 本書之間的關係，幫你選對下一本該讀的書。