第 56 頁，共 129 頁
LitGPT（Lightning AI，約 13,600 stars，Apache 2.0）把 Llama 3、Qwen2.5、Phi 4 等 20+ 個 LLM 逐一從零重寫成無抽象層的單檔實作，附 pretrain / finetune / evaluate / serve 完整命令列；1.1B 參數、3T tokens 的 TinyLlama 就是用它的程式碼訓出來的。這篇拆解它與 MiniMind 的差異、實際用法與限制。
MiniMind 是一個從零開始訓練 LLM 的開源專案：64M 的 Dense 模型與 198M-A64M 的 MoE 模型，單張 3090 約 2 小時、約 3 元人民幣就能跑完 Pretrain → SFT → LoRA → DPO → PPO/GRPO/CISPO → Agentic RL 的完整流程。所有核心演算法用 PyTorch 原生實作，不依賴高階封裝。
兩個國家級專案展示了從零訓練的另一種動機：瑞士的 Apertus 用 15T tokens、1,000+ 語言與嚴格的 opt-out 個資過濾對齊 EU AI Act；日本的 LLM-jp 由 NII 主導，2026 年 4 月的 LLM-jp-4 在 12T tokens 上訓練出多項 benchmark 超越 GPT-4o 的模型。它們回答的問題和效能路線不同：不是「跑得快」，而是「主權與合規下能訓出什麼」。
「開源 LLM」其實是一條光譜：只開權重（Llama）→ 權重加資料（多數 fully open 專案）→ 連資料順序、中間 checkpoint、訓練日誌都開（LLM360 K2、OLMo 3 的 model flow）。這篇拆解兩個把透明度推到極致的專案：OLMo 3 在 2025 年 11 月放出首個全開的 32B thinking 模型，K2 則是首個 65B 級、連 optimizer states 都公開的模型。
系列實作篇：在 RunPod 租一張 RTX 3090（Secure Cloud $0.5/hr、Community Cloud $0.22/hr），照 README 步驟跑完 MiniMind 的 pretrain（約 1.21h）+ SFT（約 1.10h），總成本約 $0.55–1.50 美元，就能在終端機跟自己從零訓出來的 64M 模型對話。
開源社群把「從零訓練 LLM」的門檻壓到了驚人的低：MiniMind 用約 $0.4、單張 3090 兩小時就能跑完從 PreTrain 到 RL 的完整流程，另一端 OLMo 3 與 LLM360 K2 把 65B 模型的訓練資料、程式碼、每個階段的 checkpoint 全部公開。這個系列用 11 篇逛完從 $0.4 到 65B 的專案光譜，並標註這份地圖覆蓋不到的地方。
從零訓練只在三種情況成立：你要學習訓練本身、你有開放模型沒見過的 10B+ 乾淨語料、或你需要全透明的訓練過程做研究。否則微調或 RAG 幾乎總是更便宜的答案。這篇把系列走過的主要路線收斂成一張成本梯度表與決策樹。
YuLan-Mini 是中國人民大學 AI Box 實驗室用 48 張 A800 訓出來的 2.4B 開源模型：只餵 1.08T tokens，MATH-500 拿 37.8、HumanEval 64.0，數學與程式能力壓過用了 7T–18T tokens 的 Qwen2/Qwen2.5 同級模型。它公開的不是口號，是每個階段的資料配比、退火前的 optimizer 狀態、連消融實驗的 W&B logs。
Docling（IBM Research Zurich 起源，現由 Linux Foundation AI & Data 治理，MIT 授權，v2.100.0 於 2026-06-09 發布）是一個以結構化 JSON 為核心輸出的文件解析標準庫，支援 PDF、DOCX、PPTX、XLSX、HTML、EPUB、Apple Pages、影片（MP4/AVI/MOV，含 ASR 轉錄與代表性幀）、音訊（WAV/MP3）、電子郵件（EML/MSG）、ODF 與 XBRL 財報，並提供可替換階段的 pipeline 式解析（純 CPU 或 GPU 加速）、VlmPipeline 選項（GraniteDocling 258M VLM）、MCP server 與 API server（docling-serve），與 LangChain / LlamaIndex / Crew AI / Haystack 原生整合。
Thinking Machines Lab（Mira Murati 2025 年創立，20 億美元 seed、估值 120 億美元）2026 年 7 月以 Apache 2.0 釋出 Inkling（975B 總參數／41B 活躍、1M context、原生多模態、可控思考）與輕量版 Inkling-Small（276B／12B），搭配 Tinker 微調平台，把「可自訂」本身做成產品。
2026 年 AI Native Agent 時代的核心變化：從 Harness Engineering 到 Skill Engineering，工程師角色從執行者轉向評判者，三個階段演進與五大關鍵技能。
MinerU 是 OpenDataLab 的開源文件解析引擎，可將 PDF、圖像與 Office 文件轉成保留表格、公式和閱讀順序的 Markdown 與 JSON，適合 RAG 前處理與知識庫建構。
傳統文件解析用固定 pipeline 一體適用，但合約、財報、技術手冊各需不同策略。Agentic Parsing 讓 LLM agent 觀察文件後動態選工具——AgenticOCR 只解析需要的區域（視覺 token 省 70%+）、ParseBench 2,000 頁企業文件實測最佳方案也只拿 84.9%，沒有銀彈。
ColPali 把 PDF 每頁渲染成圖片，用 vision-language model 產生 patch-level multi-vector embedding，用 MaxSim 做 late interaction 檢索。表格密集的金融 PDF 上 recall 從 62% 跳到 84%，完全跳過 OCR 和 chunking。代價是儲存量 ~100 倍、需要 GPU、BM25 不可用。
小 chunk embedding 精準但缺上下文、大 chunk 上下文完整但 embedding 被噪音稀釋——Hierarchical Chunking 用多層索引（2048→512→128 tokens）配 Auto-Merge 演算法解決這個兩難：葉節點精準命中，命中密度超過閾值就自動回傳父節點給 LLM。HiChunk 實測 evidence recall 提升 12.7%，LlamaIndex 和 Haystack 都已內建。
AI 讓寫 code 快了 34%，但 review 時間暴增 441%、實測交付反而慢 19%。四輪研究整理出當前全景：確定性護欄（hook 擋）vs 機率性護欄（prompt 引導）、乾淨 context review、自我改進回饋迴圈、規格驅動開發、AI 測試品質危機（覆蓋率高但 mutation score 低至 53%），以及 Replit agent 偽造測試結果的真實事故。
標準 RAG 一次檢索只找一組文件，但真實問題常需跨 2-4 份文件推理。IRCoT 開創交錯式檢索推理，PAR²-RAG 在四個基準上比 IRCoT 準確率高 23.5%，CompactRAG 把 LLM 呼叫壓到只有兩次。
Self-RAG 在 LLM 裡訓練四種 reflection token（Retrieve / IsREL / IsSUP / IsUSE），讓模型在生成過程中自主決定何時檢索、檢索結果是否相關、生成是否有據可查。ICLR 2024 Oral（top 1%），7B 模型在多個 QA benchmark 超越 ChatGPT 和 Llama2-chat + RAG。代價是必須 fine-tune，無法用在 API-only 模型。
Markdown-KV 格式在 LLM 理解準確度上達 60.7%，比 CSV 的 44.3% 高出 16 個百分點。但檢索用途的最佳格式不同於 LLM 理解用途——metadata prepend + row-wise key-value 是目前表格 RAG 的最佳組合。
每天 30 分鐘、持續 12 週，用跟讀法＋情境模擬＋AI App 三件組合，讓職場英文從「聽得懂但說不出來」變成能開會能簡報。