從零訓練一個 LLM：從 $0.4 到 65B 的專案光譜
開源社群把「從零訓練 LLM」的門檻壓到了驚人的低：MiniMind 用約 $0.4、單張 3090 兩小時就能跑完從 PreTrain 到 RL 的完整流程，另一端 OLMo 3 與 LLM360 K2 把 65B 模型的訓練資料、程式碼、每個階段的 checkpoint 全部公開。這個系列用 11 篇逛完從 $0.4 到 65B 的專案光譜，並標註這份地圖覆蓋不到的地方。
ai
1274 篇文章什麼時候該從零訓練 LLM：一張決策樹與完整的成本梯度
從零訓練只在三種情況成立：你要學習訓練本身、你有開放模型沒見過的 10B+ 乾淨語料、或你需要全透明的訓練過程做研究。否則微調或 RAG 幾乎總是更便宜的答案。這篇把系列走過的主要路線收斂成一張成本梯度表與決策樹。
YuLan-Mini：1.08T tokens 怎麼榨出 2.4B 參數的旗艦小模型
YuLan-Mini 是中國人民大學 AI Box 實驗室用 48 張 A800 訓出來的 2.4B 開源模型：只餵 1.08T tokens，MATH-500 拿 37.8、HumanEval 64.0，數學與程式能力壓過用了 7T–18T tokens 的 Qwen2/Qwen2.5 同級模型。它公開的不是口號，是每個階段的資料配比、退火前的 optimizer 狀態、連消融實驗的 W&B logs。
Agentic Parsing：讓 Agent 決定怎麼解析文件
傳統文件解析用固定 pipeline 一體適用，但合約、財報、技術手冊各需不同策略。Agentic Parsing 讓 LLM agent 觀察文件後動態選工具——AgenticOCR 只解析需要的區域（視覺 token 省 70%+）、ParseBench 2,000 頁企業文件實測最佳方案也只拿 84.9%，沒有銀彈。
ColPali：跳過 OCR，直接用圖片做文件檢索
ColPali 把 PDF 每頁渲染成圖片，用 vision-language model 產生 patch-level multi-vector embedding，用 MaxSim 做 late interaction 檢索。表格密集的金融 PDF 上 recall 從 62% 跳到 84%，完全跳過 OCR 和 chunking。代價是儲存量 ~100 倍、需要 GPU、BM25 不可用。
Hierarchical Chunking + Auto-Merge：小 chunk 搜得準，大 chunk 讀得懂
小 chunk embedding 精準但缺上下文、大 chunk 上下文完整但 embedding 被噪音稀釋——Hierarchical Chunking 用多層索引（2048→512→128 tokens）配 Auto-Merge 演算法解決這個兩難：葉節點精準命中，命中密度超過閾值就自動回傳父節點給 LLM。HiChunk 實測 evidence recall 提升 12.7%，LlamaIndex 和 Haystack 都已內建。
LLM 開發流程全景：瓶頸從寫程式移到驗證程式之後
AI 讓寫 code 快了 34%，但 review 時間暴增 441%、實測交付反而慢 19%。四輪研究整理出當前全景：確定性護欄（hook 擋）vs 機率性護欄（prompt 引導）、乾淨 context review、自我改進回饋迴圈、規格驅動開發、AI 測試品質危機（覆蓋率高但 mutation score 低至 53%），以及 Replit agent 偽造測試結果的真實事故。
Multi-hop Retrieval：當答案散落在多份文件裡
標準 RAG 一次檢索只找一組文件，但真實問題常需跨 2-4 份文件推理。IRCoT 開創交錯式檢索推理，PAR²-RAG 在四個基準上比 IRCoT 準確率高 23.5%，CompactRAG 把 LLM 呼叫壓到只有兩次。
Self-RAG：用 Reflection Token 讓模型自己決定要不要檢索
Self-RAG 在 LLM 裡訓練四種 reflection token（Retrieve / IsREL / IsSUP / IsUSE），讓模型在生成過程中自主決定何時檢索、檢索結果是否相關、生成是否有據可查。ICLR 2024 Oral（top 1%），7B 模型在多個 QA benchmark 超越 ChatGPT 和 Llama2-chat + RAG。代價是必須 fine-tune，無法用在 API-only 模型。
Table Serialization：表格該怎麼轉成文字才能讓 RAG 找到
Markdown-KV 格式在 LLM 理解準確度上達 60.7%，比 CSV 的 44.3% 高出 16 個百分點。但檢索用途的最佳格式不同於 LLM 理解用途——metadata prepend + row-wise key-value 是目前表格 RAG 的最佳組合。
Claude Code Routine 的 Connector 一直跳授權：created_via 欄位的隱藏差異
Claude 自己建的 Routine（created_via: meta_mcp）每次呼叫第三方 connector 都跳授權提示，使用者建的（created_via: http_api）不會。解法：用 RemoteTrigger API 重建 routine。
Ask AI 明明有課程地圖，為什麼列不完整：Catalog Query 的召回與收斂事故
「有哪些課程文章」第一次觀測被舊快取干擾；真正未命中的 request 已找回四所大學課程地圖，卻因三輪 Writer／Critic 重試花了 51.169 秒。修正 catalog 專用檢索與 review 契約後，一次未命中快取的 production observation 在 26.821 秒內通過 q21。
Ask AI 怎麼找到文章：Planner、Hybrid Retrieval 與 Retry
Ask AI 先由 Planner 抽出 intent、complexity 與 1–4 個搜尋詞，再依查詢型態走 metadata、BM25、Vectorize 與 RRF；第二輪搜尋會加入 Critic gaps，並關閉第一次才允許的 BM25 short circuit。
Ask AI 的文章怎麼進知識庫：Chunk、D1 FTS5 與 Vectorize
Ask AI 的 production 索引分兩階段：先用 source hash 增量更新 D1、post_chunks 與 FTS5，再以 embedding checkpoint 和 delete queue 讓 Vectorize 非同步追上；兩邊不是同一個 transaction。
Ask AI 的問題怎麼走完整條 RAG 管線：UI、API、Agent 與來源卡片
Ask AI 把一次提問拆成 UI、`/api/chat`、Planner、Research、Writer、Validation、Critic 與 Related 八段；回答文字、參考來源和延伸閱讀各有不同的產生與顯示條件。
Ask AI Retrieval Eval 怎麼做：Golden Contract、Fixture、Live Run 與證據邊界
Ask AI 把 golden contract、offline fixture、live SSE output 與 production observation 分開保存。fixture 全綠只證明 harness 可重現；public sources 可以量 expected-source recall，不能拿來宣稱看過 hidden ranked chunks 或 model-graded faithfulness。
Ask AI 上線後怎麼查問題：SSE、Trace、Cache、Checkpoint 與 Shadow
Ask AI 同一次請求有五種不同證據：公開 SSE、Langfuse trace、D1 log、semantic cache 與 hidden shadow run。它們看見的資料不同，單看任一層都不能還原完整 retrieval context。
Ask AI 何時才顯示來源：Validation、Critic、降級與 Source Gate
Ask AI 找到文章，不代表畫面就該顯示來源。回答要先通過 Markdown／URL 的確定性驗證，再通過 Critic 的相關性、意圖與 groundedness 檢查；任一門檻失敗，來源卡片就不送到前端。
Ask AI 怎麼把證據寫成答案：Writer Context 與 Citation Contract
Writer 預設只讀 factual query 的前 8 筆或 recommendation 的前 12 筆候選證據，引用必須使用候選集合中的 exact `source_url`；檢索為空或被判為 weak 時，prompt 要求拒絕用模型常識補答案。
Azure Container Apps Sandboxes
沙箱系列的雲端深入篇（order 14）。Azure Container Apps Sandboxes 的架構、snapshot 與 state management、lifecycle policy、與其他供應商的取捨，以及 Azure 生態整合優勢。