從 collective operations 組出資料、張量與管線平行｜Stanford CS336 第 7 堂
第七講不從 FSDP API 開始，而是用 broadcast、all-reduce、all-gather、reduce-scatter 與 all-to-all 建立通訊語言，再親手組出 data、tensor 與 pipeline parallelism。
ai
1274 篇文章ZeRO、FSDP 與 3D Parallelism 怎麼對齊硬體拓撲｜Stanford CS336 第 8 堂
第八講把平行化從原語提升到系統設計：ZeRO 逐階切 optimizer、gradient 與 parameter，TP/PP/SP/EP 再分別切 width、depth、sequence 與 experts；組合順序必須服從網路拓撲與動態 activation memory。
先算 FLOPs 與記憶體，再談模型跑不跑得動｜Stanford CS336 第 2 堂
第二講把模型訓練還原成 tensor、FLOPs、bytes 與時間：用 einops 管維度，以 arithmetic intensity 和 roofline 判斷瓶頸，再用 gradient accumulation 與 activation checkpointing 交換運算和記憶體。
RLVR 用可驗證獎勵擴大推理，但 GRPO 不是免費的 PPO｜Stanford CS336 第 16 堂
第十六講從 PPO 走到 GRPO 與 RLVR：數學、程式碼和環境結果提供可規模化 reward，避開一般偏好模型的部分 overoptimization；但 group-normalized advantage 會引入難度與長度偏差，rollout infrastructure 也成為主要成本。
Scaling law 不是水晶球，是小實驗的外推工具｜Stanford CS336 第 9 堂
第九講從資料量與 error 的 log-log 線性關係出發，說明 scaling law 如何比較架構、optimizer、batch 與模型資料配置；Chinchilla 爭議也示範擬合方法、資料範圍與部署目標會改變答案。
Scaling law 落地時，learning rate 與 batch 也要一起縮放｜Stanford CS336 第 11 堂
第十一講從 MiniCPM、DeepSeek、Qwen 與 Llama 3 的公開 recipe 拆解 scaling 實務：先固定大多數架構比例，再用小規模 sweep 找 learning rate、batch 與 IsoFLOPs 配置；μP 有用，但會被 normalization、optimizer 與 weight decay 破壞。
SFT 教模型模仿，RLHF 才開始直接最佳化偏好｜Stanford CS336 第 15 堂
第十五講把 post-training 拆成 imitation 與 optimization：SFT 從 instruction-response data 抽出預訓練已有能力，RLHF 用 pairwise feedback 跨過人類示範與偏好之間的落差；PPO 與 DPO 都逃不掉資料偏差、reward overoptimization 和 mode collapse。
Daytona Agent Sandbox：把每個 Agent 分到一台可分支的電腦
Daytona 把 sandbox 設計成可啟動、暫停、快照與 fork 的長生命週期電腦；2026 年完成 2,400 萬美元 A 輪，Laude Institute 案例一週建立 3.7 萬個 sandbox。它適合平行評測與 coding agent，但核心開源 repo 已停止維護，不能再把託管版與可自架版視為同一件事。
Deepgram Voice Agent API：從串流 STT、Turn Detection 到 TTS
Deepgram 把 streaming STT、LLM orchestration、turn detection、barge-in 與 streaming TTS 放進單一 WebSocket，也保留分開採用語音模型或 BYO LLM／TTS 的路徑。
Dify 低程式碼 Agent 平台：從 Workflow 實作到 AI 應用發布
Dify 把模型、Knowledge、視覺化 Workflow、Agent、Plugin 與應用 API 放在共同 workspace；本文會實作一條可測試、發布並由 API 呼叫的最小 Workflow，再說明何時才該換成 Agent。
DSPy：用 Signature、Metric 與 Optimizer 編譯 AI 程式
DSPy 不把 prompt 當手寫字串，而以 Signature 宣告任務、Module 決定執行策略，再用資料集與 metric 讓 Optimizer 編譯出較好的提示與示例。
E2B Agent Sandbox：把模型產生的程式碼關進可恢復的 microVM
E2B 把 Template、Firecracker microVM 與檔案／程序／網路 API 組成 agent 專用執行層；真正的選型優勢是可暫停並保留記憶體與程序，而不是單純多一個 code interpreter。
ElevenLabs ElevenAgents：從即時語音到電話 Agent 的完整生命週期
ElevenLabs 已從 TTS 供應商擴成 ElevenAgents 平台：Scribe Realtime 收音、Flash 合成語音，再把 LLM、turn-taking、工具與電話整合收進同一條即時管線；選型關鍵是你要聲音品質，還是整個 agent 控制面。
Fireworks AI：從 Serverless API 到客製模型部署的推論平台
Fireworks AI 把開放權重模型的試用、專用 GPU 部署與 LoRA 客製化放在同一套 API 後面；Serverless 適合低流量起步，On-demand 適合穩定高流量與自有模型，保留容量則換取企業級的容量保證。
Flowise 深入介紹：從 Assistant、Chatflow、Agentflow 到 EOL 遷移判斷
Flowise 用 Assistant、Chatflow 與 Agentflow 三個入口涵蓋簡易助理、單一 Agent 和多 Agent 編排；但官方已在 2026 年 8 月封存 repository，並排定 8 月 31 日 EOL，新案不應在沒有維護 fork 與遷移方案時採用。
Galileo 深入介紹：Experiments、Evaluators 與 Agent Observability 的完整評估迴圈
Galileo 把 dataset experiment、LLM/code/Luna evaluator、production traces 與 runtime guardrail 接成一個迴圈；適合需要企業級可觀測性與線上介入的團隊，但舊 Protect 名稱已 deprecated，評分模型也不能取代人工校準與應用安全。
2026 下半年 Harness 大戰：八大框架重寫、三家模型商入場，110+ CLI 怎麼看
2026 年 8 月，不只五個框架在動。OMP 2、Pi v2、Opencode 2、dsh、Claude Code 之外，Google（Antigravity CLI）、Meta（Muse Code）、xAI（Grok Build）三家模型商直接下場做 coding agent，加上 Amp、Cline 2.0、Codex CLI Rust 重寫，共八個以上框架同時有架構級變動。再算進 110+ 個 CLI 工具，H2 2026 是 harness 方法論的分裂期。本文從四條架構路線、一個共同方向、一場信任危機拆解。
Haystack 深入介紹：用 Component 與 Pipeline 組出可測試的 RAG
Haystack 把 indexing、retrieval、generation 與 evaluation 都做成可替換的 Component，再用 directed multigraph Pipeline 串接；適合要把 RAG 流程當成程式資產測試、版本化與部署的 Python 團隊。
Helicone 深入介紹：把 LLM Gateway、請求追蹤與成本分析放在一起
Helicone 是開放原始碼的 LLM Gateway 與觀測平台：請求經過相容端點後，自動留下模型、延遲、token、成本與自訂欄位；它也能用 managed credits 或 BYOK 路由與 fallback。
Hugging Face 不只是模型下載站：Hub、Datasets、Spaces 與 Inference 怎麼分
Hugging Face Hub 是以版本化 repository 串起模型、資料集與應用程式的協作層；Datasets 管資料，Spaces 跑展示程式，Inference Providers 與 Endpoints 才負責代管推論。