KV Cache 把已經算過的 key 和 value 存起來，decode 時就不必重算，但它每個 token 都要佔一份記憶體：以 Gemma 2 27B 為例，一個 token 約 0.72MB，A100 80GB 只夠放約 11.4 萬個 token。李宏毅接著整理了一串瘦身法：讓多個 query 共用 key/value（MQA、GQA）、把 key/value 壓成一個向量又不必解壓（MLA）、只看一段範圍（Sliding Window、StreamingLLM）、把沒人理的 key/value 丟掉（Scissorhands、H2O），最後講跨對話的 prompt caching：只有前綴完全相同才會命中，所以 system prompt 要把穩定的內容放前面。
Looplane 用靜態 model role catalog 提供候選順序，只對 retryable provider error 重試與 fallback；cache 是 provider hint 加 trace，cost 是靜態價表估算。三者都留下訊號，但都不是即時營運路由或帳單。
Claude Code 的 prompt caching 靠 prefix 完全匹配運作：命中時重讀計費約為標準 input 的 10%，但換模型、改 effort、開 fast mode、連斷 MCP server、整工具 deny 都會讓下一輪整段重算。TTL 預設五分鐘，訂閱方案的主對話與少數 helper requests 用一小時。
Hermes 支援 40 家以上供應商，其中「用消費者訂閱登入」的路徑最容易產生帳單意外：Anthropic OAuth 只吃 Claude Max 的加購額度、Claude Pro 根本不能用；auxiliary 任務預設 `provider: auto` 會走你的主模型，等於用貴模型做壓縮與視覺。fallback 鏈是每個 session 只觸發一次的一次性切換，不是持續重試。
OpenAI 詳解 Codex 的 agent loop 設計：prompt 如何建構、multi-turn 對話如何管理、prompt caching 如何避免成本爆炸，以及 context window 自動壓縮的實作。
OpenClaw 的容錯是兩階段：先在同一供應商內輪替 auth profile，再換模型。但真正決定行為的是「這個模型是誰選的」——你手動用 /model 選的模型是嚴格的，失敗就報錯，不會偷偷用別的模型回答你。