資料平行每張卡都存一份完整的參數、梯度和 optimizer state；用 Adam 混合精度訓練時，每個參數約要 20 bytes，其中 16 bytes 是 optimizer 相關，LLaMA-3 8B 光這些就要 160GB。CMU 11-868 L18 以 ZeRO 論文為主軸，逐格動畫示範三個階段：ZeRO-1 切 optimizer state、ZeRO-2 再切梯度、ZeRO-3 連參數也切。投影片的結論是前兩階段不增加通訊、最多省 8 倍記憶體；第三階段每張卡的用量隨 GPU 數下降，代價是投影片估的約 3 倍通訊。
長時間研究時，agent 面臨「上下文窒息」：資訊堆積、噪音增加、注意力被稀釋。IterResearch 用馬可夫狀態重建解決這個問題，AREX 用內外雙循環實現遞迴自我改進。兩者回答同一個問題：agent 怎麼在數百輪搜尋後依然保持清晰？
Agent Memory 是 Cloudflare 的 private beta 服務，用來讓 agent 跨對話記住使用者、團隊、專案與任務脈絡。它適合存 facts、events、instructions、tasks；RAG 文件、產品資料、檔案和 audit log 仍應該放在 AI Search、Vectorize、D1 或 R2。
Looplane 先在應用程式層解析 user 與 root-to-leaf 專案 instructions，再把 runtime、skills、workspace 與最近 20 筆 explicit memory 放進具名 prompt sections。這套流程可追蹤、可 reload，但不是 semantic memory，也不會把 repo 文字升格成 system authority。
Cognee 是資料到 AI memory 的 pipeline：用 relational store 保存來源與 provenance、vector store 找語意相近內容、graph store 表達 entity 關係，再以 remember、recall、improve、forget 管理生命週期。
Letta 延續 MemGPT 的作業系統類比，但它不是單一 memory API：agent state、可編輯的 in-context memory blocks、conversation history 與外部 archival memory 都由 runtime 持久化，模型也能透過工具主動整理記憶。
Mastra 是 TypeScript agent 框架，將 agent、typed workflow、memory、MCP、tracing 與 scorers 放進同一套 Node.js 開發環境。
Mem0 是介於 agent 與儲存層之間的記憶服務：從對話抽出值得保留的事實，以 user、agent、run 分區，再於下一次生成前搜尋；優勢是 API 簡單，風險則是抽取錯誤、過期記憶與權限邊界。
Zep 的核心不是向量化聊天紀錄，而是把 episode 抽成帶有效時間的 entity 與 fact，讓新資訊使舊關係失效但不抹掉歷史；Graphiti 是開源核心，Zep 則是代管與治理層。
Hermes 的記憶是硬上限的：MEMORY.md 2,200 字元、USER.md 1,375 字元，寫爆不會自動壓縮而是回錯誤讓 agent 自己騰位子。技能則由 curator 背景維護，預設 7 天跑一次、只在閒置 2 小時後啟動，30 天未用標 stale、90 天封存——但從不刪除。真正該打開的開關是 `memory.write_approval` 與 `skills.write_approval`，它們把背景自我改進的寫入變成待審。
Chroma 測了 18 個前沿模型，全部隨輸入變長而跳崖式退化。記憶失效多半是檢索失效偽裝的。而 KV cache 的真正成本是頻寬不是儲存——decoding 每產生一個 token 都要讀過整個 cache。
MUSE-Autoskill（2026）提出五階段 skill 生命週期框架，自創 skill 在 SkillsBench 達 60.35%（+7.16%），成功生成 skill 的任務上更達 87.94%，超越人工撰寫上限。本文整合六篇 arXiv 論文，梳理 skill evolution 研究全景。
Agent 的記憶不是一個插件，而是 harness 本身的一部分。選對記憶類型、估算資料量、再決定用什麼技術——最後，也要搞清楚你是否真的擁有那份記憶。
預設下所有 DM 匯進同一條「主 session」，群組活動與背景工作都往那裡回報。記憶則完全是磁碟上的 Markdown——模型只記得被寫下來的東西，沒有隱藏狀態。但如果不只你一個人能私訊它，DM 隔離是必須主動打開的。
Context Engineering 是 2025 年取代 Prompt Engineering 的核心概念：重點不再是「怎麼問」，而是「給什麼資訊」。把對的資訊在對的時機送進 context window，比換更強的模型更有效。這篇整理了定義、四大策略、實作技巧和常見失敗模式。
RAG 是唯讀的。Agent Memory 讓 AI 不只能讀，還能寫入和持久化資訊。三種記憶類型：Procedural（行為模式）、Episodic（時間事件）、Semantic（事實知識），構成完整的認知記憶系統。
AI Agent 不是黑盒子——它由三層構成：知道什麼（Context）、怎麼想（Cognition）、能做什麼（Action）。搞清楚這三層，才能理解 agent 為什麼有時聰明、有時失控，以及怎麼設計一個真正好用的 agent 系統。
聊天機器人不只是接 API。對話狀態管理、記憶機制、Streaming、Guardrails、可觀測性、tech stack選型，每一層都影響使用者體驗。
每次對話後，異步提取使用者可能的偏好和程度，下次查詢時自動個性化搜尋條件，不需要使用者手動設定。