Skip to content
所有標籤

#model-inference

4 篇文章

AI Agent GitHub Digest — 2026-10-13

morluto/rea(146,406★,今日 +45,495)連續第二天蟬聯 GitHub trending 第一,單日漲幅比昨天還猛;mksglu/context-mode(27,096★)用 MCP + hooks 把工具輸出塞進 sandbox 省 98% context;cathrynlavery/diagram-design(52,255★)讓 agent 畫出不用 Mermaid 的自訂品牌圖表;microsoft/BitNet(40,826★)持續優化 1-bit 模型的 CPU/GPU 推理。agno v3.1.3 讓 ClaudeAgent/CodexAgent 的 session 可以在任何 replica 續跑、背景執行、逐步重播。

AI Agent GitHub Digest — 2026-10-11

appwrite/appwrite(57,624★)從開發者後端 BaaS 轉型成直接開 MCP 介面給 agent 呼叫的雲;DeusData/codebase-memory-mcp(46,293★)用 AST+知識圖譜取代 embedding 式 RAG,單一 binary 把整個 codebase 索引成可查詢的 MCP server;Yeachan-Heo/oh-my-claudecode(39,768★)幫 Claude Code 補上原生沒有的 multi-agent 團隊編排層;sgl-project/sglang(36,965★)這波 trending 顯示 agentic workload 的 serving 需求已經是推理框架要優先優化的目標。agno v3.1.2 加入 Conversation Compaction 把舊對話摺成摘要,還新增了 Codex External Agent adapter。

AI Agent GitHub Digest — 2026-09-14

JustVugg/colibri 用記憶體多層調度把 744B–2.8T 參數的 MoE 模型塞進消費級硬體跑;tech-leads-club/agent-skills 想在 agent skill 變成下一個 npm 供應鏈風險之前先做好驗證;alphaXiv/OpenResearch 把 Claude Code / Codex 變成能跑實驗的研究員;calesthio/OpenMontage 用 agent 包辦從腳本到成片的整條影片產線;alibaba/open-code-review 用「規則引擎 + LLM agent」混合架構開源自家 code review 工具;Claude Code v2.1.269 把 Workflow tool 的並行 agent 上限拉到 256

aideep-dive

Baseten:從 Truss 打包到 Autoscaling 的模型推論生命週期

Baseten 把自訂模型的打包、GPU 部署、推論引擎、autoscaling 與發布流程收進同一平台;價值不在多一個 OpenAI API,而是讓 ML 團隊保留 runtime 控制權,同時少維護一層 GPU orchestration。