Skip to content

#token-budget

2 篇文章

ai guide 2026年3月12日

RAG 成本優化：把每次查詢的花費壓到最低

RAG 系統的成本來自 LLM token、Embedding API、向量搜尋。每個環節都有可以壓成本的地方，但要確認優化沒有犧牲太多品質。

#rag #cost-optimization #performance #token-budget #caching

ai guide 2026年3月12日

RAG 配額系統：用雙重限制控制 LLM 成本

只限制請求次數不夠，一個超長的查詢可能消耗掉十個普通查詢的 token。雙重配額（請求數 + token 數）才能真正控制成本。

#rag #quota #rate-limiting #token-budget #cost-control #cloudflare-workers