Skip to content
所有標籤

#state-forking

1 篇文章
aideep-dive

決策模型怎麼服務才快:Flide 的狀態分岔、適用情境與限制

同一份上下文要問多題時,Flide 只算一次共用狀態再分岔給每一題,答案與單獨問一致;最佳情況比 vLLM、SGLang 快 9.5 倍,多題共用狀態的負載平均約 1.3 到 3.3 倍,每個輸入只問一題時只剩約 1 到 3 倍。