Skip to content
所有標籤

#speculative-decoding

1 篇文章

CS224N 第 13 講:Speculative Decoding 與 Test-Time Scaling

第 13 講從推論效率走到推論能力:speculative decoding 用小模型草擬、大模型驗證;on-policy distillation 處理資料漂移;長上下文與 test-time scaling 則用更多推論資源換取表現。