NVIDIA DGX Spark：桌上型 AI 超級電腦，把一個 petaFLOP 塞進你的桌面
NVIDIA DGX Spark 搭載 GB10 Grace Blackwell Superchip，128GB 統一記憶體，提供 1 petaFLOP FP4 算力，售價約 $3,999 美元起。適合開發者在本地跑 200B 參數模型、fine-tune 70B 模型，是目前最容易入手的 NVIDIA AI 開發平台。
#gpu
2 篇文章vLLM — 從 PagedAttention 到生產級 LLM 推論引擎
vLLM 用 PagedAttention 解決 KV cache 記憶體浪費問題，搭配 continuous batching 和 prefix caching，成為目前最主流的開源 LLM 推論引擎。