#ray

Ray Serve 自架推論服務：Python 服務圖、GPU 排程與自動擴縮

Ray Serve 是建立在 Ray 上的分散式 serving layer：用 deployment 與 handle 組合 Python 服務圖，配置 CPU／GPU replica、自動擴縮與模型多工；它負責編排，不取代 vLLM 或 SGLang 的 LLM 執行引擎。