Lambda Cloud 的核心是 Linux GPU VM 與多節點 1-Click Cluster。單台 instance 適合 notebook、fine-tuning、prototype inference；cluster 可選 Kubernetes 或 Slurm 等環境，面向 distributed training 與較大規模 serving。
這裡的 Lambda 是 GPU 公司，不是 AWS Lambda。它提供算力與預配置平台，卻不等於「上傳模型就有 autoscaling API」。
VM 模式最直接，也最容易留下隱性狀態
On-Demand Cloud 讓你取得 SSH/Jupyter 可用的 GPU VM。這對研究迭代很快，但手動 pip install、直接改 notebook 與只存在 root disk 的 checkpoint 都不可重現。以 OCI image 或 lockfile 固定環境，啟動由 script/IaC 完成，資料與 checkpoint 定期同步到 durable storage。
停止 instance 前要分清 stop、terminate 與 storage lifecycle；不要假設 VM 關閉後資料一定保留。API key、SSH key 與 cloud credential 採短效、分環境與最小權限，Jupyter 不直接暴露 public internet。
Cluster 的瓶頸通常不在單卡 FLOPS
1-Click Cluster 提供多 GPU node。訓練驗收要跑實際 framework 的 all-reduce、dataset read、checkpoint write/restore 與 node-failure recovery。GPU utilization 低時，先查 data loader、CPU/RAM、network topology 與 storage，而不是立刻加卡。
Managed Kubernetes 預裝 GPU/Network Operator、InfiniBand/RDMA 與共享儲存能力；Slurm 則適合 queue-oriented batch/HPC。選擇依既有 workload 與操作能力，不要為了 Kubernetes 生態把一次性 training job 包成長駐微服務。
跟其他 GPU 雲怎麼選
Lambda Cloud 適合需要直接 VM/cluster、熟悉 Linux、會自管 training 或 inference stack 的團隊。需要 Kubernetes 平台與更完整雲服務可比較 CoreWeave/Nebius；零散廉價 GPU 與快速 prototype 可看 RunPod；只想用模型 API 可看 Replicate。
採購前驗證 region/型號容量、reservation、interconnect、shared storage、egress、support 與 quota。用同一 container、dataset shard 與 checkpoint 跑端到端 benchmark，計算完成一次有效 training step 或千次成功 inference 的成本，而不是只比標價。
參考資料
Loading...