今天的 ML System Design 輪練涵蓋四個核心概念:feature store 要同時記錄 event time 跟 available time 兩個時間戳才能保證 point-in-time correctness,只過濾 event time 還是會洩漏未來資訊;serving 端要把延遲預算拆成明確的子預算(lookup、scoring、回應),並且版本化 model/feature schema/fallback 三者綁在一起;data drift(輸入分布變了)跟 concept drift(輸入輸出關係變了)偵測方式不同,前者從特徵分布就看得出來,後者通常要等標籤到位;監控要分三層——operational(延遲/錯誤率)、data(特徵分布/缺失率)、model(預測分布/實際準確度),標籤延遲長的場景要靠前兩層當早期預警。練習題改編自 Amazon MLE 面試準備指南裡的真實情境:一筆特徵在被使用當下,必須同時滿足『事件發生時間』與『系統可取用時間』都不晚於預測當下,才算是 point-in-time correct,練習怎麼在系統設計面試裡講清楚這個判準。
今天的 ML System Design 輪練聚焦在多數候選人會跳過的監控段:資料飄移(輸入分布變了)跟概念飄移(輸入跟答案的關係變了)是兩種完全不同的壞法,要用不同的偵測跟修復手段;監控要疊四層(特徵分布、預測分布、有延遲標籤的效能指標、業務指標)才不會等到營收掉了才發現模型早就壞了;A/B 測試常見的三個陷阱是流量分配不均、外部因素干擾、統計顯著性算法選錯;警報響了之後最容易被忽略的問題是自動重訓會不會製造回饋迴圈,讓模型的錯誤預測反過來汙染下一批訓練資料。練習題是 Aced(原 Exponent)收錄的 TikTok 真實面試題「設計一套模型監控系統」,拆解思路把飄移偵測、分層監控、警報後的決策樹串成一套完整答案。
ML System Design 面試考的不是你會不會畫架構圖,而是你能不能把每一層的取捨講清楚。今天聚焦四個高頻考點:feature store 如何保證 training/serving 一致性、部署策略要怎麼分層選擇並設計 rollback 觸發條件、監控要拆成 system/data/model 三層並用 PSI/KS test 抓 drift,以及線上推論的 latency 預算怎麼分配。練習題是「設計一個電商即時推薦服務」,走一遍從釐清需求、估算流量、到 feature store 與部署策略的完整設計。
ML system design 面試考的是把商業目標翻譯成完整的機器學習系統,不是背 buzzword。今天聚焦四塊高頻考點:feature store 的 online/offline 雙軌與 point-in-time correctness、線上推論的延遲預算與 shadow mode、A/B test 該用什麼隨機化單位與怎麼分辨 novelty effect,以及用 PSI 偵測 data drift 和 concept drift 的差別。
ML System Design 面試的核心不是選模型,而是怎麼把一個商業目標變成一個可上線、可監控、可迭代的 ML 系統。面試官想看你能不能:把業務目標翻成 ML 目標、設計 data pipeline 和 feature store、選擇合理的 serving 策略、規劃 monitoring 和 A/B testing。