今天的 ML System Design 輪練涵蓋四個核心概念：feature store 要同時記錄 event time 跟 available time 兩個時間戳才能保證 point-in-time correctness，只過濾 event time 還是會洩漏未來資訊；serving 端要把延遲預算拆成明確的子預算（lookup、scoring、回應），並且版本化 model／feature schema／fallback 三者綁在一起；data drift（輸入分布變了）跟 concept drift（輸入輸出關係變了）偵測方式不同，前者從特徵分布就看得出來，後者通常要等標籤到位；監控要分三層——operational（延遲/錯誤率）、data（特徵分布/缺失率）、model（預測分布/實際準確度），標籤延遲長的場景要靠前兩層當早期預警。練習題改編自 Amazon MLE 面試準備指南裡的真實情境：一筆特徵在被使用當下，必須同時滿足『事件發生時間』與『系統可取用時間』都不晚於預測當下，才算是 point-in-time correct，練習怎麼在系統設計面試裡講清楚這個判準。
Strategy & Execution 面試題最容易讓人掉進的陷阱，是看到『競爭對手功能更好』就急著列一堆『我們也要做』的功能清單，卻沒有先問這場仗真正在哪個戰場打——是功能差距，還是商業模式本身就被對手的免費贈品壓垮。今天練一道真實的 Google PM 面試題：『你是 Zoom 的 CPO，面對 Google Meet 的激烈競爭，你會怎麼做？』答案骨架用六步框架——先釐清時間範圍與『贏』的定義，再錨定 Zoom 真正靠什麼賺錢（企業席次訂閱與黏著度，不是視訊畫質），接著拆穿真正的威脅其實是 Google Meet 被免費綁進 Workspace 的零成本通路優勢，不是功能落後；再設下『不跟著拼免費視訊規格』這類會排除選項的原則，篩出方案、拍板並主動點出最強的反對意見。案例是 Zoom 自己在 2025 年 9 月做的真實選擇：把 AI Companion 開放給使用者在 Microsoft Teams、Google Meet 上也能用，不要求對方先換到 Zoom——等於承認『贏視訊會議』已經不是正確戰場，改把自己定位成跨平台的工作智慧層。
今天的 Deep Learning & NLP 輪練涵蓋四個核心概念：self-attention 用 Query/Key 內積算相似度再乘 Value 做加權，複雜度隨序列長度成平方成長；causal mask 跟 padding mask 是兩種完全不同用途的遮罩，一個管「能不能看未來」一個管「要不要理會填充值」；subword tokenization（BPE/WordPiece）靠拆成已知子詞單元解決 OOV，但 token 數會隨語言的 fertility 而不同；RNN 跟 Transformer 的根本差異是序列狀態用「固定大小隱狀態」還是「可隨時回看任一位置」來處理長距依賴。練習題是面試常考的場景題：GPT 只用了 Transformer 的 decoder、靠 causal attention 做自回歸生成，拆解思路把「為什麼只用一半的架構」到「KV cache 怎麼讓推論變快」串成一套完整推理鏈。
Metrics & Analytics 面試裡最容易被題目牽著走的陷阱，是面試官先丟出一個「聽起來合理」的指標（像平均觀看時長），然後問你要怎麼拉高它——但真正該做的第一件事，是先質疑這個指標本身對不對，而不是急著想方案。今天練一道真實的面試案例題：「Netflix 想要拉高平均觀看時長，這是對的指標嗎？」答案骨架用指標樹三層架構（北極星→輸入→護欄）搭配 vanity metric 三問——數字上升代表使用者真的拿到更多價值嗎、團隊能解釋並影響驅動它的因素嗎、有證據連結長期結果嗎——先拆穿「觀看時長變長」可能是使用者找不到想看的內容、在首頁瞎滑（decision paralysis），而不是真的更滿意。案例是 Atlassian 的 Rovo 企業搜尋：他們把北極星指標定義成 Query Success Rate（使用者是否真的找到答案，融合點擊、停留時間與按讚倒讚），並把「相關性」當成護欄指標，而不是直接拿搜尋量或查詢次數當目標——正是今天題目要考的『別把活動量誤認成價值』的真實版本。
今天的 ML Fundamentals 輪練涵蓋四個核心概念:bias-variance tradeoff 要看 train/validation 的差距大小來判斷該往哪個方向調、L1 regularization 靠固定梯度把權重壓到剛好等於零(L2 的梯度隨權重縮小只會逼近零)、cross-validation 策略要依資料型態換(分類用 StratifiedKFold、時間序列用 TimeSeriesSplit、同時做超參數搜尋跟效能評估要用 Nested CV 避免過度樂觀)、以及 AUC-ROC 跟 PR-AUC 在資料不平衡時給出完全不同的訊號。練習題是 Amazon／Meta／Google 面試迴圈常出現的經典題:模型的 AUC-ROC 很高但 precision 很低,這代表什麼、你會怎麼處理,拆解思路把「先懷疑哪裡」到「怎麼用 PR curve 取代 ROC 做診斷」串成一套完整推理鏈。
Product Sense 面試裡最容易踩的陷阱，是看到一組『數字很漂亮』的使用者 segment，就直接跳去想『要幫他們做什麼新功能』，卻沒有先問『這群人現在到底是被滿足了，還是只是沒有更好選擇』。今天練一道情境題：Instacart 資料顯示 35–44 歲、家有小孩的訂閱家庭訂單頻率與客單價都明顯高於其他族群，但 App 裡完全沒有為這群人設計的介面。答案骨架用使用者問題框架（現況→痛點→根因→機會）先把『高頻高單』跟『需求被滿足』拆開討論，再用 Reach × Underserved Degree 矩陣判斷這個 segment 現階段真正的優先順位，避免把『已經做得不錯的地方』誤判成『還有大機會的地方』。案例是 Airbnb 的 Categories——2022 年把首頁搜尋改成瀏覽 56 種小眾住宿主題（樹屋、城堡、小島），用 ML 加人工把六百萬筆房源裡的四百萬筆分類進去，成功讓原本『沒人知道自己想要』的小眾住宿需求被看見；但 2023 年 Airbnb 擴張成 Homes、Experiences、Services 三大產品線後，Category search 的效用跟著下降，2025 年 9 月被正式收掉，換成傳統搜尋框加三個分類頁。
2026 年多篇追蹤 AI agent 生產事故的報告都指出同一種失敗模式：agent 一旦拿到『能動手』的能力（建工單、發通知、寫資料庫），卻缺一層強制的執行邊界，detection 永遠發生在傷害造成之後。今天用『alert-to-ticket agent 遇到第三方 API 回傳格式異常的 5xx，判斷成可重試錯誤，從凌晨 2 點重試到早上 7 點，建出 327 張重複工單、帳單是平常同期的 38 倍』走一輪完整 STAR——核心是先用 feature flag 止血、再把根因拆成『沒有 step limit、沒有 idempotency key、沒有 cost alert』三層分開修，而不是重啟服務草草結案。並回顧本週 ML Fundamentals、Deep Learning、ML System Design、LLM & Agent Engineering、Coding、Paper Reading 六天的練習重點——這週七天全數產出，沒有缺口。
Behavioral 面試裡最常漏分的不是故事不夠精彩，而是講到『沒做到的那次承諾』時，忙著替自己辯護，沒先把責任切清楚。今天練一道 Amazon PM Bar Raiser 真題：『說一次你沒能達成承諾的經驗——原因是什麼、造成了什麼影響、事後你會怎麼做不同？』答案框架是 STAR 搭配一個額外動作：把『當時能控制的決定』與『不在你控制範圍內的外部因素』明確切開，再講清楚事後改了什麼系統性流程，而不只是『我學到了』。案例是 Netflix 2011 年的 Qwikster 事件——Reed Hastings 宣布把 DVD 租借拆成獨立品牌 Qwikster 後單季流失約 80 萬訂閱戶、股價從高點重挫近 77%，三週內被迫撤回分拆決定並公開承認『搞砸了』，這正是『公開承認失敗、快速止血、保留信任』的真實教材。
今天練的論文提出 ISE（Identify / Solve / Escalate）框架,專門評測 agent 在 retrieved evidence 跟自己的 parametric knowledge 打架時,會不會老實講。核心反直覺發現：測了四組 agent（Nemotron-ToolOrchestra、Claude Code、OpenHands、Qwen-Agent 兩種尺寸）之後,準確率越高的組態 Escalate rate 反而越低——Claude Code 在 BrowseComp 上認出衝突的 F1 高達 90%,但最終答案承認不確定的比率是 0%；OpenHands 在 GAIA 上則是三個維度全部掛零,顯示它根本就不處理衝突、直接忽略。作者也測了最輕量的介入——在 system prompt 加一段「要求承認不確定性」的句子——Escalate rate 可以從個位數衝到 60% 以上,但準確率平均要賠掉 6-7 個百分點。這題適合用來準備「你怎麼評測 agent 誠不誠實」「RAG 遇到矛盾來源怎麼辦」這類在 LLM Engineering 和 System Design 環節都會被問到的題目。
Technical PM 面試考 API 設計，真正要看的不是你會不會畫架構圖，而是你怎麼在『不能打斷任何一個現有整合』的前提下，還能讓系統往前走。今天練一道改編自 Stripe 真實歷史的題目：『你要把一個布林欄位換成列舉欄位，但已經有數千個第三方整合依賴舊格式，你會怎麼規劃這次變更？』答案框架是 Use Case → Contract → Compatibility → Operability → DX：先搞清楚誰在呼叫、呼叫的契約是什麼，再決定相容策略、維運成本與開發者體驗怎麼兼顧。案例是 Stripe 自 2011 年公司成立起維護所有 API 版本的相容性，不用 v1/v2/v3 大版號，改用以日期命名的 rolling version，把每次破壞性變更封裝進獨立的 version change module，六年內做了近百次破壞性升級，對現有整合幾乎無感。
今天的 Coding 輪練換個方向，從前幾週已經練熟的推論排程、tokenizer、sampling 轉向 LLM API gateway 另一個幾乎每家公司都要自己刻的元件：token bucket rate limiter。跟一般 API 限流不同，LLM API 的限流單位是 token 而不是請求數（OpenAI、Anthropic 都用 TPM／RPM 雙軌限制），單一請求的 cost 可能是幾千個 token，不是固定的 1。核心概念涵蓋 lazy refill（檢查時才用經過時間 × refill rate 計算補了多少 token，不用背景 timer）、check-then-deduct 的 race condition（多執行緒同時檢查餘額會超放）、單次請求 cost 超過 bucket 總容量時的邊界處理，以及延伸到多台 API gateway 實例共享同一組 quota 時，怎麼用 Redis Lua script 做跨機器的原子操作、並用 Redis 自己的時間而非各台機器的本地時鐘。練習題來自 AI Engineering 面試題庫收錄的真實題目。
Growth & Experimentation 面試真正在考的不是會不會跑 A/B test，而是看到一個漂亮的提升數字時敢不敢先問『代價是什麼』。今天練一道 Stripe、Notion、LinkedIn 都設過的 Growth PM 面試陷阱題：『你的 A/B 測試顯示啟用率（activation rate）提升 12%，要不要上線？』答案框架是替每個實驗配對 Primary Metric 與 Guardrail Metric——如果啟用門檻被悄悄降低，這週數字很漂亮，下個月流失率就會補繳回來。案例是 Auth0 讓 Growth Marketing 與 Developer Productivity 兩個團隊互相審查彼此的實驗設計，第三次「Product Tour」實驗裡主動幫自己加了一個原本沒人要求的 drop-off 守門指標，才沒有把啟用率衝高卻把真正想要的使用者趕去別處。
今天的 LLM & Agent Engineering 輪練涵蓋四個核心概念：workflow 跟 agent 的分界其實是一條 agency 光譜，多一分自主性就多付一分可預測性、延遲跟成本；agent loop 的四個組件(model、tools、context、stop conditions)裡最容易被忽略的是 forced stop 跟完成前的驗證；context engineering 的核心是把 prompt 當 API 設計，instructions 放在資料前面、用 delimiter 隔開不信任內容、搭配 lost-in-the-middle 的版面安排；agent 評估要做到 span-level scoring(工具選對沒有、檢索相不相關)而不是只看最終答案對不對，因為 tracing 跟 evaluation 是兩件事。練習題是改寫自 GitHub 上 AI-Engineer-Interview-Questions 題庫的 agent 設計與評估情境(自擬整合，非公司洩題)：設計一個會呼叫建工單工具的企業知識庫客服 agent，拆解思路把「先判斷該不該用 agent」到「評估設計不能只看最終輸出」串成一套完整的推理鏈。
AI Product Design 面試常考的不是『要不要做人機協作』，而是『這個任務到底該交給 AI 還是留給人』的具體拆解能力。今天練一道 Amazon AI PM 面試真題：『上線前三週，模型評估顯示在邊緣案例上有明顯的幻覺比例，你的下一步是什麼？』答案框架是 Human-AI Task Allocation：先用『錯誤代價』與『使用者能否自行核查』兩個維度，把功能拆成 AI 自主執行、AI 輔助加人工審核閘、人類主導三個桶，再決定要不要為了邊緣案例延遲整個上線。案例是 WorkStep 的『Retain』產品：客戶每月收到上千則員工意見，人根本看不完，Neuron 重新設計後讓 AI 負責掃描跟安全、騷擾、歧視相關的字詞把留言挑出來，但『怎麼回應』完全留給人——這個分工讓客戶規模一年內成長近 400%。