Product Builder 面試日練 — 2026-09-22:Metrics & Analytics

🌏 English version

今日主題

Metrics & Analytics 面試最常見的失敗模式,不是候選人不會講框架,而是看到「某個指標漲了」就直接下結論「這是好的改動」,完全跳過「這個指標背後代表什麼,有沒有其他指標一起變差」這一步。面試官真正想看的,是你能不能分清楚一個指標體系裡誰是北極星、誰是用來解釋北極星的驅動指標、誰是用來防止你把公司帶偏的護欄指標——而不是把所有數字混在一起,看哪個漲就說哪個對。

這個主題在面試中重要,是因為它區分了「會唸出 AARRR 五個字母的產品人」跟「真的知道怎麼用指標做決策的產品人」——後者才是面試官在找的那種人,因為現實世界裡每個決策幾乎都會讓某些指標變好、某些指標變差,不會拆解取捨就永遠做不出可辯護的判斷。

核心框架速記

AARRR(海盜指標)

拿到「幫我看這個產品的健康度」這類開放題時,用這五步把使用者生命週期拆開,逐段檢查:

面試時的用法:AARRR 的價值不在於背五個字母,而在於逼自己在拿到「成長停滯」這種模糊題目時,先問「是哪個階段卡住」,而不是直接跳去猜功能。

指標樹(北極星 → 驅動指標 → 護欄指標)

當題目給的是「這個 A/B 測試該不該上線」或「這個指標漲了代表什麼」時,先用三層指標樹釐清每個數字的角色:

1. 北極星指標:整個團隊對齊、唯一用來做最終決策的那一個指標,通常直接連結長期商業價值(例如「使用者留存」而非「單日點擊」)
2. 驅動指標:能解釋北極星指標為什麼漲跌的中間變數,通常是漏斗裡的某個環節(例如活化率、單次使用深度)
3. 護欄指標:不能因為優化北極星而犧牲的底線(例如客訴率、退貨率、內容多樣性),漲跌超過門檻就該喊停,即使北極星指標本身在變好

面試時的用法:被問「這個實驗上不上線」時,先講你會怎麼把相關數字分進這三層,再說明你的決策規則(北極星顯著變好 + 護欄指標沒有顯著惡化才上線)——這樣面試官會看到你不是只看單一數字漲跌,而是有一套判斷紀律。

今日練習題

題目

「你們電商團隊做了一個新的結帳流程 A/B 測試。結果顯示:實驗組(新流程)的營收比對照組高出 6%,但客戶滿意度(CSAT)分數卻下降了 2 個百分點。你的主管問:『這個要不要上線?』」

(來源:自擬,情境設計參考 DataExpertise「Data Science Case Study Interview Questions 2026」中 A/B 測試指標取捨題型)

拆解思路

1. 釐清問題:先問——這個 6% 的營收上升跟 2 個百分點的 CSAT 下降,分別有沒有做顯著性檢定(p-value 跟信賴區間)?樣本量夠不夠支撐這兩個結論同時成立?CSAT 的調查是問卷觸發在結帳完成後,還是包含還沒下單就離開的使用者?
2. 定義使用者:把使用者拆成「完成購買的使用者」跟「進了新流程但沒完成購買的使用者」分開看——營收上升可能來自後者變少放棄(轉換率提升),也可能來自前者花更多錢(客單價提升),這兩種情況背後代表完全不同的產品邏輯,也會連動到 CSAT 下降的原因不同。
3. 結構化分析:用指標樹拆開——北極星是「長期淨營收」而不是「短期營收」,驅動指標包含轉換率、客單價、結帳完成時間,護欄指標包含 CSAT、退貨率、30 天內客訴量。先查 CSAT 下降是不是伴隨退貨率或投訴率同步上升(代表使用者是被迫下單、事後後悔),還是只是問卷分數波動但沒有實質行為變化(代表可能是短期雜訊)。
4. 提出方案:如果退貨率跟投訴率確實同步上升,代表新流程可能用了某種施壓手法(例如隱藏取消選項、預設加購),這種營收是不可持續的——建議不上線,或先修掉造成不滿的具體環節再重測。如果退貨率跟投訴率沒有明顯變化,CSAT 下降可能只是問卷樣本雜訊或流程改變帶來的短期不適應,可以考慮延長觀察期再決定,而不是立刻用單次結果下定論。
5. 定義成功:主要指標鎖定在「60 天淨營收」(扣除退貨與客訴處理成本後),而非「實驗期間的毛營收」,護欄指標設定 CSAT 下降的可接受門檻(例如不超過 1 個百分點且無統計顯著性),並且設一個時間點——如果 60 天後長期指標沒有跟著改善,代表短期營收上升是用滿意度換來的,應該考慮下線。

範例回答(面試時可以這樣講)

問題釐清與定位:「我會先確認這兩個結果是不是都有統計顯著性,以及 CSAT 問卷的觸發時機——因為『營收漲、滿意度跌』有兩種完全不同的病因:可能是新流程真的讓一部分使用者不情願地完成了購買,也可能只是流程改變帶來的短期不適應、跟實際購買體驗無關。這兩種情況需要完全不同的決策,所以我不會看到營收漲就直接說上線。」

結構化分析:「確認之後,我會查 CSAT 下降是不是伴隨退貨率或客訴量同步上升。如果三個指標一起惡化,那代表新流程可能用了某種讓使用者事後後悔的手法——比如結帳時預設勾選加購項目,或是取消按鈕被藏起來——這種營收是拿長期信任換短期數字,我不會建議上線。但如果退貨率跟客訴量完全沒變,只有問卷分數掉了,那比較可能是雜訊或短期不適應,我會建議延長觀察期,而不是用一次實驗結果就下定論。」

成功定義:「不管哪種情況,我都會把最終決策指標定在『60 天淨營收』而不是『實驗期間毛營收』,因為退貨跟客訴處理都有成本,短期營收漲幅可能撐不到 60 天就被侵蝕掉。護欄指標我會設 CSAT 下降不能超過某個門檻,一旦超過就算北極星指標再漂亮也不上線——這樣主管問我『要不要上』的時候,我給的不是一個直覺判斷,而是一套可以重複驗證的決策規則。」

自我核對清單

用這張表檢查你的回答有沒有漏掉關鍵點:

今日案例

Netflix:用「90 秒內抓住注意力」當封面圖 A/B 測試的唯一北極星指標

Netflix 前 CPO Neil Hunt 帶隊做內容封面圖 A/B 測試時,面對的問題是:片商提供的封面圖通常是 DVD 封套或看板規格,不一定適合手機、筆電、電視螢幕上的呈現方式。團隊為每部作品做多組封面圖的多變量測試,單一案例是電影《The Short Game》——把封面換成「小孩跟球僮一起打高爾夫球」的畫面後,該片的點擊轉換率上升了 14%。但關鍵不在這 14%,而在於 Netflix 刻意只用一個北極星指標「使用者是否在 90 秒內找到並開始播放內容」來做最終決策,單集熱度、整體觀看時數這些次要指標只用來輔助觀察,不會單獨否決或推翻北極星指標的結論。

面試連結:這個案例是「指標樹」裡「北極星指標防止被次要指標帶偏」這一步的教科書等級示範——與其讓一堆漲跌互相矛盾的次要指標吵成一團,不如像 Netflix 一樣先講清楚哪一個指標才是最終拍板的依據,其他都是輔助訊號。回答「這個 A/B 測試該不該上線」這類問題時,可以直接引用這個案例說明「先定義誰是北極星、誰只是參考」的決策紀律。

延伸閱讀

• Selecting the Best Artwork for Videos Through A/B Testing — Netflix Tech Blog 官方文章,詳細說明封面圖多變量測試的方法論與指標設計
• Data Science Case Study Interview Questions – How to Answer Them 2026 — 涵蓋北極星指標、A/B 測試取捨、漏斗診斷等多種面試真題與 STAR+ 答題框架
• Experimentation is a Major Focus of Data Science Across Netflix — Netflix 內部實驗平台如何支援跨團隊的指標定義與決策流程

參考資料

• Netflix: Lessons in Experimentation — 對應「今日案例」Neil Hunt 選定 North Star Metric「90 秒內抓住注意力」與《The Short Game》封面圖實驗的完整脈絡
• Data Science Case Study Interview Questions – How to Answer Them 2026 — 對應「今日練習題」A/B 測試營收與滿意度取捨題型（Product Metrics trade-off）的設計依據
• Selecting the Best Artwork for Videos Through A/B Testing — 對應「核心框架速記」指標樹（Metrics Tree）中北極星指標與護欄指標分工的實務案例