今日主題
Metrics & Analytics 面試裡，最容易丟分的瞬間不是算不出數字，而是面試官先把一個「聽起來很合理」的指標直接塞給你——像是「我們想拉高平均觀看時長」——而候選人立刻順著題目開始想「怎麼讓時長變長」，卻沒有先停下來問：這個指標本身，真的代表使用者拿到更多價值嗎？
這個主題在面試中重要，是因為真實世界裡最常出的包，不是選錯了優化方法，而是整個團隊一起去優化一個方向錯的數字——指標本身就有問題時，方法做得再漂亮都是在往錯誤的方向衝。能不能在接到題目的第一時間就質疑指標本身，而不是預設題目給的指標就是對的，直接反映候選人有沒有真的做過指標治理，而不是只會套公式。
核心框架速記
指標樹三層架構
把任何候選指標放進三層架構裡檢查，而不是單獨評估這一個數字好不好：
| 層級 | 定義 | 作用 |
|---|---|---|
| 北極星指標 | 使用者反覆從產品拿到核心價值的那個訊號 | 給團隊一個共同的方向,但通常太籠統,不能直接拿來管日常工作 |
| 輸入指標 | 會牽動北極星指標變化的具體行為或條件 | 讓團隊知道「要改善哪個環節」才能帶動北極星指標 |
| 護欄指標 | 一旦惡化,代表進步是靠犧牲別的東西換來的 | 防止團隊把北極星指標衝高,卻讓使用者體驗或其他重要結果變差 |
Vanity Metric 三問
拿到任何候選指標時（不管是面試官給的,還是自己提的），先用這三個問題質疑它，而不是預設它就是對的：
- 這個數字上升，代表使用者真的拿到更多價值嗎？ 還是只是「活動量」變多——像總時長、總點擊、總曝光,這些數字可以在使用者體驗變差時反而上升。
- 團隊能解釋並直接影響驅動它的因素嗎？ 如果這個數字主要受外部因素（季節性、大盤流量）驅動，團隊怎麼做都動不了它，拿它當目標沒有意義。
- 有證據證明它連結到長期結果（留存、續訂、滿意度）嗎？ 還是只是「假設」它跟長期結果有關，卻從來沒有拿數據驗證過。
面試時的用法：拿到「幫 X 定義/優化一個指標」的題目時，先用這三問質疑題目給的指標或自己提出的候選指標，講出「這個指標在哪一問上站不住腳」，再往下提替代方案——這個質疑的動作，比直接接受題目的框定更能展現判斷力。
今日練習題
題目
「Netflix 想要拉高使用者的平均觀看時長（session length）。這是對的指標嗎？」
（來源：資料科學案例面試題集，Data Science Case Study Interview Questions – How to Answer Them 2026, DataExpertise）
拆解思路
- 釐清問題：先問面試官——拉高觀看時長背後真正的商業目標是什麼？是要證明使用者黏著度給投資人看、拉長廣告曝光時間（如果有廣告層），還是單純想提升續訂率的領先指標？不同目標會導向完全不同的「好指標」定義。
- 定義使用者：拆成兩種完全不同的觀看時長成因——「目標明確」的使用者，快速找到想看的內容、看完就離開；「拿不定主意」的使用者，因為找不到滿意的內容而不斷瀏覽、切換、重新搜尋。兩者的觀看時長數字可能一樣長，代表的體驗卻完全相反。
- 結構化分析：用 vanity metric 三問質疑「平均觀看時長」這個候選指標——它在第一問就站不住腳：內容不滿意導致使用者反覆瞎滑尋找（decision paralysis），會讓時長「看起來」上升，但這不代表使用者拿到更多價值，反而是體驗變差的訊號。
- 提出方案：把「平均觀看時長」降級為護欄指標（時長驟降可能代表使用者找不到內容），改用意圖達成率（使用者多快找到並開始播放內容）、完播率（開始看的內容有沒有看完）、內容滿意度評分（大拇指比例）當輸入指標群，再用多月訂閱續訂率驗證這些輸入指標是否真的連結到長期結果。
- 定義成功：成功不是「觀看時長上升」，而是意圖達成率、完播率、滿意度評分同步上升，且續訂率沒有因為「使用者被迫花更多時間才找到想看的東西」而下滑——如果只有時長漲、其他三個輸入指標沒跟上，代表上升的是瞎滑時間,不是滿意度。
範例回答（面試時可以這樣講）
質疑指標本身：「在跳進『怎麼拉高觀看時長』之前，我想先確認這個指標本身對不對。平均觀看時長有一個很危險的盲點——如果使用者找不到滿意的內容、在首頁反覆瀏覽切換，這個數字一樣會上升，但這代表的是體驗變差，不是變好。所以我會先用三個問題質疑它：它上升是不是真的代表使用者拿到更多價值？團隊能不能解釋並影響驅動它的因素？有沒有證據證明它連結到續訂這類長期結果？」
提出替代指標：「我會把觀看時長降一級，改當護欄指標，然後提三個更貼近『價值』而非『活動量』的候選——意圖達成率，衡量使用者多快找到並開始播放內容；完播率，衡量開始看的內容有沒有看完；還有內容滿意度評分，直接用大拇指訊號。這三個指標即使使用者很快找到想看的、很快看完整部，數字都還是漂亮的，不會被『瞎滑』這種壞理由撐高。」
定義成功：「所以我衡量這個方向成不成功，看的是意圖達成率、完播率、滿意度評分有沒有同步上升，同時觀看時長本身沒有劇烈下滑——劇烈下滑代表使用者找不到內容的情況變嚴重了。更長期的驗證，是看多月續訂率有沒有跟著這三個指標的改善同步變好，而不是直接拿觀看時長去跟續訂率畫等號。」
自我核對清單
用這張表檢查你的回答有沒有漏掉關鍵點：
| 核對項目 | 有提到？ |
|---|---|
| 先問清楚題目背後真正的商業目標，而不是直接接受「拉高觀看時長」這個任務 | |
| 指出同一個數字（觀看時長）可能對應兩種完全相反的使用者體驗 | |
| 用 vanity metric 三問質疑題目給的指標，而不是預設它就是對的 | |
| 提出至少一個更貼近「價值」而非「活動量」的替代指標 | |
| 講出要同時監控哪個護欄指標，避免過度優化出現副作用 | |
| 加分項：講出指標樹三層（北極星／輸入／護欄）如何套用在這個情境 |
今日案例
Atlassian：Rovo 企業搜尋把北極星指標定義成「找到答案」而不是「搜尋次數」
Atlassian 的 Rovo 搜尋跨 Confluence、Jira、Slack、Google Drive 等 50 多個應用整合企業內部搜尋，在設計評估體系時，團隊明確把北極星指標定在 Query Success Rate（QSR）——衡量使用者是不是真的找到了需要的東西，判斷方式融合點擊與停留時間、明確回饋（答案與搜尋結果的按讚倒讚），再加上語言模型判斷做綜合評分。他們在排序模型的設計上更進一步，把負責重排序的 L2 排序層明確「針對搜尋成功做優化，並把相關性當成護欄指標」——換句話說，Atlassian 刻意沒有選搜尋量、查詢次數這類活動量指標當北極星，因為使用者狂查卻找不到答案，查詢次數照樣會很漂亮，但那正是今天題目要拆穿的陷阱。
面試連結：這個案例把今天的練習題從假設情境變成了真實的指標設計決策——Atlassian 自己就在回答「拉高某個活動量指標，是不是等於使用者拿到更多價值」這個問題，而且給出了具體答案：QSR 融合點擊、停留時間、明確回饋三種訊號，正好對應今天練習題裡「意圖達成率＋完播率＋滿意度評分」的輸入指標組合，差別只是換了個產品情境。回答這類題目時，可以直接引用這個案例說明「真正成熟的指標設計，會刻意避開『使用者活動量越高越好』的直覺，轉而去衡量使用者有沒有真的拿到結果」。
延伸閱讀
- Unraveling Rovo search relevance — Inside Atlassian — 今日案例的原始出處，完整說明 Query Success Rate 的定義與排序模型如何把相關性當護欄指標
- Data Science Case Study Interview Questions – How to Answer Them 2026, DataExpertise — 今日練習題的原始出處，收錄多道指標選擇與評估類的真實面試案例題
- What is a north star metric? A practical guide, Plane Blog — 指標樹三層架構的延伸說明，附五個常見的北極星指標選擇錯誤
參考資料
- Unraveling Rovo search relevance — Inside Atlassian — 對應「今日案例」Atlassian Rovo 搜尋以 Query Success Rate 當北極星指標的原始出處
- Data Science Case Study Interview Questions – How to Answer Them 2026, DataExpertise — 對應「今日練習題」Netflix 觀看時長指標評估題的原始出處
- What is a north star metric? A practical guide, Plane Blog — 對應「核心框架速記」指標樹三層架構與 vanity metric 檢驗邏輯的延伸說明，是今天 Metrics & Analytics 主題框架的出處
Loading...