今日主題
Growth PM 面試最容易失分的地方,是看到一條下滑的曲線就直接跳去挑戰術——發提醒通知、縮短 onboarding、加一個忠誠度機制。這些都是合理的候選方案,但面試官真正想看的是你會不會先問:這條曲線量的單位對不對?下滑的原因,到底是「根本沒人回來做同一件事」,還是「這件事的價值只需要體驗一次」?這兩種情況需要完全不同的介入。
這個主題在面試中重要,是因為它同時考驗兩件事——你會不會把一個模糊的「留存變差了」拆成可以被推翻的具體解釋,以及你會不會在提案資源投入時,把實驗結果講成財務語言能理解的因果鏈,而不是丟一句「這個指標漲了 5%」就期待高層買單。
核心框架速記
留存測試簡報(Retention Test Brief)
在選介入方案之前,先把五件事寫清楚,而不是看到曲線就動手:
| 步驟 | 要寫下來的內容 | 寫不出來代表什麼 |
|---|---|---|
| 1. 單位與世代 | 誰被算進留存、從哪個事件開始計時、要比較哪個世代年齡 | 量測問題還沒解決,先別急著比較 |
| 2. 有意義的回訪 | 代表「再次獲得價值」的具體行為,以及多久內回訪才算數 | 不要用「登入」這種方便但空洞的事件頂替 |
| 3. 對立解釋 | 你認為最可能的原因,以及最可信的反例 | 代表還要繼續診斷,不該直接跳去設計方案 |
| 4. 單一介入 | 針對那個解釋的最小改動,不要一次綁 onboarding、活動、定價三件事 | 拆開變因,結果才教得會你東西 |
| 5. 決策規則 | 什麼算成熟的結果、什麼是護欄、什麼情況要喊停 | 不要讓一個方便的早期代理指標單獨做決定 |
面試時的用法:不要說「我會做 A/B test 看轉換率有沒有變好」,要先講清楚「留存」在這個產品裡量的是誰、量哪個回訪動作,再講你打算驗證哪個具體解釋。
Revenue-Ready 指標樹
直接把營收拿來當主要指標常常太稀疏、太延遲,不足以指導一個短週期的實驗。正確做法是拉出一條從行為到財務結果的鏈,例如「有資格的訪客 → 開始結帳 → 完成購買 → 訂單金額 → 退貨 → 貢獻毛利」,並把指標分成四層:
- 主要指標:離商業價值夠近、又夠敏感能偵測到有意義的效果
- 護欄指標:確保局部改善沒有偷偷傷害到別的地方
- 診斷指標:解釋主要指標為什麼移動
- 長期結果:驗證短期訊號真的能延續,而不是新奇感消退後打回原形
面試時的用法:被問「這個實驗對公司有什麼價值」時,不要直接報一個放大到全年的營收數字,而是講出這條指標鏈,並說明你會用哪個護欄指標防止局部勝利犧牲別的東西。
今日練習題
題目
「你是一款團隊協作工具的 Growth PM。過去三個月新使用者簽約數穩定成長,但第 4 週還維持活躍的工作區比例,從 45% 掉到 32%。CEO 要你在下次會議前提出一個實驗計畫,證明你打算做的介入方案值得投入工程資源,而不是讓團隊繼續憑直覺加功能。你會怎麼設計這個過程?」
(來源:自擬,情境設計參考 productgrowth.blog 留存測試簡報方法論與真實 SaaS 協作工具留存下滑案例)
拆解思路
- 釐清問題:先問——「工作區留存」現在是怎麼定義的?算的是工作區裡有任何一個人登入,還是整個工作區完成了某個共同任務?下滑是所有新簽約世代都在跌,還是特定來源、特定版本的世代才跌?
- 定義使用者:協作工具的留存單位不該只是個人,至少要拆成「工作區內的活躍成員數」與「工作區是否完成一次共同工作」兩種角度,因為個人登入但整個工作區沒有產出,不算真正留住了這個客戶。
- 結構化分析:用留存測試簡報找出對立解釋——是「大家根本沒走到第一次有用的結果」(第一週卡住)、還是「拿到一次價值後這件事就沒有下一次要做」(工作本身不循環)、還是「下一個任務存在,但情境不見了」(協作進度沒被保留)?這三種情況分別對應完全不同的產品修法。
- 提出方案:針對「情境不見了」這個最可信的解釋,設計最小介入——例如工作區重新開啟時,直接呈現上次未完成的協作進度與下一步該做什麼,而不是先做一個大改版的 onboarding。同時只改這一件事,不要把提醒通知、新手引導、定價全部綁在一起測。
- 定義成功:把這個實驗結果接回指標樹——主要指標是「第 4 週工作區完成共同任務的比例」,護欄指標是「新成員的當週流失率」與「客服工單量」不能因為介面變化而上升,長期結果要看第 8-12 週這批世代的留存是否真的延續,而不是只看兩週的新奇效果。
範例回答(面試時可以這樣講)
問題釐清與定位:「我會先確認『工作區留存』現在算的是什麼——是任何一個成員登入,還是整個工作區完成了一次共同任務?如果只是算登入,這個下滑可能根本沒反映客戶有沒有真的持續用這個產品。我也會先看是所有世代一起跌,還是某個特定管道或版本才跌,這會決定我接下來要往哪個方向診斷,而不是急著挑一個戰術。」
結構化分析與方案:「假設確認是所有世代都跌、量測方式也沒問題,我會把可能原因拆成三種對立解釋——沒走到第一次有用結果、工作本身不循環、或是下一個任務存在但情境不見了——然後去看行為紀錄和幾段客戶對話,找出哪個解釋最站得住腳。如果是『情境不見了』,我不會直接做一個全新的 onboarding,而是只改一件事:工作區重新開啟時,把上次沒做完的協作進度和下一步直接呈現出來,把這個最小改動當成一次乾淨的實驗,而不是把提醒通知、新手引導、定價全部綁在一起測。」
成功定義:「我會把這個實驗接回一條指標鏈,而不是丟一個單一漲跌數字給 CEO。主要指標是第 4 週工作區完成共同任務的比例,護欄指標是新成員流失率跟客服工單量不能因此上升,長期結果我會等到第 8 到 12 週,確認這批世代的留存是真的延續,不是新奇感的兩週假象。這樣 CEO 看到的不是『某個指標漲了』,是一條從行為到留存到營收都講得通的因果鏈。」
自我核對清單
用這張表檢查你的回答有沒有漏掉關鍵點:
| 核對項目 | 有提到? |
|---|---|
| 先確認留存的量測單位對不對,而不是直接接受曲線的說法 | |
| 用對立解釋(卡在第一步 / 工作不循環 / 情境消失)拆解下滑原因,而不是憑直覺挑戰術 | |
| 只測一個最小介入,沒有把多個改動綁在一起 | |
| 把實驗結果接回指標樹(主要指標、護欄指標、長期結果),而不是單一漲跌數字 | |
| 有講清楚判斷「成熟結果」的時間窗與喊停條件 | |
| 加分項:提到用真實產品案例佐證「表面勝利不等於真的贏」 |
今日案例
Fanatics:拒絕把一個表面打贏、但行為鏈沒動的實驗算成勝利
Fanatics 的實驗計畫一年跑將近 1,200 次測試,約占公司年成長率的 8%。當團隊測試「把商品格線上的廣告拿掉」時,頂線數字看起來是正的,但預期應該連動的行為鏈(例如商品瀏覽深度、加入購物車率)並沒有跟著移動。團隊沒有直接把這個正數字寫進成果報告,而是選擇重新跑一次測試——第二次的結果是平的,證明第一次的正數字很可能只是雜訊,而不是真的有效果。
面試連結:這個案例是回答「你怎麼確保實驗結果真的可信」或「說一個你懷疑過自己實驗結果的經驗」這類問題的好素材——強答案不是說「我們看 p-value 顯著就上線」,而是講清楚背後的紀律:一個營收數字要有可信的因果機制解釋,如果解釋不通,即使數字好看也要願意重測,這正是指標樹裡「診斷指標」與「護欄」該發揮作用的地方。
延伸閱讀
- How to tie experiments to revenue: lessons from product leaders — UPS、Fanatics、JPMorgan Chase、DoorDash、Box、Fyxer、Fin 七家公司如何把實驗結果轉譯成財務語言,含五種常見歸因錯誤
- User Retention Strategies: Choose the Next Test — 留存測試簡報的完整方法論,含世代分析常見的因果推論陷阱
- How Fanatics made experimentation a strategic growth driver — Fanatics 實驗計畫如何用「已實現勝利、預期勝利、避免的損失」三個獨立分類報告成果
參考資料
- User Retention Strategies: Choose the Next Test — 對應「核心框架速記」的留存測試簡報五步驟與「今日練習題」的情境設計方法論
- How to tie experiments to revenue: lessons from product leaders — 對應「核心框架速記」的 Revenue-Ready 指標樹與「今日案例」Fanatics 的實驗紀律細節
- How Fanatics made experimentation a strategic growth driver — 對應「今日案例」Fanatics 重測廣告移除實驗的完整經過
Loading...