數位產品的價值驗證：從假設地圖到 AI 產品的 M3 留存基準
價值驗證的單位是假設不是點子。Kohavi 的資料顯示產業中位數只有 10% 的實驗會成功，這代表在 p<0.05 下約 22% 的「獲勝實驗」其實是假陽性；Sean Ellis 的 40% 門檻查不到任何公開資料集；AI 產品的留存要從 M3 而非 M0 起算，且 <$50/mo 的 GRR 只有 23%、>$250/mo 有 70%。
#experimentation
2 篇文章RAG A/B 測試：怎麼科學地比較兩個 Pipeline 配置
「加了 Cross-Encoder 之後感覺好多了」不是科學的評估。A/B 測試讓你知道改動是否真的有效，效果多大，在哪類查詢上有效。