評估困境:為什麼 Deep Research 難以被正確評量
Deep research agent 跑出來的報告,該怎麼評分?用 LLM 當評審有偏,問人類太貴,測基準又跟不上。STC 等新方法試圖從「自信度」切入解決這個根本問題——但還沒有完美的答案。
Deep research agent 跑出來的報告,該怎麼評分?用 LLM 當評審有偏,問人類太貴,測基準又跟不上。STC 等新方法試圖從「自信度」切入解決這個根本問題——但還沒有完美的答案。
Writer 預設只讀 factual query 的前 8 筆或 recommendation 的前 12 筆候選證據,引用必須使用候選集合中的 exact `source_url`;檢索為空或被判為 weak 時,prompt 要求拒絕用模型常識補答案。