論文報告：把模型介紹寫成可檢驗的論證

TL;DR以角色扮演報告分清論文主張、實驗證據與自己的推論，走完受控比較例子。

🌏 English version

影片狀態：錄影需登入或課程授權。 影片來源與說明

「這篇論文提出一個更好的模型」是一句摘要，還不是報告。更好在哪個任務、相較哪個 baseline、用了什麼資料與計算，才是你要替聽眾說清楚的事。HW623 handout採用角色扮演論文報告：先摘要，再從指定角色提出分析。本篇教你把論文主張、實驗支持與自己的推論分開。

這份作業適用10-623／723；校外讀者可以用同樣流程練習，不代表取得課程評分。先讀過一個生成模型的完整機制即可。以下以清單內的 DPO 論文作為讀法示例；數值表是本站自擬，不能引用成原論文結果。

先定你要負責哪一種論證

Handout 提供六種角色。審稿人檢查證據是否支撐主張；考古學家找前作與後續影響；研究者設計下一個可檢驗問題；從業者說明應用與限制；偵探追作者的研究脈絡；社會影響評估者補上被忽略的受益與風險。角色改變的是分析角度，不是免除摘要或查證。

例如從業者不能只說「DPO比較容易實作，所以適合所有產品」。你還得列出需要偏好對、reference policy與可訓練模型等條件。審稿人也不能只說「分數高，所以接受」；必須檢查比較是否公平，以及測試是否覆蓋主張。

第一句是問題：如何用偏好資料調整模型，而不走完整的reward model加RL訓練管線？第二句是方法：用正負回應相對reference policy的log probability ratio，建立可直接最佳化的偏好loss。第三句是證據：作者在哪些任務、資料與比較條件下展示效果。

前兩句能用公式與資料流確認，第三句要回實驗表。方法的代數推導不會自動證明產品效果；單一benchmark的勝率也不會自動證明所有使用者都滿意。要看推導，先讀 DPO 教學篇；報告時只選能服務你分析的部分，不把整份論文逐頁念完。

假設我們自擬一個客服回應實驗：在100個固定測試prompt上，方法A勝過baseline的比例是62%；方法B是58%。評審只看單次輸出，模型訓練資料來源也不同。

你可以說「在這個測試集合與評審程序下，A的觀察勝率較高」。不能說「A的方法一定比較好」。兩個系統的訓練資料可能造成差異；每題的配對結果與不確定性也沒提供。下一個實驗應固定資料、模型、評審程序與採樣設定，再只更動方法，保留每個prompt的結果，才能更接近回答方法是否有貢獻。

把這段放進報告，可以用四欄：claim、原文證據位置、適用條件、仍缺什麼證據。原文若只報62%，就引用表格位置；你提出的控制實驗放在「我的後續建議」。兩者不能混成作者已完成的工作。

若A在同一測試集提升到70%，但baseline沿用舊資料，能消除剛才的疑慮嗎？你的角色若是審稿人，最優先要求什麼？

答案與判準

不能。較大的差距仍可能來自資料或其他共同變動。先要求在相同資料與模型設定下的受控比較，再看不確定性、逐題結果與失敗案例。不要把「差距大」當成「混淆變因消失」。這是評估設計的判準，不是對DPO原論文的評語。

每張投影片只承擔一個主張：問題、方法的一條資料流、關鍵證據、限制、角色分析、下一步。把所有數字連回原文表圖；若是自己算的，寫出輸入和算法。最後錄一次報告，停在每個結论問：「如果聽眾問為什麼，我能指出哪個證據？」答不出來的句子就縮小主張。

作業需要錄影與投影片。Handout 的概要與錄影步驟對長度寫法不同：概要說5–10分鐘，步驟說7–10分鐘且超過11分鐘扣分；在校學生應依最新課程公告確認，校外練習可用較保守的共同範圍。它允許AI協助理解，但繳交材料必須自己製作、不得有AI協助；本站導讀是學習材料，不是可直接交件的報告。

完整選題與提交細節以官方handout為準。若你能把一個主張的條件與證據說清楚，下一步就是期末專案：親自產生能讓別人檢查的實驗證據。

Spring 2026 官方課站將錄影導向 SCS Panopto。2026-10-12 匿名讀取回傳資料夾未載入與登入提示，未取得可播放的課堂內容；這是存取限制，不能推論沒有錄影。本文依公開文字教材整理，沒有重建未取得的課堂口述或提供原音逐字稿。