影片狀態：錄影需登入或課程授權。 影片來源與說明
你的模型生成了一張漂亮圖片，專案就完成了嗎？還沒。別人需要知道它比什麼好、在哪些資料上好、用了哪些資源，以及換一個條件是否仍成立。CMU 10-423 專案handout把專案放在真實資料、baseline、受控實驗與階段報告上。本篇教你把「我做出模型」改成「我回答了一個可以檢查的研究問題」。
先備是至少完成一個 作業的訓練與評估流程。讀完應能寫出固定比較條件的實驗表、區分重現與重寫程式，並解釋失敗結果提供了什麼資訊。以下實驗完全自擬，不是官方指定題目，也不是實測成果。
把題目縮成一個可以失敗的問題
「做一個文生圖模型」太廣。改成：「在相同資料、模型與訓練步數下，條件A是否比條件B更能讓輸出符合文字？」才有明確的比較。你可以在輸入固定時改一個因素，再觀察指標和失敗案例。
先寫三句：主要問題、baseline、成功判準。成功判準要包括反面：若沒有改善、改善只出現在特定子群，或耗費更多算力，報告要如何解釋？讓題目容許失敗，才不會為了好看一直更換指標。
走完一份小型實驗表
假設我們做自擬的文字條件生成比較：固定100個held-out prompt、同一checkpoint、同一批seed。設定A使用一種條件強度，設定B只改條件強度。盲評程序固定，先把人評的「符合文字」與「畫面品質」分成兩個欄位。
假設A在文字符合度得到60個成功、B得到68個。你能先計算觀察差為8個百分點。不能直接稱B全面更好：畫面品質可能下降，而且要看同一prompt的配對差異。若A成功的60題中，有15題在B失敗，B就不是單純多成功8題；它同時失去15題、贏回23題。這個資料比兩個總分更能揭示取捨。
實驗表應至少包含設定、資料版本、seed、採樣預算、兩項評分、配對結果與運行成本。數字若尚未跑出來就填「未測」，不能把教學表的60／68當成專案結果。保存產物與配置，才能讓別人抽查同一題。
重現不是程式跑起來
Handout要求至少重現一項文獻結果；若不做，需要事前和課程團隊討論，並在各階段文件說明。重現的目標是結果，reimplementation是程式；程式沒有報錯不會自動重現論文數字。
規模太大時，可以用較小模型或資料子集，但要寫清楚。你的表格要把原文設定、本站實際設定與不同處並列。如果縮小規模後失敗，這是受限重現的結果，不能當成推翻原論文。若只改了三個因素，還無法確定是哪個造成差異，下一步應做ablation，而不是另取一個更吸引人的名稱。
自我檢查：兩個改善來源混在一起
你發現B的文字符合度更高，卻同時換了較大模型與更乾淨的資料。報告能說「新的條件強度造成改善」嗎？最小的修正實驗怎麼設計？
答案與判準
不能，模型、資料與條件強度一起變動。先固定模型與資料，只比較條件強度；再視資源做模型或資料的單因素變式。每次保留seed、prompt與採樣預算，才能把觀察差異較明確地連到被更動的因素。若資源不足，誠實把結論縮成「整套配置的觀察結果」，不歸因到單一機制。
把失敗與算力寫進主體
提案回答要做什麼與為什麼；期中報告交代已完成的baseline、目前證據與風險；期末報告說清楚實驗、結果、限制與研究歷程。Handout另要求計算資源的思想實驗與research log。別把這些當行政附件：如果最重要的結果是「這個方法在我們的記憶體預算下跑不起來」，配置、峰值使用量與可替代方案就是核心證據。
AI協助也要能追溯：哪部分用哪個工具、怎麼使用、哪些由人完成、如何核對。你要能自己解釋資料切分、loss與評估程式。工具產生的文字或程式通過一個測試，不表示整個研究結論可信。
今晚先寫一頁protocol：固定資料、baseline、唯一變動因素、兩個指標、保存產物的方式與停止條件。正式里程碑、頁數與提交規則以 官方handout及課程公告為準。這一篇是核心主線的終點；回到 總覽選自己的下一個實驗，後面的主題導覽用來回顧關係，不是額外課堂。
課程影片來源
Spring 2026 官方課站將錄影導向 SCS Panopto。2026-10-12 匿名讀取回傳資料夾未載入與登入提示，未取得可播放的課堂內容；這是存取限制，不能推論沒有錄影。本文依公開文字教材整理，沒有重建未取得的課堂口述或提供原音逐字稿。
參考資料
Loading...