這是「教學文章怎麼寫」系列的第 25 篇，第六部分「怎麼知道有效，怎麼做出來」的第一篇。第 15 篇從讀者那一側談過：讀者分辨自己哪篇懂、哪篇不懂的能力很弱，沒有任何介入時，判斷和成績的個人內相關平均只有 0.18 左右；判斷前先作答、讀完全部再寫關鍵詞，能讓判斷準一點。這篇換到作者那一側。讀者的判斷不準，那麼讀者告訴作者的話、讀者留下的行為紀錄，又能告訴作者多少？
起因是本站自己手上的東西。一篇課程導讀發出去之後，作者看得到的只有這幾樣：
- 流量統計。正式站至少載入了 Cloudflare Web Analytics，是 Cloudflare 在邊緣自動注入的，不在網站的程式裡。依 Cloudflare 的文件，它的指標是匯總的頁面瀏覽、造訪、頁面載入時間與 Core Web Vitals，造訪是看這次頁面瀏覽是從別的網站連過來、還是直接開啟的（來源網址和本站主機名稱不同）；它的 FAQ 說還不支援自訂事件：「Not yet, but we may add support for this in the future.」所以認不出同一位讀者，也記不到有沒有人作答。
- 名詞解釋的查詢次數。站上的名詞解釋功能每被查一次，資料庫就在「哪個詞、在哪篇文章、哪個程度」那一列加一，並留下最後一次查詢時的上下文；同一次開啟頁面裡，同一個詞在同一程度、同一句上下文重複點開，瀏覽器直接用已經拿到的解釋，不再計數。沒有讀者身分。
- 站內聊天的內容。站上的問答聊天在一則回答完整產生之後，把提問與回答記進資料庫，連同對話串編號、來源 IP，以及是不是站主登入時問的。提問如果和先前的問題夠像、直接拿快取的答案回覆，這一則不會記；回答沒有產生完的也不會記。所以這份紀錄不是全部提問，而且混有站主自己的測試提問（可以用那個標記分開）。同一則提問的前 240 字也會留在後台的步驟紀錄裡，站主可以逐則看；有設定 Langfuse 時，完整的提問與回答也會送過去。
- 審稿報告與檢查器。課程導讀規格要求每篇由沒參與撰寫的審稿者做語意審稿，另有
pnpm verify這類自動檢查（程式碼風格、站內引用、skill 同步等）。這兩樣量的是文章，不是讀者。
另外，讀者偶爾會說一句「這篇寫得好清楚」。寫的人很容易把這句話、或某篇流量變高，當成「這篇有教到人」。這篇要回答的是：這些訊號各自量到什麼，哪些和讀者實際學到多少有關，有多相關。讀完你能對自己手上的每一種回饋說出「它量的是什麼、不是什麼」，並決定改稿時要不要拿它當依據。
這篇不談的：平台上大規模的隨機實驗、課程品質評量表能不能代替成效研究，是之後的篇的題目；讀者自己判斷懂了沒有，見第 15 篇；讀者會不會作答，見第 10 篇。
來源怎麼選、有什麼偏向。來源是先掃描文獻、再挑出來精讀的。挑的標準是同一個研究裡同時量了「某種作者看得到的訊號」和「另外量的學習」，而且盡量包含結果不一致的研究。最後讀了這些：五個同時量感受與測驗的實驗（Harvard 物理課的交叉實驗、土耳其高中的生成式 AI 實驗、德國實驗室的 Python 實驗、Harvard 的 AI 家教實驗、柏林的 AI 家教實驗）、一個影片播放速度的實驗、一門日本歷史 MOOC 的紀錄分析、一份東華大學的教學實踐計畫報告、一篇 MIT edX 課程的 A/B 實驗、一篇用點擊紀錄預測通過的台灣 MOOC 研究、一門心理學 MOOC 的紀錄分析，以及 Duolingo 談代理指標的官方部落格文章。偏向很明顯：多數是大學生或高中生，多數在課堂或實驗室，學習幾乎都在課後立刻量，沒有一篇的對象是自己上網找長文讀的讀者。列在參考資料裡的每一篇都從頭讀到尾，並留有抽取紀錄；只知道存在、沒讀到合法公開全文的，文中會明說，不引它的結果。
先看結論
| 作者看得到的訊號 | 研究裡它和學習的關係 | 強度 |
|---|---|---|
| 讀者說學到很多 | 一個交叉實驗裡和測驗反向；兩個生成式 AI 實驗裡，有工具的人自評偏高，或實際較差卻沒有測到自評較低；同一個實驗裡也看得到自評和實際進步同向 | 中；幾個隨機實驗，都在課堂或實驗室，課後立刻量 |
| 讀者說講得好、講得清楚 | 同一份問卷裡，「老師教得有效」一題就能預測「覺得學到很多」，放進這一題後，教法本身不再顯著 | 弱到中；單一研究，同時作答的兩題 |
| 喜歡、投入、想再用 | 三種方向都有：和成績同向、評價差但成績沒有測到差異、評價和成績都沒有測到差異 | 弱；各研究量的題目不同 |
| 看了多久 | 觀看時間變長，成就測驗沒有測到差異；觀看時間預測修了，不預測修了的人另外量的思考力 | 弱到中；一份未經審查的報告、一個觀察性研究 |
| 做了多少、練習時答對多少 | 多做練習的人小考較高；但有 AI 幫忙時，練習分數大幅上升，緊接的考試沒有升，甚至下降 | 中；觀察性資料加兩個隨機實驗 |
| 預測「通過」的模型 | 準確率高，但特徵包含測驗分數，被預測的是通過與否，沒有和全部猜不通過比 | 不能當學習的證據 |
| 平台自訂的代理指標 | Duolingo 換過兩次、中間另調整一次，理由是舊指標偏向刷短課的人、被少數重度使用者拉動、沒有區分哪種時間比較有價值；文章沒有拿它和學習對照 | 實務自述，沒有驗證資料 |
| 網頁停留時間、捲動深度、「這頁有幫助嗎」 | 沒有找到研究 | 無 |
一句話：作者看得到的訊號，大致分成「讀者說的」和「讀者做的」兩類。讀者說的會跟著流暢、喜歡、手上有沒有工具移動；讀者做的量到的多半是做了多少。兩類都可能和學習同向，但沒有一類可以單獨當成學到的證據。
讀者說「學到很多」
學得多的那一堂，自評較低
Louis Deslauriers 等人 2019 年的實驗在第 8 篇已經詳細談過。Harvard 入門力學課 149 人，個人層級隨機交叉，每人兩種教法各上一堂：一堂是老師流暢地講解例題，一堂是學生分小組先解題、老師巡堂，再給相同的解答。課後立刻考 12 題選擇題，主動的那一堂高 0.46 個標準差；考試前剛填的問卷，主動的那一堂自評低 0.56 個標準差。
和這篇有關的是那份「自評」由哪幾題組成。作者把四題五點量表合成一個分數：喜歡這堂課、覺得學到很多、老師教得很有效、希望物理課都這樣上。只有一題直接問學到多少；作者說只用那一題，結果「virtually identical」，但沒有印出數字。換句話說，問卷裡混了「喜不喜歡」和「講得好不好」，而這正是讀者對一篇文章最常說的話。
把「講得好」放進去，教法就不顯著了
作者另外做了一個補充迴歸：用「老師教得很有效」那一題，去預測「覺得學到很多」那一題。覺得老師高度流暢的學生，「學到很多」高 0.51 個標準差；放進這一題之後，教法（主動或被動）本身不再顯著。原文：「Notably, the type of instruction (active vs. passive) was not significant in predicting FOL; only the perceived fluency of the instructor was relevant.」
把這一題解讀成「流暢」，依據是另一批訪談：學生說他們把這一題理解成解釋清楚、有條理、講得順。另外，主要的 17 人訪談裡，15 人覺得主動的那一堂斷斷續續、不順。作者據此認為，學生把流暢的講解當成了學到。
要連著記住的限制有三個。兩題是同一份問卷、同時作答，方向分不出來；「老師教得有效」本身就是合成分數的一題；流暢度沒有另外量，是用訪談把那一題詮釋成流暢。所以能說的是：在這個實驗裡，「覺得講得好」和「覺得學到很多」明顯相關（前者高的人，後者高 0.51 個標準差），而且放進前者之後，教法本身不再預測後者；兩者都沒有跟著實際測驗走。搬到寫文章上，這是最直接的提醒：讀者說「寫得很清楚」，量到的可能主要是順不順。
作者還放了一個反方向的線索：在測驗成績的模型裡，前測成績和「覺得學到很多」的交互作用是正的（p < .05，沒有印係數）。先備知識越多的學生，自評和實際表現越對得上。第 15 篇談過這一點。
有 AI 可用時，自評偏高
兩個生成式 AI 的實驗，從另一個方向看到自評和實際分開。
Hamsa Bastani 等人 2025 年的實驗在土耳其一所高中，以班級為單位隨機分成三組做四次數學練習：只有課本、仿 ChatGPT 的介面、加了防護的 AI 家教（不給完整解答，提示詞裡有老師寫的正解與常見錯誤）。練習完緊接著閉書考試，再填五題感受問卷。用無防護介面的那一組考得較差，但他們的自評沒有測到差異；有防護的那一組考得和只有課本的組沒有測到差異，卻顯著自評「考得比較好」。原文：
While students in the GPT Base arm performed worse on the exam (relative to the control arm), they did not perceive that they performed worse or learned less. Similarly, while students in the GPT Tutor arm did not perform better on the exam (relative to the control arm), they perceived that they performed significantly better.
這是組平均的比較，不是追蹤「考差的那些人」各自怎麼自評。無防護那一組的「沒有覺得學得較少」是沒有測到差異（點估計是負的），不能寫成他們覺得一樣好。感受的數字只在補充資料的表裡，正文沒有。
Matthias Lehmann 等人的預印本在德國一所大學的實驗室做了兩個預先註冊的實驗，受試者多數沒有 Python 經驗，學 45 分鐘 Python 入門，一組旁邊有不設限的聊天視窗。兩個實驗的後測都沒有測到差異。後測之後問一題「覺得自己進步多少」：控制了實際進步（後測減前測）之後，有 LLM 的人自評仍高約三分之一分（五點量表）。作者的話：「Thus, LLMs increase perceived learning by more than can be explained by actual differences in learning.」
這一項是探索性分析，兩個實驗合併 176 人，p 值是 .044。同一張表也顯示，實際多進步一題，自評就高 0.154 分，而且顯著。所以這不是「學得少卻覺得多」，是自評大致跟著實際進步走，有工具的人整體往上偏。
Mira Fischer 等人的討論稿在柏林工業大學的實驗室讓 334 名學生讀 25 分鐘經濟學教科書節錄，再考選擇題。強制先讀 10 分鐘才能用 AI 家教的那一組，考後自估答對題數提高約 0.2 個標準差，也比較喜歡準備過程，實際成績卻沒有比只讀教材的組顯著較好；全程可用的那一組，自估提高的幅度差不多，實際成績高 0.34 個標準差。作者據此說前者「somewhat overconfident」、後者「slightly underconfident」。這是把兩張表的係數並排比，沒有做檢定。依作者這個沒有檢定的並排，全程可用那一組看起來不是偏高，所以我不把「有 AI 時自評偏高」當成每一組都成立。
這一節能說到哪裡
四個實驗都是課後立刻量，都在課堂或實驗室。能撐得住的說法是：讀者說學到多少，會跟著學習以外的東西移動，包括講得順不順、手上有沒有工具；它和實際學習可能同向、可能反向，而作者從讀者的話分不出是哪一種。沒有一篇測過讀者對一篇網頁文章說「學到很多」時，實際學到多少。
讀者說喜歡、投入、想再用
喜好與投入的問卷題，在不同研究裡和成績的關係三種方向都有。
同向。Greg Kestin 等人 2025 年的實驗在 Harvard 一門給生命科學學生的物理課，兩週兩堂交叉：一堂在家用 AI 家教，一堂在教室做主動學習。用 AI 家教那一堂後測較高（迴歸係數 0.63 個標準差），學生自述的投入（4.1 對 3.6）與動機也較高；喜歡這堂課與成長心態沒有測到差異。要注意四題裡沒有一題問「你覺得學到多少」。這篇常被拿來當 Deslauriers 的反例，但兩篇量的不是同一個東西：Deslauriers 反向的是自評學習，Kestin 同向的是投入感。
評價差，成績沒有測到差異。長濱澄與森田裕介 2017 年的實驗讓 75 名日本大學生看一支約 9 分鐘的高中資訊課影片（只有投影片和聲音），分成 1 倍、1.5 倍、2 倍速三組，看完立刻考。三種分數的速度主效果都不顯著。問卷上，2 倍速在「學習內容理解了」「講師說明好懂」等七題顯著低於另外兩種速度，眼睛疲勞與追字吃力顯著較高。
這不能讀成「學生覺得 2 倍速比較難，其實考得一樣」。第一，作者自己報的檢定力只有 0.17 到 0.65，再生題的平均分數也隨速度遞減，只是沒有達顯著。第二，評價和測驗不是對同一段經驗量的：測驗是三組各看一種速度的完整影片，評價是考完之後每人把三種速度的短版剪輯都看一次再評。第三，1.5 倍速在專注、時間適當、今後想用這幾題都是評價最高，分數也沒有比較差，那是評價和成績沒有分開的例子。
評價和成績都沒有測到差異。東華大學賴志宏的教學實踐研究計畫報告比較 Python 通識線上課的兩屆：實驗那一屆把選擇題嵌在影片裡，播到那裡影片停下出題；前一年的題目放在影片外。學習動機、自我效能、滿意度、成就測驗都沒有測到差異。這篇在下一節還會用到。
這三篇問的題目不一樣（投入、好不好懂、滿意度），對象和情境也不一樣，不能合成一個「喜好和學習的相關」。能說的只有：讀者喜歡、覺得投入，可能和學到更多同時出現，也可能沒有。
讀者看了多久
這是作者最容易拿到的數字，也是最容易被讀成「有效」的數字。
觀看時間變長，成就測驗沒有測到差異。回到東華大學的報告。影片裡嵌題目的那一屆，系統記錄的觀看時間平均 11,400，前一年 8,898，差異顯著（t = 2.03）。以前測為共變量調整後的成就測驗，15 題裡是 10.42 對 10.31，沒有測到差異。報告的摘要把觀看時間增加寫成達到了研究目的。
這份報告的證據等級要照實記：對照組是前一年的班級，不是同期隨機分派；有完整資料的只有 49 與 41 人；它是計畫成果報告，沒有同儕審查，有效問卷數前後寫法不一致（74 份與 90 份）。影片停下來等作答的時間算不算觀看時間，報告沒有說；如果算，觀看時間變長可能有一部分是機制本身造成的。
觀看時間預測修了，不預測修了的人的思考力。大浦弘樹等人 2018 年的研究分析 gacco 一門四週的日本中世史 MOOC。成績 1 分以上、而且開課問卷必要題目都有效作答的 2,900 名學員裡，影片看滿 6 小時（約等於全部影片一輪）的人，修了的勝算比是 8.35。另外，作者在開課與結課時各請學員寫一題 300 字的歷史論述，由兩位專家編碼成「歷史的思考力」；在 1,224 名修了、而且開課與結課問卷都有效作答的學員裡，觀看時間對結課時的思考力沒有顯著效果（勝算比 1.15，p = .161），討論區活動天數也沒有。
作者的解讀是：修了要交的課題本來就照影片內容出，看完影片自然容易修了；只看影片不足以培養思考力。這裡有三個條件要一起帶著。這是觀察資料，不是實驗。思考力的分析只含修了的人，他們的觀看時間中位數已經超過全部影片的長度，觀看時間在這群人裡還剩多少變異，原文沒有討論。思考力只用一題自由論述量，而且只有約 7% 的註冊者前後兩份問卷都填。
對作者的意義是：「看完」和「學會另外一件事」在同一門課裡是兩個不同的結果，行為紀錄預測得到前者，不一定預測得到後者。
換一種拍法，投入與學習都沒有一致的方向。Zhongzhou Chen 等人 2016 年的論文在 MIT 的 edX 力學課做了兩個 A/B 實驗，其中一個比較兩種影片拍法。摘要說新拍法提高了投入、對學習沒有顯著影響。表裡的情形比摘要亂：四支影片裡，「有一次不中斷看完七成以上」的比例只有一支顯著較高；平均觀看時間有兩支是舊拍法較長、一支是新拍法較長；看完影片後同一題的最後答對率，兩支有顯著差異但方向相反。作者自己的結果段寫的是「did not observe any consistent trend」。
這篇最值得記的是作者的一句評語：「Unfortunately, most MOOC video studies made no attempt to determine whether students learned from the videos.」這是作者的看法，不是這兩個實驗的結果。
讀者做了多少、練習時答對多少
行為紀錄裡，「做」比「看」更接近學習，這一點第 8 篇與第 9 篇都談過。Kenneth Koedinger 等人 2015 年的研究分析一門心理學 MOOC：多做一個標準差的互動練習，每週小考總分高 0.44 個標準差，是多看影片或多讀頁面（各約 0.065）的六倍多。這裡要補兩個和本篇有關的條件。小考題目和互動練習出自同一個題庫。換成授課教師自己出的期末考，只多做練習的人拿高分的比例（16%）和只多看影片的人（15%）差不多，兩樣都多的才到 31%。所以「做了多少」和小考同向，和另一份考試的關係就沒那麼單純。
另外兩個實驗顯示，「練習時答對多少」在有幫手的時候會和學習分開。
- Bastani 等人的實驗裡，練習階段有 AI 可用的兩組分數大幅上升（相對於只有課本的組，無防護 +48%、有防護 +127%），緊接著閉書考試，無防護那一組反而較差，有防護那一組沒有測到差異。練習分數的比較不在預先註冊的分析裡。
- Lehmann 等人的第二個實驗，有 LLM 的人在學習階段多答對約 2.6 題（顯著），後測沒有測到差異。
搬到文章上：如果讀者邊看文章、邊開著聊天或答案作答，答對量到的是「找得到」，不是「會了」。第 15 篇從判斷準確度的角度談過同一件事。
預測「通過」的模型
用點擊紀錄預測學生能不能通過，是學習分析很常見的題目。Chen-Hsiang Yu 等人 2019 年的研究用台灣 OpenEdu 平台一門課三次開課的紀錄，以類神經網路預測有沒有拿到證書，準確率約 0.95；用前兩次的模型預測第三次，約 0.98。題目叫「Predicting Learning Outcomes with MOOC Clickstreams」。
這些數字不能讀成「看片行為很能預測學習」，原因有三個。
- 被預測的是通過與否，原文的定義就是「pass (1) and fail (0) of the course」，沒有任何獨立於課程成績的學習測量。
- 進模型的 14 個特徵裡，有 4 個和測驗有關，包括單元測驗的總分。拿測驗分數預測由測驗分數決定的通過與否，準確率高有一部分是必然的；原文沒有做去掉測驗特徵的模型，所以看不出光靠看片行為能預測到多準。
- 沒有和最簡單的猜法比。我用原文的人數算：第三次開課 427 人裡 370 人沒拿到證書，另一門課 977 人裡 891 人沒有；全部猜「不通過」，在後者就有約 0.91 的準確率。
大浦等人的研究也有同一層關係：修了要交的課題照影片內容出，所以「修了」本身就是對影片內容的測驗。被叫作「學習成果」的東西是什麼，要先看清楚。
平台自己選的代理指標
Duolingo 的 Rachel Salvador 在 2024 年的官方部落格文章交代過，他們在日常 A/B 測試裡用什麼代表「學習」，以及指標換過兩次、中間另調整過一次的理由。文章說正式的成效研究由另一個團隊做，但那些研究沒辦法用在每天的 A/B 測試，所以需要一個代理指標。
- 第一個是完成的 session 總數。原文：「The idea was more sessions = better for learning. If you do more, you learn more, right? Not quite!」換掉的理由是 session 長短差很多，這個指標會偏向反覆刷短而簡單的課的人。
- 第二個是花在學習活動的時間。總量被一小群很用功的人拉動，所以改成追「每天至少學 15 分鐘的人的比例」。
- 第三個是 Time Spent Learning Well：往下走學習路徑的課，分鐘數全算；複習、挑戰這類其他課，分鐘數算一半。作者自己稱這是「rough formula」，0.5 的權重怎麼來的，文中沒有交代。
文中有一個結果值得記：他們試過把課縮短，希望大家多做幾課，結果這個指標反而下降。
這篇是產品團隊的自述，不是研究：沒有樣本數、沒有檢定，全文沒有一處拿這個指標去對照另外量的學習。唯一的外部依據是引一份白皮書說「完成的課數」最能預測學習增益，而課數正是文章第一段說已經淘汰的那一類。前兩次變動（換掉 session 數、把總時間改成每天達標的人的比例），理由是舊指標會被某種行為灌高（刷短課、少數重度使用者），改成每天 15 分鐘的門檻時，文章說參考了「several formal studies」，但沒有引用也沒有連結；最後一次換成 Time Spent Learning Well，理由是不同活動的學習價值不同；沒有一次是拿指標和另外量的學習比，發現對不上。對寫文章的人，這篇的用處是看見：即使是有專職成效研究團隊的公司，日常決策用的也是時間類的代理指標，而且要一直修。
網頁停留時間、捲動深度、「這頁有幫助嗎」
部落格作者最常看到的三種數字，我都沒有找到同時量了它和讀者理解的研究。這一輪只往課程平台的方向搜，沒有搜網頁可用性研究，所以只能說「我們沒找到」，不能說「沒有」。文件網站常見的「這頁有幫助嗎」按鈕，我沒有找到檢驗它效度的研究；談它的幾篇實務文章我沒有讀到全文，不引。
兩份相關的統合分析，研究存在，我沒讀到合法公開的全文，所以不引它們的結果：Klose 等人 2022 年談線上學習的紀錄資料和成績的關係，Uttl 等人 2017 年談教學評鑑和學習的關係（Deslauriers 等人在結尾引了後者，支持教學評鑑要小心用）。
本站手上的訊號，各量到什麼
下面是我拿上面幾節對照本站的判斷，逐項列出。「最接近的研究」只是方向上的類比，沒有一篇量的是網頁文章的讀者。
| 本站看得到的 | 量到什麼 | 量不到什麼 | 最接近的研究 |
|---|---|---|---|
| Cloudflare Web Analytics | 多少次頁面瀏覽、多少次造訪、載入速度 | 誰讀完、誰回來、誰作答；不支援自訂事件 | 觀看時間與修了（大浦等）、觀看時間與成就測驗（東華報告） |
| 名詞解釋的查詢次數 | 哪篇文章的哪個詞被查了幾次 | 誰查的、查完懂了沒 | 沒有直接研究 |
| 站內聊天的內容 | 問了問題的讀者問了什麼（命中快取的不記，含站主測試） | 沒問的讀者；問完懂了沒 | 沒有直接研究 |
| 讀者說「很清楚」 | 讀者覺得順 | 學到多少 | Deslauriers 的「老師教得有效」一題 |
| 獨立審稿報告 | 學習目標、例子、練習、答案有沒有對齊；事實有沒有錯 | 讀者學到沒有 | 沒有直接研究 |
pnpm verify | 程式碼風格、站內引用、skill 同步等 | 內容對不對、讀者學到沒有 | 不適用 |
前五列裡，最接近「讀者產出的東西」的是聊天的提問：它至少是讀者自己寫的。但會開口問的讀者是自己選出來的，問題多半指向卡住的地方；後台有逐則看步驟紀錄的頁面和期間內的提問數統計，但我沒有找到分析提問內容的程式。
這張表沒有一列量得到讀者學到沒有。這不是本站特有的缺口：除非讀者交出能獨立評分的東西，而作者又記錄得到，否則一篇公開文章的作者本來就沒有這一欄。
來源說法不同的地方
感受和學習是反向、同向，還是同向但偏高。Deslauriers 的交叉實驗裡反向；Kestin 的交叉實驗裡同向；Lehmann 的實驗裡，自評和實際進步正相關，有工具的人整體偏高。三篇量的感受不同：Deslauriers 是四題合成（含喜歡與「老師教得有效」），Kestin 是投入與動機（沒有問學到多少），Lehmann 是單題的自評進步。比較對象也不同：被動聽講對小組解題、教室對在家用 AI、有無聊天視窗。它們沒有直接衝突，但也不能合成一個「感受準不準」的答案。
有 AI 時自評會不會偏高。Lehmann 的合併資料與 Bastani 的有防護組是偏高；Bastani 的無防護組是考得較差、自評沒有測到較低；Fischer 的全程可用組，作者說是略為低估。四組的工具、任務與量法都不同。
摘要和表說的不一樣。Chen 等人的摘要說新拍法提高投入、對學習沒有顯著影響；表裡的長觀看比例只有一支影片顯著，平均觀看時間三支有顯著差異但方向不一致，學習有兩支顯著但方向相反。長濱與森田的日文摘要說速度「不影響」學習效果，結果節的用詞是「示唆された」；英文摘要討論「同樣時間學兩倍」的可能時，少了日文摘要的條件限定語，而實驗沒有量這件事。Yu 等人的摘要說看到了看片行為和學習成果的相關，全文沒有任何相關係數。這三篇我照正文與表寫，不照摘要。
練習分數算不算學習成果。Chen 等人的另一個實驗，作者把拖放題在後續練習題答對較多（只看一開始答錯的學生）稱為「quicker learning」，但用傳統題小考量時，拖放題和選擇題沒有測到差異。Koedinger 的小考和練習同題庫，期末考的圖像不同。Bastani 與 Lehmann 的練習分數上升，考試沒有跟上。「學習成果」各篇的定義不同，引用時要寫出是哪一種分數。
可以做的事
下面五條是本站的判斷，每條寫出依據是哪幾項結果。
-
把讀者說的「很清楚」記成讀者覺得順，不記成這篇有效。做法：收到這類回饋時，記在「讀者感受」那一欄，和「讀者做到了什麼」分開；改稿時不拿「大家都說清楚」當不改的理由。依據：Deslauriers 實驗裡「講得好」一題就能預測「學到很多」，兩者都沒有跟著測驗走；Lehmann 與 Bastani 的實驗裡自評偏離實際成績。距離：都是課堂或實驗室，讀者說的是文章不是老師。
-
不用停留時間、瀏覽量或觀看時間判斷改版好不好。做法：改版後若要看流量，只用它回答「有多少人到這一頁」；不要寫出「改版後讀者讀得更久，所以更好懂」這種句子。依據：東華報告的觀看時間變長而成就測驗沒有測到差異；大浦等人的觀看時間預測修了、不預測思考力；Duolingo 自己說總學習時間會被少數重度使用者拉動，才改指標。距離：都是影片或 App，沒有網頁文章。
-
名詞解釋的查詢次數，讀成「哪些詞讀者想查」，拿來決定哪裡補解釋。做法：每隔一段時間看一次，同一篇裡查得最多的詞，在它第一次出現的地方補一句白話定義；不把「查詢次數下降」當成讀者懂了。依據：這份資料沒有讀者身分、沒有查完之後的任何紀錄；其他研究裡的行為量多半量到做了什麼，不是學會什麼。距離：沒有研究直接測過這一條。
-
想要學習訊號，就要讀者在看不到答案、沒有幫手的情況下產出東西。做法：文末的綜合題寫明「闔上文章、不開聊天，先寫下來再對」，見第 15 篇的做法。依據：Bastani 與 Lehmann 的實驗裡，有幫手時練習分數上升、考試沒有跟上；Koedinger 的小考和練習同題庫，換成另一份考試結果不同。距離：本站記不到讀者的答案，這一條改善的是讀者自己的判斷，作者仍然拿不到資料。
-
要加任何事件紀錄之前，先寫下哪些不是學習的行為也會讓它上升。做法：寫一張短表，例如「展開答案」會因為好奇、跳讀、直接找答案而上升；寫不出來，就還沒想清楚它代表什麼。依據：Duolingo 的總課數偏向刷短課的人、總學習時間被少數重度使用者拉動，所以換掉；東華報告的觀看時間可能含停下來等作答的時間。加不加紀錄是本站另外要決定的事（改網站的資料收集要先問站主），這一條只說加之前要先想什麼。
對照本站的課程導讀規格
本站的課程導讀規格（course-guide-contract.md）在「完成證據與防復發」一節寫了三件和這篇有關的事：每篇要由沒參與撰寫的審稿者做語意審稿，逐項說明學習目標、正文機制、例子、練習與答案怎麼對齊；verify 綠或來源全部確認，不能替代教學驗收；不能宣稱 lint 能自動判斷學會與否。
| 規格條文 | 這篇讀到的 | 判定 |
|---|---|---|
| 獨立審稿者做語意審稿，列出目標、例子、練習的對齊 | 審稿量的是文章本身；這篇讀到的研究沒有一篇測過「審稿通過的教材，讀者學得比較多」 | 和這篇的結論一致：它是製作端的檢查，不是讀者端的成效。規格裡的「教學驗收」指的是前者 |
| verify 綠不能替代教學驗收 | 自動檢查只看格式與連結 | 一致 |
| 不能宣稱 lint 能判斷學會與否 | Yu 等人把通過叫作學習成果；Chen 等人指出多數影片研究沒有量學到沒有 | 一致；規格已經避開了這個錯 |
| 規格沒有任何讀者端的成效欄位 | 本站的資料都量不到讀者學到沒有 | 不是遺漏，是現況；要加就涉及資料收集，屬站主決定 |
規格沒有把流量或讀者回饋當成驗收條件，這一點和這篇讀到的證據方向一致。
這些證據的限制
- 沒有一篇研究的對象是公開網頁文章的讀者。所有研究都在課堂、實驗室或課程平台，學習者是被指派或報名的學生，網頁長文的讀者沒有人指派、沒有測驗。從這些研究搬到本站，每一步都是推論。
- 學習幾乎都在當下量。Deslauriers、Bastani、Lehmann、Kestin、Fischer、長濱與森田都是學完立刻考，沒有延後測驗；作者自己的訊號（讀者說什麼）也多半在讀完當下出現，但隔一段時間之後兩者的關係，沒有研究量過。
- 感受的量法各不相同。四題合成、單題自評、投入、喜好、對播放速度的評價，不能互相換算。
- 證據等級參差。東華報告沒有同儕審查、對照組是前一年；Fischer 是討論稿；Lehmann 是預印本；Duolingo 是公司部落格；大浦等人與 Yu 等人是觀察資料；Kestin 原文沒有提到預先註冊，後測人數和納入人數對不上。
- 沒有測到差異的檢定力常常不夠。長濱與森田自己報的檢定力 0.17 到 0.65；東華報告每組 40 多人；Lehmann 兩個實驗 107 與 69 人。「沒有測到差異」不等於「一樣」。
- 來源沒報的細節：Deslauriers 等人把那一題詮釋成流暢所依據的另一批訪談，沒有報人數；東華報告的觀看時間沒有註明單位；長濱與森田沒有報各組人數。
- 我的推論：讀者說「很清楚」主要量到順不順（從課堂外推到文章）；嵌題的觀看時間可能含停下的時間；有幫手時答對量到的是找得到；聊天提問多半指向卡住的地方；名詞解釋查詢次數的讀法；規格「教學驗收」的讀法；可以做的事五條。
- 只知道存在、沒讀到合法公開全文的：Klose 等（2022）的線上活動量與成績統合分析、Uttl 等（2017）的教學評鑑統合分析。都沒有引結果，也不列進參考資料。
- 沒有找到的：網頁停留時間、捲動深度、回訪與讀者理解的關係；「這頁有幫助嗎」這類按鈕的效度；讀者主動稱讚和實際學習的關係。
附錄：各研究的設計與數字
正文每項只留一兩個數字，其餘放在這裡。
Deslauriers、McCarty、Miller、Callaghan、Kestin（2019），PNAS 116(39)，刊出版與補充資料。設計與主要結果見第 8 篇。和這篇有關的補充：合成自評（FOL）是四題五點量表依主成分加權：喜歡這堂課、覺得學到很多、老師教得很有效、希望物理課都這樣上；主效果 −0.56（穩健標準誤 0.13），測驗 +0.46（0.10）。只用「學到很多」單題，作者說結果幾乎相同，沒有印數字。補充迴歸一：「老師教得有效」高者，「學到很多」高 0.51 個標準差（p < 0.001），放進後教法不顯著。17 人一對一訪談：15 人覺得主動課斷斷續續、不順；除 1 人外都覺得被動講課較愉快。被動組的教師被要求把講解的流暢度做到最大。期中成績越高，FOL 越低（−0.20）、測驗越高（0.26）；正文沒有討論這個係數。
Bastani、Bastani、Sungu、Ge、Kabakcı、Mariman（2025），PNAS 122(26)，刊出版與補充資料；更正啟事只改作者單位。土耳其一所高中，9 到 11 年級，主樣本 839 人（不含資優班），以班級隨機分派；四次 90 分鐘的課，每次練習後緊接閉書考試。練習：無防護 +0.137、有防護 +0.361（對照組平均 0.284，滿分 1）。考試：無防護 −0.054（SE 0.022，約 17%），有防護 −0.004（0.013）；預先註冊的 t 檢定版本分別是 −0.035 與 −0.006。感受（補充資料 Table B.8，ordered probit 或 OLS）：自評學到多少，無防護 −0.078（0.080）、有防護 0.071（0.055）；自評考得如何，−0.022（0.077）、0.130（0.056，p < .05）；練習對解考題的價值，0.113、0.271（p < .01）；願意放棄幾分鐘考試時間換 AI 協助，2.245、3.710 分鐘（都 p < .01）。作者在補充資料寫學生「potentially overvalue its benefits」。
Lehmann、Cornelius、Sting（2024，預印本 v2 為 2025-03-08），arXiv:2409.09047。Study 2：德國一所大學實驗室 107 人，學習階段旁有 GPT-3.5 聊天視窗，事後發現實驗室電腦擋掉了複製貼上；Study 3：同一實驗、可複製貼上，69 人。兩個都預先註冊。後測迴歸係數 0.396（p = 0.580）與 0.959（p = 0.298）；Study 3 學習階段 +2.614（p = 0.013）。探索性分析（Table 13，兩實驗合併 176 人）：控制後測減前測，有 LLM 的自評 +0.338（SE 0.166，p = 0.044）；再控制學習階段進度 +0.348（p = 0.043）；後測減前測每多 1 題自評 +0.154（p < .01）；以前用過 LLM 的人自評 −0.672（p < .01）。
Fischer、Rau、Rilke（2025），IZA Discussion Paper 18338，討論稿，未經期刊審查，預先註冊。柏林工業大學實驗室 334 人；讀 Varian 教科書節錄 25 分鐘，立刻考 25 題選擇題。全程可用 AI 家教 +0.337 個標準差（p < .01）；先讀 10 分鐘再開放 +0.132（不顯著）；兩組差 0.21（p = 0.066）。考後自估答對題數：全程 +0.195（p < .1）、延後 +0.217（p < .05）；喜歡準備過程：延後 +0.308（p < .05）、全程 +0.199（不顯著）。作者把自估與實際並排比較，沒有檢定。
Kestin、Miller、Klales、Milbourne、Ponti（2025），Scientific Reports 15，刊出版與補充資料。Harvard PS2，194 人納入，以 2 到 3 人小組交叉分派，兩週各一堂；AI 家教在家用，含預錄影片與逐題寫好的解法。後測中位數 4.5 對 3.5；迴歸 0.63 個標準差，作者說分量迴歸 0.73 到 1.3，沒有表。感受四題五點量表：投入 4.1 對 3.6（t(311) = −4.5）、動機 3.4 對 3.1（t(311) = −3.4）、喜歡與成長心態沒有測到差異（正文沒給數字）。另有「83% 的學生說 AI 的解釋和真人老師一樣好或更好」，沒有說何時問、幾人答。原文沒有提到預先註冊；後測人數 142 與 174，和納入的 194 人對不上。
長濱、森田（2017），日本教育工学会論文誌 40(4)，刊出版。東京一所私立大學 75 人，依前測與記憶測驗分成三組。影片 9 分 12 秒（1 倍速），投影片加聲音，禁止筆記、暫停、快轉、倒轉。後測合計（滿分 20）13.00、12.20、11.92，速度主效果 F(2,72) = 0.92，檢定力 0.38；再生（滿分 11）6.52、6.08、5.32，檢定力 0.65；應用（滿分 9）6.48、6.12、6.60，檢定力 0.17。主觀評價 25 題五點量表，評的是考後另外看的三種速度短版剪輯（受試者內）：19 題 1% 水準顯著；「學習內容理解了」F = 60.27，1 倍與 1.5 倍速高於 2 倍速。五題單選裡，最好懂、最能專注、今後最想用三題都是 1.5 倍速顯著最多人選（百分比只在圖上）。作者自列的限制：觀看程序不符合一般情境、沒有閱讀速度與眼動資料。
大浦、池尻、伏木田、安斎、山内（2018），日本教育工学会論文誌 41(4)，刊出版。gacco「日本中世の自由と平等」，2014 年 4 月，四週，34 支影片共 5.81 小時；註冊 20,025 人。修了模型 2,900 人（線上 2,847、加兩次面授的反轉組 53）：看滿 6 小時勝算比 8.35（95% CI 6.74–10.35）；討論區活動每多一天 1.41；反轉學習 1.63（p = .569）；模型的 Hosmer–Lemeshow 檢定不過（p < .001），AUC 0.85。思考力模型（修了者 1,224 人，線上 1,189、反轉組 35）：觀看時間（開根號）1.15（p = .161）；討論區 1.01（p = .348）；事前思考力 5.16；反轉學習 5.08（95% CI 1.98–13.05），反轉組是自己報名付費或選拔的高中生；歷史意欲 1.58。思考力編碼兩位專家加權 κ = 0.86。作者自列的限制：只評估修了者、單一課程。
賴志宏（2023），教育部教學實踐研究計畫成果報告（PEE1100902），東華大學教學卓越中心網站公開，報告封面標「延後公開」。非資訊科系的 Python 線上通識課；實驗組選擇題嵌在影片裡，控制組是前一年題目放在影片外的班；修課 109 與 114 人，完整資料 49 與 41 人。自我效能 3.38 對 2.98（t = 1.89）、動機 3.42 對 3.04（t = 1.75）、滿意度 3.36 對 3.21（t = 0.59），都沒有達顯著；觀看時間 11,400 對 8,898（單位未註明，t = 2.03，p < .05）；成就測驗 15 題，前測為共變量，10.42 對 10.31（F = 0.40）。研究目的列的完課率、重播與倒帶次數，結果沒有報告。報告沒有限制一節。
Chen、Chudzicki、Palumbo、Alexandron、Choi、Zhou、Pritchard（2016），RPTEL 11，刊出版（PMC）。edX 8.MReVx 力學複習課，註冊約 11,000 人；這一期做了七個實驗，論文報告兩個。拍法實驗（以下都是新拍法對舊拍法）：每支影片每種版本只分析在最後一次作答前看過影片的人（36 到 113 人，作答者不到 30%）。有長觀看的比例：影片 3 是 45% 對 27%（p = 0.02），其餘不顯著。平均觀看時間（占片長）：影片 1 是 75% 對 96%（p = 0.02，舊拍法較長）、影片 2 是 88% 對 108%（p = 0.05）、影片 3 是 101% 對 79%（p = 0.006）。最後答對率：影片 2 是 93% 對 83%（p = 0.04）、影片 4 是 84% 對 98%（p = 0.02，舊拍法較高）。作者的總評：「did not result in eye opening discovery or solid conclusions」。
Yu、Wu、Liu（2019），Education Sciences 9(2)，刊出版（ERIC 收錄的出版者 PDF）。OpenEdu 一門 6 週、55 支影片的課，三次開課修課 590、346、427 人，拿到證書 264、137、57 人；另一門課 977 人、86 人拿到。14 個特徵：登入單元數、看過的影片數、連線階段數、七種看片動作次數、可作答測驗數、作答數、嘗試次數、單元測驗總分。ANN 在前兩次開課（80/20 切分）平均 0.951；預測第三次平均 0.978；另一門課 0.943。沒有基準線、精確率、召回率、混淆矩陣，沒有只用看片特徵的模型。原文沒有限制一節。
Koedinger、Kim、Jia、McLaughlin、Bier（2015），L@S 2015，刊出版。數字見第 9 篇與第 8 篇的附錄。和這篇有關的：做練習對每週小考總分的標準化係數 0.44，看影片與讀頁面各約 0.065；小考題目出自互動教材的題庫，期末考由授課教師出題；期末考表現優異的比例，只多做練習 16%、只多看影片 15%、兩者都多 31%。觀察資料，作者認為因果模型支持做題有因果效果，同時承認沒有隨機分派、流失率高。
Salvador（2024），Duolingo Blog，2024-06-13 刊出、2024-12-02 修改。三個指標：完成的 session 總數 → 學習時間（後改為每天至少 15 分鐘的人的比例）→ Time Spent Learning Well＝路徑上的學習分鐘數＋其他課的學習分鐘數 × 0.5。XP 重新配置的實驗圖例寫每天約多 110 萬與 180 萬分鐘，圖上沒有年份、樣本數或對照組說明，量的是指標本身。縮短課程讓指標下降，沒有數字。
Cloudflare Web Analytics 文件。High-level metrics 頁：Visits 是從別的網站或直接開啟而來的頁面瀏覽（文件原文「A page view that originated from a different website or direct link」，判定方式是來源網址和主機名稱不同），一次造訪可以含多次頁面瀏覽；Page views 是內容類型為 HTML 的成功回應；另有頁面載入時間與 Core Web Vitals。FAQ：還不支援自訂事件。
參考資料
每一條都從頭讀到尾並留有抽取紀錄；讀不到的部分寫在括號裡。
- Deslauriers, McCarty, Miller, Callaghan & Kestin (2019), Measuring actual learning versus feeling of learning in response to being actively engaged in the classroom（刊出版，PMC 全文與補充資料）。
- Bastani, Bastani, Sungu, Ge, Kabakcı & Mariman (2025), Generative AI without guardrails can harm learning: Evidence from high school mathematics（刊出版，PMC 全文與補充資料；更正啟事；預先註冊文件與資料沒有讀）。
- Lehmann, Cornelius & Sting, AI Meets the Classroom: When Do Large Language Models Harm Learning?（arXiv 預印本 v2，2025-03-08；附錄的介面截圖只讀了圖說，預先註冊文件沒有讀）。
- Fischer, Rau & Rilke (2025), AI Tutoring Enhances Student Learning Without Crowding Out Reading Effort（IZA Discussion Paper No. 18338，討論稿，波昂大學圖書館送存版；預先註冊文件沒有讀）。
- Kestin, Miller, Klales, Milbourne & Ponti (2025), AI tutoring outperforms in-class active learning: an RCT introducing a novel research-based design in an authentic educational setting（Scientific Reports 開放取用刊出版與補充資料；GitHub 上的資料沒有讀）。
- 長濱澄、森田裕介 (2017)〈映像コンテンツの高速提示による学習効果の分析〉（日本教育工学会論文誌 40(4)，J-STAGE 刊出版，日文；圖上的長條高度與百分比沒有估讀）。
- 大浦弘樹、池尻良平、伏木田稚子、安斎勇樹、山内祐平 (2018)〈歴史をテーマにした MOOC における反転学習モデルの評価〉（日本教育工学会論文誌 41(4)，J-STAGE 刊出版，日文；圖只讀了圖說與內文引用的數字）。
- 賴志宏 (2023)〈線上教學影片穿插即時測驗對學習投入與學習成效影響之研究：以非資訊相關科系之程式設計課程為例〉（教育部教學實踐研究計畫成果報告，東華大學教學卓越中心網站公開，未經同儕審查；系統畫面截圖只讀了圖說）。
- Chen, Chudzicki, Palumbo, Alexandron, Choi, Zhou & Pritchard (2016), Researching for better instructional methods using AB experiments in MOOCs: results and challenges（刊出版，PMC 全文；圖本身不在取得的全文裡，只讀了圖說）。
- Yu, Wu & Liu (2019), Predicting Learning Outcomes with MOOC Clickstreams（刊出版，ERIC 收錄的出版者 PDF）。
- Koedinger, Kim, Jia, McLaughlin & Bier (2015), Learning is Not a Spectator Sport: Doing is Better than Watching for Learning from a MOOC（ACM 開放取用刊出版，亦見作者實驗室著作頁；圖上的數字讀不到，只用正文敘述）。
- Salvador (2024), Behind the metric: how we developed "Time Spent Learning Well"（Duolingo 官方部落格；文中三個外連沒有讀，包括它引的白皮書）。
- Cloudflare Web Analytics 文件：High-level metrics 與 FAQ（2026-10-15 查），用來說明本站的匯總流量統計量什麼、不量什麼。