讀者會不會做文章裡的題目：作答率、略過、先看答案與提示的證據

TL;DR量到「題目出現時有沒有人答」的大樣本紀錄只來自 MOOC：影片播到題目的位置時在播放器裡出題，開始看那支影片的人約七成四作答；跳出的複習題，選擇題約七成、要打數字的約四成。隨機分派下，要打字的任務做的人約是只要勾選的一半。我讀到的研究裡沒有一篇量過公開文章的讀者，本站也沒有資料。

#learning-science #retrieval-practice #self-learning #course-guide #blog

系列: 教學文章怎麼寫 (10 / 19)

教學文章裡的問題與用語怎麼寫：提問、回饋、術語與寫作規格的證據教學文章裡的專案要給多少引導：先卡關再講解、探索、鷹架與專題式學習

🌏 English version

這是「教學文章怎麼寫」系列的第 10 篇，屬於第二部分「要讀者做什麼」。第 8 篇查了「做中學」的證據量的是什麼，第 9 篇談文章裡的題目怎麼出、答案怎麼給。這兩篇有一個沒有明說的前提：讀者會作答。這篇回頭查這個前提。

起因是本站的課程導讀規格。規格要求每個主要小節結尾放一題，附答案或判準。實際寫出來的樣子是：題目前面標「自我檢查｜先寫下答案，再展開」，答案收在要點一下才會展開的 <details> 區塊裡。這個格式背後有三個沒驗證過的假設：讀者會停下來答、不會先點開答案、答了是認真答。第 7 篇談互動時另外留下一個問題：摺疊區塊外面要不要放一句提示，提示會不會先把答案洩漏出去。這篇一併處理。

先講一個缺口。本站沒有任何閱讀行為的資料：2026-10-13 查過，網站的程式與正式站的文章頁都沒有載入分析工具，所以我不知道本站有多少人展開過答案。下面的數字全部來自別的情境。

這批研究怎麼選、怎麼讀的。我先做了一輪掃描，再從裡面挑 12 篇從頭讀到尾。挑的標準是有沒有量到「學習者實際做了多少」：作答、略過、先看答案、選擇測驗或重讀。挑出來的研究有明顯的偏向：大多是 MOOC（Coursera、edX 上的大型開放線上課程）、有學分的大學課，或是付費招募受試者的線上實驗；英文文獻；好幾篇的作者就是教材或平台的開發者。沒有任何一篇量的是公開文章或部落格的讀者。把這些數字搬到一篇網頁導讀，是我的推論，每次用到都會標。

先看結論

問題	目前讀到的答案	證據的性質
題目出現在讀者正在看的東西裡，多少人會答	影片播到題目的位置時在播放器裡出題，開始看那支影片的人 74% 交了答案（Kovacs 2016）；題目不強制、不計分、有略過鈕	一門課的紀錄分析，沒有對照、沒有檢定
自動跳出、考前幾週內容的題目	題目跳出時，選擇題約七成有人作答，要打數字的約四成；被分派的人裡只有約兩成碰過；成績沒有測到差異（Davis 等 2018）	一門課的隨機實驗，遵從率低；檢定力低是我的判斷
要打字和只要勾選	寫摘要的人數約是讀摘要的一半；寫、讀、什麼都不做，三組成績沒有測到差異（van der Zee 等 2018）	一門課的隨機實驗
計不計分	不給分的兩個班完成 53%，有給分的各級 88% 到 94%（Edgcomb 與 Vahid 2015）	跨班比較，沒有檢定，作者隸屬平台
答案一鍵可看時，先試答的比例	三類學校平均 81% 到 87% 的題目先試答才看答案，學期後段下降（Yuen 等 2016）	一個學期的紀錄，有學分，作者隸屬平台
答錯之後	多數人十幾秒內就再答一次，回頭看影片的很少（Kovacs 2016）	同上的紀錄分析
讀者能自己選的時候	只有「直接考」和「再看一次」兩個選項時，兩成選考；多了「有提示的考」時，七成選某種考法（Vaughn 與 Kornell 2019）	兩個不同樣本的跨實驗比較，單字配對
提示會不會讓題目沒用	答案猜不到時，有提示和沒提示的最後測驗沒有測到差異；提示強到猜得出答案時，比弱提示差（同上）	單字配對、2 分鐘後測
直接抄答案的人	抄最多的一群，期末考比少抄的一群低 1.3 個標準差；概念測驗的進步和抄多少無關（Palazzo 等 2010）	相關；作者自己說反向因果也被資料支持
公開文章的讀者	沒有任何來源	本站也沒有資料

有多少人會答

下面六組數字來自六種情境。它們的分母各不相同，最後一小節說明為什麼不能直接並排比。

播放器裡出的題目

Geza Kovacs 2016 年的研究分析 Coursera 上一門機器學習課（2013 年 10 月到 2014 年 1 月那一期）的觀看紀錄。影片播到特定位置時，播放器裡會出一題自動批改的短題；出題時影片會暫停，這一點原文沒有直接描述，是從紀錄檔的一句說明推得的。題目不強制、不計分，畫面上有「Skip」按鈕；一半的題目落在影片最後十分之一。

只算有一題的 92 支影片，開始看那支影片的人裡，74% 交了答案，看到影片結尾的只有 66%。作者的解釋是很多人答完題目就離開，而題目多半在片尾。拿到證書的人作答比例也只到 79%，作者說連他們都會略過幾支選讀影片與題目。

往前拖動進度條時，跨過題目的次數比跨過影片其他位置少，作者寫成使用者「tend not to」跳過題目。這是「較少」，不是「不會」：跨過題目的往前拖動仍有九萬多次。

這篇只有描述性的比例，沒有統計檢定，也沒有量學習成果。有題目的影片中途離開的比例較低，作者自己說這不能證明因果，可能只是那些影片的內容比較吸引人，要用 A/B 測試才能確認。

跳出來、考前幾週內容的複習題

Dan Davis、René Kizilcec 等人 2018 年的實驗在 edX 一門地球科學課做隨機分派，事先註冊了分析計畫。實驗組在第 2 到 6 週的講課影片頁上，會自動跳出一個蓋住影片的小視窗（作者叫它 qCard），題目隨機抽自前幾週的題庫，右上角的「x」可以直接關掉。作答不計分。選擇題答錯時只給提示，不告訴正確答案。對照組沒有跳出的題目，但兩組都上了同一課「有效的學習習慣」，說明自我測驗的好處與做法。

以被分派的人算，實驗組 523 人裡只有 102 人至少碰過一次 qCard，約兩成。這個分母是「進過課程一次的人」，而兩組都有七成左右的人課程成績是零，很多人可能根本沒走到會跳出題目的頁面。作者沒有報告實驗組裡實際看過 qCard 的人數。

以題目跳出來的那一次為單位，數字就不一樣：選擇題約七成有人作答，要自己打數字的題目約四成。題目不是隨機分到題型的，所以這個差別可能來自題目本身。選擇關掉的人，中位數 7 秒就關了。影片頁下方有一個「再來一題」的按鈕，整門課只有一個人用。

成績方面，以全部被分派的人比（意向處理分析），兩組的取得證書率、成績非零的比例、連續成績都沒有測到差異；改用估計實際使用者效果的方法，也沒有。作者加框的總結是：

A causal analysis yields no evidence that encouraging retrieval practice raised learning, performance, or self-regulatory outcomes in this course.

作者在討論裡說，很多人沒有碰題目，這限制了他們做因果推論的能力。所以這是「沒有測到」，不是「證明無效」；兩組通過率只有 7% 到 8%、實際碰過題目的約一百人，我判斷檢定力很低，作者沒有談檢定力。實際碰過題目的約一百人通過率高很多，作者明說那是自我選擇：比的是對照組全體和實驗組裡動機最強的那群人。

影片之後的獨立一頁：要打字的，做的人少一半

Tim van der Zee 等人 2018 年的研究在 Coursera 一門恐怖主義與反恐的課裡，把 12,444 人隨機分到三組：每支影片後寫三句摘要、每支影片後讀一段現成摘要並勾選已讀、兩者都沒有。摘要任務排在影片之後的新一頁，可以不做直接往下走，沒有回饋。

寫和讀的人數差很多。第一支影片有 774 人寫、1,638 人讀，之後每一支影片，讀的人數都約是寫的兩倍（倍數是我依各影片人數算的）。作者的解釋是寫比較費力。原文沒有給看過每支影片的人數，所以算不出「看到提示的人裡有幾成做」。如果用被分派的人數當分母，第一支影片約一成九寫、四成讀；分母含根本沒開始看影片的人，所以這是下限，也是我算的。

三組在三次測驗上的成績都沒有測到差異，比較的是有去考該次測驗的人。兩種摘要任務還讓第 1、2 週測驗時留下來的人比控制組少，期末時三組沒有差別。作者的說法是：連「相對輕微、完全可選」的任務，都可能以預料之外的方式影響流失；他們推測這只是讓流失提早發生。

要注意這篇的摘要。摘要寫兩種介入「似乎都幫學生表現得更好」，依據是同一組內做得多的人分數較高的相關；作者在討論裡承認這可能是自我選擇。隨機分派的三組比較沒有差異，摘要沒有提。

有學分的互動教科書：計分與完成

Alex Edgcomb 與 Frank Vahid 2015 年的報告比較 8 個使用 zyBooks 互動教科書的大學班，共 1,394 位學生。教科書的簡答題答案一鍵可看、作答次數不限、看答案不扣分；各班老師自己決定閱讀作業給多少分，研究者事後用問卷問老師。

不給分的兩個班，平均完成 53% 的指派題目；有給分的各級都在九成上下（給 2 分那一級是兩班合併的數字），給分最少和最多的完成率相近，看不出給越多分完成越多。

這是跨班比較：多數給分級只有一個班，老師、學校、科目都不同，沒有統計檢定，「分」佔總成績多少原文也沒有交代。作者自己說給分以外的因素很多，例如是不是本科系的課。給非資訊科系學生上的那一班程式課，完成率與認真程度都是有給分的各班裡最低的。兩位作者都隸屬 zyBooks。

沒有學分的自學者

離「一個人自己讀」最近的是 Barbara Ericson 等人 2015 年的研究。10 位幾乎沒寫過程式的老師，用自己的步調讀研究團隊做的 Python 電子書前 8 章，沒有學分；四份後測都做完的人可以拿 50 美元禮品卡。

10 人裡 5 人讀到第 8 章，作者說禮品卡對這個完成率「大概有很大的影響」。讀完的人裡有兩位在後面幾章跳過一半以上的互動元件，卻仍然會答選擇題；在做完四份後測的五人裡，這兩位最後一份後測分數最低。全部有做後測的人裡，選擇題答得多寡和後測成績看不出關係，作者自己寫了這一句。電子書是作者群自己做的，論文明說是在檢驗自己的設計；樣本只有 10 人，沒有檢定。

放在課程開頭的寫作活動

René Kizilcec、Justin Reich 等人 2020 年的研究沒有出題目。它在 247 門 MOOC 的開課問卷裡，隨機放幾分鐘的寫作活動，例如寫讀書計畫、寫這門課和自己在乎的價值有什麼關係。它對這篇有用的是漏斗數字：從補充資料的表算，註冊者只有約一成二進入開頭那份問卷（比例是我算的）；第一年焦點樣本中看到計畫寫作提示的人裡，14% 一個字都沒寫。

它的主要結果是：先前在少數課程裡得到的效果，放到 247 門課後，四個主要假說都沒有複製；剩下的效果小、只在部分課程出現，還有一處反向。計畫類活動提高了前一兩週的活動量，但沒有提高完課率。作者的結論是，要幫到背景各異的學生，光靠輕量的介入不夠。

這些數字為什麼不能並排比

分母不同：開始看那支影片的人、進過課程一次的人、題目跳出來的那一次、被分派到該組的人、被指派的題目、報名的人。
「作答」的定義不同：交出答案、碰過一次、送出一段文字、最後答對、讀到第幾章。
計不計分不同：Kovacs、Davis 不計分；van der Zee 原文只寫可略過、沒有回饋，沒有說計不計分；Edgcomb、Yuen 有學分；Ericson 有禮品卡。
題目位置的效果沒有人直接測過。把 Kovacs 的 74% 和 Davis 的「約兩成」放在一起，很容易讀成「擋在路上的題目比跳出來的題目多人答」。但換成同一種算法（題目出現時有沒有作答），Davis 的選擇題約七成，和 74% 相去不遠。兩篇的題目內容也不同：Kovacs 問的是正在看的那支影片，Davis 問的是前幾週的內容。沒有任何一篇拿同一批題目比過不同擺法。

答了，是認真答嗎

答案一鍵可看時，多數題目先試答

Joshua Yuen、Edgcomb 與 Vahid 2016 年的研究用同一套 zyBooks 簡答題，看四所學校 553 位 C++ 入門課學生（2014 年秋季）。答對才有分；按「Show answer」會顯示答案與解釋、不給分，但把答案貼回去作答也不扣分。作者定義的「認真作答」是：學生答過的題目裡，先至少試答一次才看答案的比例。

三類學校的平均是 87%、85%、81%。學期越後面越低，三類學校都是。作者把下滑歸於疲勞，不是題目變難，依據是自己定義的兩個指標，沒有做檢定。認真作答比例特別低的那幾題，作者檢查後說都是寫得不好的題目；學生在這種題目先看了答案，接下來的題目又能自己答出來。

引用時要帶四個條件：有學分而且答對才給分；只分析簡答題；分母是學生答過的題目，完全沒碰的題目不在裡面；三位作者都隸屬 zyBooks，其中一位是共同創辦人。摘要寫的 84%、89% 等數字，在內文與表裡找不到對應，我引的是內文的三個數字。

答錯之後

Kovacs 的紀錄裡，第一次就答對的佔 76%。第一次答錯的人，從第一次到最後一次作答，中位數只隔 13 秒。第一次答錯、30 分鐘內改對的人裡，改對之前拖動過影片的只有 9.1%（其中絕大多數是往回拖）。作者的原話是多數答錯的人「simply answer again within the next 13 seconds, without referring to the rest of the video」。往回拖動確實會在題目附近集中出現，但多半發生在第一次作答之前：先看題目，回頭找，再作答。

Ericson 的電子書裡有一個個案：一位老師的選擇題答錯 38 次、答對 10 次，只改過一次答案。作者說其他人多半會一直答到對為止。

直接抄答案的人

David Palazzo 等人 2010 年的研究看的是另一種「先看答案」：直接抄。資料是 MIT 一門大班力學課（2003 年秋季，428 人）的線上作業紀錄，作業約佔總成績 10%，成績制度是及格或不記錄。「抄」是從作答時間推論出來的：一題含好幾個小題，從開啟到全部答對只花一分鐘左右，作者認為不夠讀題與計算，就判定為抄。

約兩成學生抄了三成以上的題目。抄超過一半的那一群（約一成的學生），期末考比少抄的一群低 1.3 個標準差。學期初的概念前測各組沒有差別；學期末概念測驗的進步和抄多少無關。作者主張抄襲造成成績下滑，但也在括號裡寫：「成績低導致之後抄襲」的假說同樣被資料支持。

這篇還有三個和本篇有關的發現：

抄得最多的人最強的共同點是拖到截止前才開始；自陳的理由以「其他課太忙」與「題目太難」為首。作者說能力只是弱相關。
2005 年約三分之二的教授把「抄襲與成績」的圖給學生看，提醒抄襲會危及及格。抄襲率在那個時間點沒有顯著下降。
不計分的考前練習題，重複抄襲者以外的學生大約完成六成，重複抄襲者從近五成降到不到四成（作者引自同一團隊先前的分析）。

它不能直接用來談「點開答案」。這裡的抄是從朋友或別人的帳號拿答案、一分鐘內填完，不是試過之後看解答，也不是教材內建的顯示答案按鈕。

讀者自己選的時候

選測驗還是再看一次，看選項怎麼給

Kalif Vaughn 與 Nate Kornell 2019 年的五個線上實驗讓受試者學 60 組單字配對（多數實驗用無關的配對，例如提示詞 idea、目標詞 seeker；實驗 4 用弱關聯的配對）。每組第二次出現時，有四種可能的形式：只給提示詞要你打出目標詞（純測驗）、給目標詞的 2 個字母、給 4 個字母、或把整組再看一次照抄（純重讀）。實驗 1 讓受試者四選一，實驗 2 只能在純測驗與純重讀之間二選一，實驗 3a、3b、4 由研究者隨機分派形式、不讓人選。不管哪一種，送出後都會看到正確答案。

只有純測驗和純重讀兩個選項時（實驗 2，39 人），約八成的時候選重讀，兩成選測驗。
四個選項都有時（實驗 1，36 人），71% 的時候選某種測驗，其中多數是 4 個字母的提示；純測驗只有 2%。
即使在有提示的實驗 1，問卷裡仍有約四成的人認為純重讀最有助學習。

「有提示時七成、沒有提示時兩成」是兩個實驗、兩批不同的人比出來的，作者沒有做跨實驗的檢定。作者的解讀是學習者不是排斥測驗：

They do dislike and avoid something, but it is being wrong, not taking tests.

作者也說「怕答錯」這個解釋沒有直接量過，只是和資料一致。

讀者把題目當成什麼

Michelle Rivers 2021 年的回顧整理學習者對練習測驗的信念與選擇。幾個和作答有關的整理：

為什麼自我測驗：10 份問卷加權平均，回答「想知道自己學得多好」的約一半，回答「比重讀學得多」的約四分之一。作者的解釋（推測）是學校裡的測驗主要拿來打分數，所以被當成檢查用的工具。
什麼時候選測驗：學習者傾向在預期答得出來時才選測驗，例如材料看起來容易、剛學過不久、有回饋、學到後期。作者用的是「預期」，不是實際答得出來。
自願、不計分的練習題：作者整理六篇研究，說通常只有少數學生會用，光是把題目放著不給誘因，似乎不足以讓人去做；告知好處並提醒，可以提高使用。這一點原文沒有給數字，我也沒讀那六篇。
答對一次就放掉：作者轉述 Dunlosky 與 Rawson 2015 年的實驗，學習者自己控制時，平均每個概念答對一次就不再練；讀了說明、被鼓勵、給金錢誘因都沒有改變。這是轉引，原研究我沒有讀。

Davis 的資料有一個方向一致的探索性結果：原本的課程題目答對過的內容，之後的 qCard 有 73% 會作答；原本的題目沒答過的，只有 34%。

讀者自己的感受也不一定可靠。第 8 篇整理過 Deslauriers 等人 2019 年的課堂實驗：主動的那一堂是學生分小組先解題、老師巡堂，再給解答；學生當下的自評比直接聽講的那一堂低（四題合成，包含喜不喜歡這堂課），測驗成績卻較高。那是有同學、有老師的課堂，不是獨自讀文章。讀者對自己懂了沒有的判斷有多準，之後的篇會專門談。

哪些設計會改變作答

下表把上面的研究依「作者能動的東西」重新排一次。第三欄寫的是證據的性質，不是效果大小。

設計	讀到的證據	性質
計分	不給分兩班完成 53%，給分各級 88% 到 94%（Edgcomb 與 Vahid）；自願不計分的練習通常少數人用（Rivers 整理）	跨班比較；公開文章做不到
要打字還是點選	寫摘要的人數約是讀摘要的一半（van der Zee，隨機分派）；選擇題約七成作答、打數字的約四成（Davis，題目非隨機）	兩門 MOOC，方向一致
給提示	有提示選項時選測驗的比例高很多（Vaughn 與 Kornell，跨實驗）	單字配對
題目寫得好不好	認真作答特別低的題目都是寫不好的題目（Yuen 等，作者事後檢查）；困惑、太難、重複操練的題目認真程度較低（Edgcomb 與 Vahid，引自自己沒發表細節的分析）	產品方的事後觀察
題目擺在哪裡	沒有研究直接比過；「再來一題」的按鈕只有一人用（Davis）	缺
考剛讀完的還是前面的	沒有研究直接比過；學習者在預期答得出來時才選測驗（Rivers）	推論
先說明題目的好處	Rivers 整理：告知好處並提醒可以提高自願練習的使用；她轉述的兩個「教學習者重複練習」的實驗方向相反。類比：給學生看抄襲與成績的圖，抄襲率沒有顯著下降（Palazzo）；計畫與價值寫作這類輕量介入放大後沒有複製（Kizilcec，介入不是說明題目的好處）	證據不一致
題目會不會讓人離開	兩種可略過的摘要任務讓前兩週留下的人變少，期末相同（van der Zee）；有課前測驗的組完課率較低（Janelli 與 Lipnevich）	兩門 MOOC，後者分不開「離開」與「跳過」

幾點補充：

計分。Edgcomb 與 Vahid 的不給分班平均完成 53%，Palazzo 那門課裡，重複抄襲者以外的學生在不計分練習題上約完成六成，兩個數字來自不同課程、不同定義，只能說方向相近。公開文章沒有分數可給，所以這一列對寫文章的人主要是提醒：有學分情境的數字，是在有分數推著的條件下量的。Janelli 與 Lipnevich 的作者建議把前測計入成績可能提高作答，但說不一定會降低流失；這是作者的建議，沒有測。

打字的成本。van der Zee 是唯一隨機分派、比的是同一位置不同任務的研究，結論是要打字的任務做的人約少一半。學習成果方面，三組成績都沒有測到差異。Davis 的題型差別方向相同，但選擇題和數值題是不同的題目。Ericson 的兩位最不投入的讀者也是「其他都跳過，選擇題照答」。三個來源合起來，我的推論是：作答越省力，答的人越多；但沒有任何一篇顯示作答多就學得多，Ericson 的選擇題作答量和後測甚至看不出關係。

題目會不會讓人離開。van der Zee 的效果在期末消失，作者推測只是流失提早。Janelli 與 Lipnevich 的研究第 1 篇已經談過：有課前測驗的三組要前測和後測都交才算完成一個單元，沒有前測的組只要交後測，所以「離開課程」和「不做前測」分不開。

摺疊區塊外的提示會不會洩題

第 7 篇留下的問題是：自我檢查的答案收在 <details> 裡時，摺疊外面要不要放一句提示，例如「提示：用蘊涵的定義想」，這句提示會不會先洩漏答案。

沒有研究直接測過。我讀到的研究裡沒有一篇是在文章裡放摺疊答案，更沒有比較摺疊外有沒有提示。最接近的是 Vaughn 與 Kornell 的實驗 3a、3b、4，它們把每組單字隨機分派到四種形式，兩分鐘後考：

答案猜不到時（實驗 3a 41 人、3b 63 人，無關的單字配對；每個 4 個字母的提示至少對得上五個英文字，不能靠語意猜）：純測驗、2 個字母提示、4 個字母提示三種之間沒有測到差異，兩次都是；三種都比純重讀好。
答案猜得到時（實驗 4，36 人，弱關聯的配對，例如 whip 和 punish）：4 個字母提示比 2 個字母提示差，效果量 d = 0.54；兩種提示和純測驗相比都沒有測到差異。作者推測 4 個字母讓人不必回想就猜得出來。
作者的建議是可以給提示，但讓答案猜得出來的提示可能有害，可能要避免；同時說要用真實教材再驗證。

這組實驗的條件和文章很不一樣：材料是單字配對，每次作答後都會看到正確答案，最後測驗在兩分鐘後。Yuen 等人的觀察也有一點關聯：學生在寫不好的題目先看了答案，接下來的題目又能自己答出來，作者讀成題目的問題，不是學生不想答。

把這些用到摺疊外的提示，我的判斷是：

提示可以放。「沒有測到壞處」這一半來自實驗 3a、3b，提示是隨機分派的，推得過來。「可能讓更多人願意作答」那一半來自實驗 1 對實驗 2 的跨實驗比較，研究裡的提示是讀者自己選的；本站摺疊外的提示是每個讀者都看到的，作者也說沒有試過強制使用提示會怎樣，所以這一半只是方向。
提示指的是去哪裡找，不是答案本身。可以指出要用哪個定義、看哪一步、比哪兩個情況；不寫出答案的關鍵詞、數值或結論的方向。這一點比研究更保守：實驗裡的提示本身就是答案的一部分（目標詞的前幾個字母），2 個字母的提示也沒有測到壞處；研究支持的只有「不要讓人不必回想就猜得出來」。只指方向是本站的選擇。
檢查方法：遮住那一節的正文，只看題目和提示，答不答得出來？答得出來，提示就洩題了。這對應實驗 4；不過「4 個字母讓人不必回想就猜得出來」是作者的推測，實驗沒有量受試者有沒有回想。
開放題的判準留在摺疊裡。「好的答案要提到 X 和 Y」這種判準，放在摺疊外面就等於先告訴讀者答案要包含什麼，我把它類比成 4 個字母的提示；研究沒有測過判準。

四點都是我的推論，依據是單字配對的實驗，沒有用文章測過。

來源說法不同的地方

以下幾組結果方向不同，或看起來衝突、其實量的東西不一樣。我把它們並列，不選邊。

學習者偏好重讀嗎。Rivers 整理的問卷裡，回報用重讀的人（62%）和回報用自我測驗的人（57%）差不多，差距大的是「最常用的策略」：重讀 43%，自我測驗 8%。Vaughn 與 Kornell 的實驗裡，只有純測驗和重讀兩個選項時多數選重讀，加上提示選項後多數選某種測驗。Rivers 轉述 Kornell 與 Son 2009 年的實驗：第一張單字清單上選重讀和選測驗的人一樣多，有經驗之後選測驗的人變多。三者量的分別是自陳、單次選單、多輪選擇，所以「偏好重讀」要看怎麼問。

學習者會不會重複練到熟。Rivers 轉述 Dunlosky 與 Rawson 2015 年的實驗：學習者平均答對一次就放掉，讀了說明也沒有改變。她也轉述 Ariel 與 Karpicke 2018 年的實驗：簡短的策略說明讓學習者更常重複測驗、成績較好。另一個跨四次學習的研究（Janes 等 2018），每個概念平均正確回憶 4 到 7 次。三個原研究我都沒有讀。

寫摘要與讀摘要有沒有幫助。van der Zee 等人的摘要說兩種介入似乎都有幫助；同一篇的隨機分派比較裡，三組成績沒有測到差異，正文某一小節的開頭和結尾也互相矛盾。正面的說法來自組內「做得多的人分數高」的相關。

通過與沒通過的人知識有沒有差。Davis 等人正文加框的結論說兩者在評量的知識上沒有顯著差異；同一節的檢定卻是通過者答對率高 6 個百分點、顯著。摘要裡「兩群人課後測驗相近」的說法，正文找不到通過者對未通過者的比較，課後測驗只有 20 人填。

同一個實驗，轉述的數字不同。Rivers 的回顧轉述 Vaughn 與 Kornell 的實驗 1 時寫成 80% 選某種測驗；原文是 71%。這篇用原文的 71%。引二手回顧的數字時，最好回原研究對一次。

對照本站的做法

本站的課程導讀規格寫在 course-guide-contract.md，下面依 2026-10-14 工作目錄裡的版本對照。

本站現在的做法	這篇讀到的	性質
每個主要小節結尾放一題，附答案或判準	題目擺在哪裡會不會改變作答率，沒有研究直接比過；Kovacs 的 74% 是另一種擺法（影片播放器裡出題）在 MOOC 的紀錄	本站的選擇；本站讀者的作答率不知道
題目前標「先寫下答案，再展開」	這句話對作答的影響沒有人測過；第 9 篇已經把「要求先寫下來」降成沒有直接證據的做法；Vaughn 與 Kornell 說學習者迴避的是答錯	本站的選擇
答案收在 `<details>` 裡	答案一鍵可看時，有學分的學生多數題目仍先試答（Yuen 等）；沒有研究比較摺疊與不摺疊	本站的選擇；有學分情境的旁證
題目多半用一個數值、一個輸出或幾個詞就能答；明確要求寫理由的約六分之一（我的計數，見表下）	要打字的任務做的人約是只要勾選的一半（van der Zee）；打數字的題目作答率低於選擇題（Davis）	多數題目的作答成本已經不高；少數要寫理由的題目和作答率可能有取捨，這是我的推論
不計分、讀者不用登入	不給分的班完成率較低（Edgcomb 與 Vahid）；自願不計分的練習通常少數人用（Rivers 整理）	改不了；我預期本站的作答率低於有學分的情境，這是推論
摺疊外沒有統一的提示格式	見上一節	依上一節的四點，是本站的選擇
沒有閱讀行為資料	—	要知道作答率得先裝分析工具，裝不裝是本站另外要決定的事；而且「展開答案」不等於「作答過」

表裡題型那一列是我自己數的。2026-10-14 在 src/content/posts/ai 與 src/content/posts/tech 裡搜「自我檢查｜先寫下答案，再展開」，12 篇中文課程導讀共 90 題。我逐題讀題目，依「答案至少要寫出什麼」分成三類，一題含好幾問時算最費力的那一問：

算出一個值、寫出程式的輸出或演算法每一步的狀態：46 題，例如「擲兩顆骰子，點數和是 12 的機率是多少？」
判斷或歸類（是／否、哪一個、屬於哪一類），或寫出幾個名詞，題目沒有要求理由：28 題，例如「還推得出『今天有下雨』嗎？」
題目明寫要理由或解釋（「為什麼」「差在哪」「用定義回答」「會遇到什麼問題」這類）：16 題。

分類是我一個人判讀的，邊界上的題目（例如「能不能因此說它是最好的模型？」）換一個人可能歸到別類，但不會改變「多數題目不必寫一段話」這個結論。

最後一列要多說一句。即使裝了分析工具，能量到的是有沒有點開 <details>。Yuen 等人用的「先試答才看答案」需要平台同時記錄作答與看答案，一篇只有摺疊答案的 Markdown 文章記錄不到作答。

可以做的事

下面每一條都標了依據與性質。

要寫理由的題目，前面先放一個省力的小題。依據：van der Zee（隨機分派）與 Davis（非隨機）都顯示要打字的任務做的人較少；第 9 篇的依據支持題目問解釋。本站多數題目本來就是短答，這一條只適用那約六分之一明確要理由的題目，取捨是我的推論。做法：把題目拆成兩步，第一步用一兩個字就能答，第二步才問為什麼。例如 CS50 AI 第 0 週導讀原本問「Depth-limited Minimax 為什麼一定要搭配 evaluation function？只用 Utility 不行嗎？」，可以改成先問「搜尋到深度上限、棋局還沒結束時，Utility 給得出值嗎？是或否」，再問「所以要靠什麼替那個局面打分數？」（改寫是我擬的，沒有試讀過）。第一步幾乎就是原題答案的前半，這是刻意的：拆出來的小題仍然是要讀者自己回答的題目，作用是把一步難的推理切成兩步較容易的，屬於鷹架。摺疊外的提示則是直接給讀者看、不需要作答的文字，所以前面「摺疊區塊外的提示會不會洩題」一節說它不能透露答案。兩者的差別在讀者有沒有先自己答。本站也有題目已經是這個形狀，例如總結篇的 Crossword 那題「該用它嗎？為什麼？」。
提示指方向，不給答案。依據：Vaughn 與 Kornell 的實驗 3、4，單字配對。做法：寫完提示後，遮住那一節的正文只看題目和提示，答得出來就改。
把會被跳過的題目當成題目的問題。依據：Yuen 等人與 Edgcomb 與 Vahid 的事後觀察，作者隸屬平台、沒有對照。做法：請一位沒讀過的人試讀，讀完問對方哪一題跳過了、為什麼；回答是「看不懂在問什麼」「太難」的，改題目，不是加一句「請務必作答」。
說服段落的效果，證據不一致。依據：Rivers 整理的研究說告知好處並提醒可以提高自願練習的使用（原研究我沒讀）；她轉述的兩個教學習者重複練習的實驗方向相反。Palazzo 給學生看抄襲與成績的圖、Kizilcec 的計畫與價值寫作，都只是類比，不是在說明題目的好處。做法：如果要提醒，用一句放在題目旁邊，像本站現在的「先寫下答案，再展開」，不另寫一整段；這是我的選擇，沒有研究比過寫法。
不要把作答率當成學習成效。依據：Davis 的實際使用者成績高是自我選擇；Ericson 的選擇題作答量和後測看不出關係；van der Zee 的「做得多分數高」是相關。做法：如果以後裝了分析工具，看到某題展開率高，只記成「這題被點開得多」，不寫成「這題有效」。

今晚可以做的三件事

挑一篇自己寫過、有自我檢查題的文章，大約一小時：

每一題都遮住那一節的正文，只看題目和摺疊外的文字。答得出來的，把摺疊外的提示改成只指方向。
找出明寫「為什麼」的題目，挑一題拆成兩步：先問一個用「是／否」或一個詞就能答的小題，再問為什麼。
找一位沒讀過的人試讀，請對方在跳過的題目旁邊做個記號，讀完問原因。

這些證據的限制

沒有任何一篇量的是公開文章的讀者。最接近的是 MOOC 與有學分的互動教科書；最接近「一個人自己讀」的 Ericson 只有 10 位老師，還有禮品卡。把這些數字搬到網頁導讀，是我的推論。
本站沒有資料。我不知道本站讀者有多少人作答、多少人直接展開答案。
多數是紀錄分析或相關。隨機分派的只有 Davis、van der Zee、Janelli 與 Lipnevich、Kizilcec 四個線上課程研究，加上 Vaughn 與 Kornell 的實驗 3a、3b、4 與 Deslauriers 的課堂實驗。Vaughn 與 Kornell「有提示時七成、沒有提示時兩成」來自實驗 1、2，是受試者自選加上跨實驗比較，沒有隨機分派。Kovacs、Edgcomb、Yuen、Ericson、Palazzo 都是觀察資料。
每篇幾乎都只有一門課、一期。Edgcomb 與 Yuen 是同一批作者、同一學期、同一平台，不能算兩個獨立來源；兩篇的班級有沒有重疊，原文沒寫。
作者與教材的關係。Edgcomb、Yuen 的作者隸屬 zyBooks；Palazzo 的資料來自 Pearson 的作業平台，一位作者在 Pearson；Ericson 評估的是自己做的電子書；Kizilcec 放大的是自己先前的介入；Janelli 的第一作者任職於開課的博物館。這不影響他們公開了什麼數字，但其中幾篇沒有獨立複製。
「作答」與分母各篇不同，見「這些數字為什麼不能並排比」。
檢定力。Davis 的通過率只有 7% 到 8%、實際使用者約一百人；我判斷它的檢定力很低（作者沒有談），「沒有測到差異」不能讀成「證明無效」。Davis 的課後測驗只有 20 人填，兩組的抽樣方式還不同。
Vaughn 與 Kornell 的材料是單字配對，最後測驗在兩分鐘後，每題都有回饋；作者自己說要用真實教材再驗證，也說讀小說時人們大概不像背單字那麼想自測。
Palazzo 的「抄」是從作答時間推論的，沒有用已知樣本校正；分組用的是整學期的抄襲比例，考試是學期中陸續量的。
我的推論與計算：van der Zee 的讀寫倍數與佔分派人數的比例；Kizilcec 的進入問卷比例；「作答越省力答的人越多」；摺疊外提示的四點；本站作答率會低於有學分情境；本站 90 題的題型分類；對照表裡標「我的推論」的兩列；Davis 的檢定力很低；說服段落只用一句提醒；可以做的事的取捨與做法；今晚三件事。正文都當場標了。
轉引：Rivers 轉述的 Dunlosky 與 Rawson 2015、Ariel 與 Karpicke 2018、Kornell 與 Son 2009、Janes 等 2018，以及她整理的六篇自願練習研究；Palazzo 引自同一團隊先前分析的不計分練習題完成率。原研究我都沒有讀。
讀取上的缺口：Davis 的 OSF 預先註冊文件沒有讀，部分圖只讀圖說；van der Zee 的 OSF 資料沒有讀；Kovacs 的圖只看了趨勢，沒有讀數值；Rivers 的參考文獻只掃過。
沒有找到的：題目擺放位置的直接比較、摺疊答案的研究、摺疊外提示的研究、非產品方的大樣本互動教科書使用資料。Ericson、Guzdial 與 Morrison 2015 年在 ICER 發表的電子書使用研究存在，我沒有讀到全文，沒有引用。

附錄：各研究的設計與數字

正文每項只留一兩個數字，其餘放在這裡。

Kovacs（2016），L@S 2016，頁 31–40。Coursera Machine Learning 第四期（2013-10 到 2014-01）；註冊 96,195 人，至少開始看一支影片 61,453 人，至少答過一題影片內測驗 42,437 人，成績達證書門檻 8,615 人。113 支影片、109 題測驗，平均每支 621 秒。92 支單題影片：開始看的人 74% 作答、66% 看完；證書取得者 79% 與 72%。往前拖動跨過每題測驗的次數是基準的 0.42 倍，往後 0.60 倍；從測驗往回拖是基準的 55 倍。第一次就答對 76.0%；第一次答錯的人，第一次到最後一次作答的時間中位數 13 秒；嘗試作答的人 94.4% 在 30 分鐘內答對；第一次答錯、30 分鐘內改對的人裡，改對前有拖動影片的 9.1%。始終沒答對的人：答錯一次就放棄 13.8%、兩次 4.4%、答滿三次由系統顯示答案 81.8%。有題目的影片每次觀看平均看 79.1%，沒題目的 59.3%（非隨機，作者說不能證明因果）。全文沒有統計檢定；正文與表裡的題數分布、看完率（66% 與 67.5%）、表 5 與表 6 的加總有幾處對不起來。

Davis、Kizilcec、Hauff、Houben（2018），Journal of Learning Analytics 5(3)。edX GeoscienceX（2017-05 到 07），進過課程一次的 1,047 人隨機分成對照 524、實驗 523，預先註冊（OSF），但因樣本小與遵從率低改了分析做法。qCard 出現在第 2 到 6 週 49 支影片頁，題目抽自 132 題（112 題選擇、20 題數值）。實驗組 102 人至少互動一次。意向處理：取得證書 logOR = −0.215、p = 0.357；成績非零 p = 0.280；連續成績 p = 0.442。工具變項估計：p = 0.371、0.267、0.374。實驗組遵從者 vs 對照全體：通過率 34% 對 8%，作者說是自我選擇。兩組通過率 7% 與 8%，成績中位數 0。以 qCard 為單位：選擇題 69% 作答、數值題 41%（p < 0.001）；通過者作答 73%、未通過者 47%；略過的中位數 7 秒。原題答對、答錯、沒答，對應 qCard 作答 73%、61%、34%。看到 qCard 後往回瀏覽 8% 到 10%，遵從者與不遵從者沒有測到差異。課後兩週的 10 題測驗：對照 6.2、實驗 6.6，N = 20，p = 0.66。遵從者較年長（38 對 32 歲）、學歷較高、來自 HDI 較高的國家。

van der Zee 等（2018），LAK '18，頁 216–225。Study 1 是兩期不同世代、非隨機，略。Study 2：12,444 人隨機分成控制 4,169、讀摘要 4,125（正文另寫 4,128）、寫摘要 4,146。11 支影片，每支 5 到 15 分鐘。各影片人數（讀／寫）：第一支 1,638／774，第 2 週最後一支 712／322。測驗成績三組比較：第 1 週 p = 0.233、第 2 週 p = 0.055、期末 p = 0.749，各組平均原文沒有給。留下的人數，第 1 週測驗：控制 709、讀 614、寫 616（兩兩比較 p = 0.008、0.007）；第 2 週 501、439、436（p = 0.047、0.032）；期末 259、230、245（不顯著）。組內相關：讀或寫的數量與週測驗 ρ = 0.121 到 0.323；寫的數量與期末不顯著。原文沒有提到預先註冊。

Edgcomb 與 Vahid（2015），2015 IEEE Frontiers in Education Conference，DOI 10.1109/FIE.2015.7344350；我讀的是 zyBooks 網站上的作者稿。26 個班、23 所大學篩成 8 個班（2014 年秋），1,394 人。各級（完成率／認真作答／兩者相乘）：0 分 2 班 250 人 53%／92%／50%；2 分（含 2.3 分）2 班 491 人 90%／86%／77%；5 分 1 班 380 人 93%／89%／83%；10 分 1 班 69 人 94%／95%／89%；17 分 1 班 90 人 88%／72%／64%；20 分 1 班 114 人 94%／86%／80%。只分析簡答題；完成指最後送出正確答案。不給分班的認真作答比例較高，分母是已完成的題目，作者沒有討論這可能是選擇效應。作者建議給 5 到 10 分。

Yuen、Edgcomb、Vahid（2016），ASEE 2016 Annual Conference，DOI 10.18260/p.27205。553 人（摘要寫 550）：研究型大學 379、教學型大學 117、社區學院 57；C++ 入門，2014 年秋。只分析簡答題，依出現順序分六組（我加總約 238 題）。認真作答平均：87%、85%、81%；學校只有 4 所，作者沒有做檢定。疲勞因子對難度因子（作者自訂）：整體 9.6% 對 2.9%。摘要的 84%、89%、73%、1% 與內文的 87／85／81%、「超過 85%」、「少於 2%」對不起來；摘要預告的題目寫作原則段落內文沒有。

Ericson、Moore、Morrison、Guzdial（2015），WiPSCE '15。研究一是 18 位老師的可用性問卷，略。研究二：10 位程式經驗兩個月以下、前測低於 40% 的老師；7 人至少做一份後測，5 人做完四份；讀到第 8 章的也是 5 人，但和做完四份後測的不是同一批（一人做完後測只讀到第 6 章，另一人讀完八章沒做後測；這個比對是我做的）。8 章有 15 題 Parsons、40 題選擇題。最後一份後測只有 3 題、5 人。改過程式的次數從 0 到 93。每章花的時間差很大，有八章時間紀錄的四人裡，最少的合計約一個半小時，最多的約十小時（加總是我算的）。沒有統計檢定；摘要寫的「Significantly」不是統計上的顯著。

Vaughn 與 Kornell（2019），Cognitive Research: Principles and Implications 4:35。受試者多數來自 Amazon Mechanical Turk（每人 5 美元），實驗 3b 是大學生（課程學分）。實驗 1 選擇比例：純測驗 2%、2 個字母 9%、4 個字母 60%、純重讀 29%；問卷沒有人選純測驗。實驗 2：純測驗約 20%，t(38) = 8.08，p < .001；問卷 87% 認為重讀較有效。實驗 3a 最後測驗：三種測驗形式之間 p = .672，純重讀比三者都差（d = 0.41 到 0.57）；3b 複製（p = .874；d = 0.45 到 0.61）。實驗 4：三種測驗形式之間 p = .028，2 對 4 個字母 p = .009、d = 0.54，0 個字母對另兩者 p = .312；三者都勝過純重讀。自選時的答對率高於被分派時（跨實驗，作者說應輕看）。原文沒有提到預先註冊。

Rivers（2021），Educational Psychology Review 33:823–862。敘述性回顧，PsycINFO 檢索得 18 篇，再滾雪球另得 93 篇；沒有效果量。Table 3（10 份調查、4,240 人）自我測驗的主要理由：想知道學得多好 52%（各研究 40% 到 68%）、比重讀學得多 26%（15% 到 34%）、比重讀有趣 8%、通常不自我測驗或其他 14%。Table 4（16 份調查、6,944 人）回報使用：重讀 62%（列為最常用 43%）、做練習題 61%（8%）、自我測驗 57%（8%）、反覆背誦 48%、畫重點 42%、摘要 39%、閃卡 34%、抄筆記 28%。同一批國高中生，自由回報用測驗 50%、從清單勾選 80%（Tullis 與 Maddox 2020，轉引）。作者列的限制：多數研究比的是重讀、受試者是西方大學生、教材簡單、實驗室情境；問卷靠自陳。

Palazzo、Lee、Warnakulasooriya、Pritchard（2010），Physical Review Special Topics – Physics Education Research 6, 010104。MIT 力學與電磁學四個學期；細部分析只用 2003 年秋季（428 人）。抄襲分組：少於 10% 約 51%、10% 到 30% 約 29%、30% 到 50% 約 10%、超過 50% 約 10%。期末考預測式中抄襲係數 −0.47（Z 分數），r = 0.69；控制前測後每 100% 抄襲約 −2.3 個標準差（作者據此外推「全抄對全不抄約差兩個標準差」，實際觀察的組間差是 1.3）。概念測驗進步與抄襲 r = −0.03。反向假說：約 1.2 個標準差的成績差對應 100% 抄襲。兩學期流失：抄超過三成的人 20%，其他 5.9%。課程改制後抄襲從約 11% 降到不到 3%，同時有多項改變，作者的歸因自稱是判斷。實際抄襲比自陳多約 50%。

Deslauriers 等（2019），PNAS 116(39)。Harvard 入門力學 149 人，個人層級隨機交叉，每種教法各一堂，課後立刻測。主動那一堂自評學習（四題合成）低 0.56 個標準差，12 題測驗高 0.46 個標準差。設計與限制見第 8 篇。

Kizilcec 等（2020），PNAS 117(26)。247 門課、焦點樣本 269,169 人，2016-09 到 2019-05，各 wave 預先註冊。補充資料 Table S1：註冊 3,546,206，進入問卷 432,164，走到隨機分派 312,221。四個主要假說都沒有複製（例如長期計畫對有決心且英語流利的學生，先前 +3.9 個百分點，這次第一年 +0.19、p = 0.670）。計畫類活動提高第 1 週活動量；價值關聯活動在有全球落差的課程裡讓低度發展國家學生完課率提高約 2.8 個百分點，在沒有落差的課程裡反而降低約 1.6 到 1.7 個百分點。作者提醒結果不要推到較不投入的學生或其他教育情境。

Janelli 與 Lipnevich（2021），Computers & Education 161。見第 1 篇的附錄：交過測驗的 399 人，後測四組沒有測到差異（p = .42）；完課率前測三組 22.4%、33.3%、31.3%，控制組 50.5%。

參考資料

每一條都從頭讀到尾並留有抽取紀錄；讀不到的部分寫在括號裡。

Kovacs (2016), Effects of In-Video Quizzes on MOOC Lecture Viewing（L@S 2016 刊出版，ACM 版面）。
Davis, Kizilcec, Hauff & Houben (2018), Scaling Effective Learning Strategies: Retrieval Practice and Long-Term Knowledge Retention in MOOCs（刊出版，開放取用；OSF 預先註冊文件沒有讀）。
van der Zee et al. (2018), Evaluating Retrieval Practice in a MOOC: How writing and reading summaries of videos affects student learning（刊出版，ACM Digital Library 開放取用；OSF 資料沒有讀）。
Janelli & Lipnevich (2021), Effects of pre-tests and feedback on performance outcomes and persistence in Massive Open Online Courses（讀的是共同作者 Lipnevich 個人網站上的刊出版 PDF）。
Yuen, Edgcomb & Vahid (2016), Will Students Earnestly Attempt Learning Questions if Answers are Viewable?（ASEE PEER 的研討會刊出版，DOI 10.18260/p.27205）。
Edgcomb & Vahid (2015), How Many Points Should Be Awarded for Interactive Textbook Reading Assignments?（zyBooks 網站上的作者稿；IEEE 刊出版 DOI 10.1109/FIE.2015.7344350，沒有比對兩版差異）。
Ericson, Moore, Morrison & Guzdial (2015), Usability and Usage of Interactive Features in an Online Ebook for CS Teachers（刊出版，ACM Digital Library 開放取用）。
Vaughn & Kornell (2019), How to activate students' natural desire to test themselves（刊出版，CC BY；沒有對 PDF 版面，表與圖對過出版者的 XML 與圖檔）。
Rivers (2021), Metacognition About Practice Testing: a Review of Learners' Beliefs, Monitoring, and Control of Test-Enhanced Learning（讀的是作者個人網站連到的刊出版 PDF；參考文獻只掃過）。
Palazzo, Lee, Warnakulasooriya & Pritchard (2010), Patterns, correlates, and reduction of homework copying（刊出版）。
Deslauriers, McCarty, Miller, Callaghan & Kestin (2019), Measuring actual learning versus feeling of learning in response to being actively engaged in the classroom（刊出版與補充資料）。
Kizilcec, Reich, Yeomans et al. (2020), Scaling up behavioral science interventions in online education（刊出版與補充資料；補充資料 Table S4、S5 沒有對版面）。
本站文章：「做中學」的證據在量什麼、教學文章裡的問題與用語怎麼寫、教學文章要不要做可操作的圖、教學文章的例子與開頭怎麼寫。