這是「教學文章怎麼寫」系列的第 8 篇,也是第二部分「要讀者做什麼」的第一篇。第一部分談頁面上放什麼:文字、圖、影片、影片和文字怎麼排。文章裡的題目怎麼出、答案怎麼給,已經在題目與回饋那一篇整理過。這篇往上游退一步,問的是:「主動學習比較好」「做中學」這類說法,背後的研究量了什麼,能不能拿來當「要讀者在文章裡動手」的理由。
起因是本站的課程導讀規格。規格要求每個主要小節結尾放一題、附答案或判準,題目要能讓讀者自己判斷懂了沒有。替這條規格找依據時,我第一個想到的是兩條結論。一條是大學課堂裡,有主動學習的班比純講述的班考得好;另一條是線上教材裡,做練習的學生比只讀課文、只看影片的學生考得好。這篇把這兩條線的主要研究從頭讀過,看它們比的是什麼、控制了什麼、作者自己說能推到哪裡。
來源怎麼選、有什麼偏向。來源清單是先掃描文獻、再挑出來精讀的。課堂這條線有兩份大學課堂的統合分析(把許多研究的結果合併估計的研究)、一份針對其中一份的方法回顧、一份談定義的回顧、一個課堂交叉實驗。另外是 ICAP 架構的原始論文與一篇反方評論,以及四篇 doer effect 的紀錄分析,其中一篇沒有測到效果。偏向是英文文獻、大學生、拿得到全文的研究。列在參考資料裡的每一篇都從頭讀到尾並留有抽取紀錄。掃描時看到幾篇對 ICAP 的獨立檢驗(Wiggins 等 2017、Henderson 2019、Vosniadou 2023),我沒有取得檔案,這篇不引它們的內容。
先看結論
| 說法 | 證據 | 能推到一個人讀文章嗎 |
|---|---|---|
| 大學課堂裡有主動學習的班考得較好 | STEM 的統合分析 g = 0.47;人文社會科學的統合分析 0.49 | 不能直接推:比的是整堂課的教法,主動組多半有小組討論與老師回應 |
| 這批研究控制得夠嚴 | 方法回顧:260 篇裡隨機分派約一成,九成以上沒有檢核實際上課照計畫進行;很大一部分是「沒交代」,不是「已知有問題」 | — |
| 「主動學習」指的是什麼 | 七個學科團隊的回顧:沒有一致定義,常被當成「講述以外的做法」的統稱 | — |
| 主動組學得多,自己卻覺得學得少 | 一個課堂交叉實驗:測驗高 0.46 個標準差,自評低 0.56;各上一堂、課後立刻測 | 只能借方向:主動組是小組先解題、老師巡堂 |
| 互動 > 建構 > 主動 > 被動(ICAP) | 提出者稱為假說,支持來自挑選後重新分類的研究;反方評論說排序沒有被系統性檢驗過 | 分類可以借用;文章本身的靜態題目,照定義最高到「建構」(我的推論) |
| 線上教材裡做練習的人考得較好(doer effect) | 十幾門課的紀錄分析方向一致;全是觀察資料;以期末考為結果時關聯變小,先備知識更重要;一篇小樣本研究沒有測到 | 情境最接近,但沒有隨機分派,結果多是同一套系統的小考 |
| 一個人讀文章時,加練習比不加多學多少 | 這篇讀的研究沒有一篇比過;最接近的實驗在題目與回饋那一篇,是實驗室裡的短文 | — |
課堂統合分析:半個標準差比的是什麼
Freeman 等人 2014 年的統合分析
Scott Freeman 等人 2014 年的統合分析收大學部 STEM 與心理學的課,比較「至少有一些主動學習」的班和傳統講述的班。158 個考試成績的比較合併起來,主動學習的班平均高 0.47 個標準差,作者的說法是「just under half a SD」。不及格率是另一組資料:主動學習的班 21.8%,講述的班 33.8%。
這裡的「主動學習」是作者請 338 位聽眾寫下定義、再編碼出來的共識定義:在課堂上透過活動或討論讓學生投入學習,相對於被動聽專家講;強調高層次思考,常有小組合作。納入的做法差很多,有偶爾的小組解題、課堂學習單、按鍵作答器(clicker,學生按鍵回答老師的題目,常搭配同儕討論)、問題導向學習、工作坊式的課程;主動成分占課堂時間從 10% 到 100%。作者明說,這份研究估的是「任何種類與強度」的主動學習對講述的平均效果。
所以 0.47 回答的是「整堂課換一種上法,期中期末考平均差多少」。它沒有回答哪一種做法有效:作者依做法分組的比較沒有測到組間差異,問題導向學習、取代講述時間的小考、個案、互動示範四類的信賴區間都跨過零,而且作者說這張表的分類不精確。
作者自己檢查了研究品質會不會改變結論。隨機分派或交叉設計的 16 個比較,效果量和三種準實驗設計沒有可區分的差別,作者據此說結果對方法的嚴謹程度是穩健的。考試成績的漏斗圖有不對稱(可能有發表偏誤的跡象),補上推估缺漏的研究之後,估計值仍是 0.47。
作者也寫了兩條會影響推論的保留。第一,做主動學習的老師都是自願的:「It is an open question whether student performance would increase as much if all faculty were required to implement active learning approaches.」第二,作者把這批研究叫做「第一代」,主張以後不要再拿傳統講述當對照,應改比不同主動學習做法之間的差別。
評量方式也會改變數字。用概念量表(標準化、專測概念理解的題組)量的研究,效果大約是教師自編考試的兩倍(我從它的附表算出;兩組數字在附錄)。
推到 STEM 以外:Kozanitis 與 Nenciovici 2022
Anastassis Kozanitis 與 Lucian Nenciovici 2022 年的統合分析自稱是 Freeman 在人文社會科學的對應版。104 篇論文、111 個效果量合併,g = 0.489,和 Freeman 幾乎一樣。
兩個數字接近,不等於互相印證。這份分析沿用了同一種設計,而且更寬:納入條件沒有要求隨機分派,沒有編碼研究品質;四分之三的效果量只有後測;主動學習定義成「任何讓學生做點什麼的教學法」。樣本也很偏:111 個效果量裡 66 個是翻轉教室與按鍵作答器;科目以心理學、語言、教育、經濟商管為主,哲學 1 個、歷史 3 個、法律 3 個。比較準確的說法是「社會科學與語言課」。
這份論文的報告品質也有問題:納入研究的清單沒有公開,表內有幾處數字對不起來,正文沒有限制一節。正文只引整體效果量,以及後面「來源說法不同的地方」和 Freeman 對照的課程層級與班級大小兩項;其餘分組數字放在附錄。
控制與定義:對這批研究的兩種批評
Martella 等人 2023 年的方法回顧
Amedee Marchand Martella 等人 2023 年的方法回顧把 Freeman 收的 176 篇文章,和 2015 到 2022 年隨機抽出的 84 篇新文章,逐篇對 12 項內部效度控制編碼:是不是隨機分派、兩組起點是否相當、流失、是否同一位老師、兩組花的時間是否相同、有沒有檢核上課照計畫進行等。
最常被引的結果是「沒有一篇 12 項全部達標」。這句要帶條件:零篇靠的是「實施忠實度」那一項(檢核實際上課是否照計畫進行),九成以上的文章沒做。不算這一項、把「部分」與「未說明」都寬鬆算過的話,260 篇裡有 5 篇。
另一個要帶條件的地方是,「控制不全」有很大一部分是「沒交代」。兩組起點是否相當,三分之二的文章沒有報告直接的量數;兩組花的時間是否相同,六成多沒說。明確編成「有問題」的比例小得多。
這份回顧沒有算任何效果量,也沒有檢驗「控制越差、效果越大」。作者的結論用的是可能性:沒控制混淆的研究,得到的結果「可能」不是主動學習的真實效果。作者也寫了另一面:以各種做法與劑量顯示主動學習有效的文章數量壓倒性地多,證據「看起來清楚」,問題在於這批文獻夠不夠讓人相信是教法造成的。所以這篇能說的是「因果歸因的把握打折」,不能說「半個標準差不可信」。
我覺得這份回顧最有用的數字是另一個:45% 的文章完全沒有說明對照組(講述)上課時做了什麼,實驗組沒有說明的只有 8%。「講述」比「主動學習」更沒人交代。作者在討論裡指出,照 Freeman 的定義,一堂主動學習的課可以有高達九成的時間在講述,一堂講述的課也可以有將近一成的時間在做活動。
作者的建議是跳出「主動 vs 講述」這個二分,改研究讓學生在認知上投入的策略(他們舉自我解釋、提取練習),以及講述怎麼和活動搭配。他們引 Mayer 2004 年的說法:把「行為上主動」等同於「認知上主動」,是一種謬誤(Mayer 的原文我沒有讀,是 Martella 等人轉引的)。
Lombardi 等人 2021 年:主動學習沒有一致定義
Doug Lombardi、Thomas Shipley 與天文、生物、化學、工程、地理、地球科學、物理七個學科團隊 2021 年的回顧,處理的是定義問題。它是敘述性回顧,沒有檢索策略與效果量。
先講它的立場,因為容易讀反。這篇不是主動學習效果的反方。作者稱 Freeman 的統合分析「widely cited」,說它提供了「solid evidentiary basis」,也說整堂連續的講述「almost certainly」比較主動的教法成果差。他們批評的是這個詞:拿來指「講述以外的做法」在教學現場有用,拿來推進學習研究沒什麼用,因為被貼上這個標籤的東西類別不同,有心理構念、教學法、策略、設計原則。
「主動學習是用『不是講述』來定義的」這句話,這篇只撐得住一部分。六個學科團隊的定義裡,只有物理是純排除式(不是被動聽講、不是照食譜做實驗、不是套公式解題的教學);其他多數用「投入」或「建構知識」正面界定。生物團隊轉述自己先前的調查:148 篇生物教育論文裡,過半沒有給定義、只列策略例子,三成完全不定義。這撐的是「多數論文不給定義」。
兩點和寫文章有關:
- 作者說,看起來被動的學習者也可能在學,例如專心聽講或讀書時的思考。
- 把「主動」照字面理解成要有動作或外顯行為,會變成身心障礙學生的門檻。
一個控制較好的實驗:Deslauriers 等人 2019
統合分析裡多數研究比的是不同年度或不同班。Louis Deslauriers 等人 2019 年的實驗在同一門課裡做了個人層級的隨機交叉設計,是這批研究裡少見的隨機實驗。
設計是這樣:Harvard 的入門力學課,149 位學生,學期第 12 週連續兩堂。學生隨機分兩組,第一堂一組上主動版、一組上被動版,第二堂換過來,每個人兩種都上過一次。兩版的投影片、講義、例題的完整解答完全相同。被動版是老師流暢地講解並自己解例題;主動版是學生分小組先試著解,老師在教室走動提問與協助,每題試過之後老師給出同一份完整解答。下課立刻填問卷,接著考 12 題選擇題。
結果:主動版的測驗成績高 0.46 個標準差,學生的自評低 0.56 個標準差。
要連著讀的條件:
- 主動版同時改了三件事:先自己試、小組合作、老師巡堂協助。作者把差別描述成「先試再看解答」對「直接告訴解法」,但小組與老師互動也只有主動版有。即使是主動版,約一半的時間仍是老師在每段活動後做簡短講解。
- 自評是四題的合成分數:喜不喜歡這堂課、覺得學到很多、老師教得好不好、希望物理課都這樣上。只有一題直接問學到多少;作者說單用那一題結果「virtually identical」,沒有印數字。
- 各一堂、立刻測,沒有延後測驗;單一學校、單一科目、兩位老師。
- 作者把落差歸因於主動學習要花更多認知努力、以及學生把講課的流暢當成學到。論文開頭的重點說明寫「We show that this negative correlation is caused in part by the increased cognitive effort」,但正文沒有量認知努力;支撐的是 17 人的訪談、一個用問卷某題預測另一題的迴歸。正文自己的用詞是「some evidence suggesting」。
- 「負相關」也要小心:論文報告的是兩種條件的平均數方向相反,沒有報告學生之間自評與成績的相關。不能寫成「越覺得學到的人學得越少」。
對寫文章的人,這個實驗能借的只有方向:先自己試、再看解答的人,當下可能覺得比較沒學到。實驗裡的主動條件有同學、有老師在旁邊,沒有任何獨自閱讀的條件。讀者對自己學得好不好的判斷有多準,之後的篇會專門談。
ICAP:看得到的動作不等於腦中的處理
四種模式
Michelene Chi 與 Ruth Wylie 2014 年的 ICAP 架構把學習者的投入分成四種,依據是學習者外顯做出什麼:
| 模式 | 定義 | 放到文章裡的例子(依原文的歸類) |
|---|---|---|
| 被動(Passive) | 朝向教材、接收資訊,沒有其他外顯動作 | 讀一段文字、看影片 |
| 主動(Active) | 有外顯的動作或操弄,讓注意力聚焦 | 畫重點、從選項裡選一個、照抄解題步驟、複誦 |
| 建構(Constructive) | 產出超出教材所給內容的東西 | 用自己的話解釋、依文字畫圖、提出問題、做預測 |
| 互動(Interactive) | 對話,雙方的發言都主要是建構的,而且輪替夠頻繁 | 和同伴一起解釋(對象也可以是電腦代理人) |
這張表對寫文章最直接的用處,是分清楚「讓讀者動一下」和「讓讀者產出一點東西」。依原文,選擇題的選取算主動,照抄的自我解釋也只算主動;要產出原文沒寫的東西才算建構。互動在原文裡只指雙方都在建構的對話。我的推論是:文章本身的靜態題目與答案沒有對話對象,不符合這個定義,所以只靠這些題目,照定義最高到建構。要到互動得有對話對象,原文允許是電腦代理人。本站文章頁的程式碼裡有一個帶文章上下文的 AI 對話側欄;它在正式站上有沒有開、讀者用它時是不是雙方都在建構,我沒有查,這篇不把它算進來。
排序是假說,支持的證據是挑選過的
作者的假說是學習成果依序是互動 > 建構 > 主動 > 被動,並且明說這個假說是「conceptually derived」。他們同時主張假說已經被驗證,證據有四類:作者實驗室一篇四種模式都有的研究,兩篇三種模式的研究,記筆記、概念圖、自我解釋三種活動的成對比較,以及課堂研究。
讀完全文,這些證據有幾個性質要知道:
- 沒有檢索程序、沒有效果量。多數研究是作者事後重新歸到某個模式,原研究並沒有用這套分類。
- 成對比較大多是建構對被動。自我解釋那張表,建構對主動那一格是「No known studies」。互動勝過建構,三種活動合起來五篇,其中一篇沒有學習差異、一篇只轉述解題過程的指標。
- 唯一四種模式都有的研究(Menekse 等 2013)是作者自己的,而且建構與互動組沒有讀那段文字、改看一張圖,教材也換了。原文只寫各模式之間差「約 8% 到 10%」,沒有人數與檢定。
- 同一模式之間沒有差異也被當成支持,全文沒有列出任何一篇低模式勝過高模式的研究。
作者自己承認了幾件事:外顯行為只是代理指標,學生聽講時可能在暗中深度處理;設計成建構的活動可能被做成主動(要求寫摘要,學生可能刪刪抄抄);各模式對應的知識改變歷程是假設,作者沒有做研究驗證;評量太淺、題材是沒有道理可推的規則、或學生缺乏相關基礎時,預測可能不成立。
反方評論:Thurn 等人 2023
Christian Thurn 等人 2023 年的評論質疑 ICAP 的兩個核心假定。這是四頁的評論文,作者自己說不是系統性回顧。
- 外顯行為能不能代表認知投入:他們認為不可靠。依據是教學品質研究的一般結論(決定學習活動效果的是內在特徵),加上兩個假想例子:帶著觀察任務看影片,外顯上是被動、認知上可能是建構;聽老師解釋例題為什麼重要,看起來被動,「may indeed learn better」。兩個例子都沒有引用直接比較「外顯行為相同、內在處理不同」的實驗;第二個例子引了兩篇談說明相關性與擴展式框架的文獻。
- 排序:他們說就他們所知,沒有人系統性評估過這個排序。反例有三個:Menekse 的研究裡互動與建構的差異不顯著(這是 Thurn 的轉述,我沒有讀 Menekse 原文);一篇研究的結果變項是投入程度,不是學習;評論作者之一參與的六年級代數研究裡,直接教學勝過精心設計的自學教材(那批研究不是 ICAP 研究,模式是評論作者事後套上的)。
- 建議:不要讓老師依 ICAP 選活動,改用形成性評量去看學生的思考。作者承認這對老師的負擔較重。
兩篇的分歧不在「外顯行為不等於內在處理」,這一點 Chi 與 Wylie 自己就承認了。分歧在這個代理指標夠不夠用:Chi 與 Wylie 認為在課堂上夠用、而且老師操作得了;Thurn 等人認為不夠,還可能讓老師分心。兩邊的證據形式其實相同,都是挑研究來談。
doer effect:線上教材的紀錄分析
這條線比課堂研究更接近「一個人讀教材」:學生自己在網頁上讀課文、看影片、做嵌在課文旁的練習題,系統記下每個動作。
2015 年的起點
Kenneth Koedinger 等人 2015 年的研究分析一門心理學 MOOC。題目與回饋那一篇已經整理過:多做一個標準差的練習,每週小考總分高 0.44 個標準差,是多看影片或多讀頁面的六倍多;小考題目出自練習教材的題庫;在教師自己出的期末考上,只多做練習的人拿高分的比例和只多看影片的人差不多,兩樣都多才明顯。這裡接著看後續三篇怎麼處理「做題的人本來就比較認真」這個問題。
2016 年:能不能說是因果
Koedinger 等人 2016 年的研究用同一門 MOOC 的資料,想分開「做題有效」和「認真的學生什麼都做得多」。邏輯是:如果只是學生特質,那麼在別的單元做的題,應該和在本單元做的題一樣能預測本單元的小考。
結果兩面都有:
- 把「本單元以外」合在一起時,本單元的做題和單元外的做題,對本單元小考的係數幾乎一樣大。照作者自己在導言設的判準,這正是「學生特質」那一邊的預期;摘要沒有提這一點。
- 把單元外拆成「之前」與「之後」,本單元的做題最大,之前次之,之後最小。作者認為「之前」較大符合單元之間的先修關係。但「之後」做的題仍然顯著,也就是考完才做的題也能預測這次考試,作者承認這表示可能有「conscientious doer/learner」這類一般特質。三個係數之間的差異沒有做檢定。
作者的結論是這個效果「cannot be explained solely by some global student trait」,同時寫明其他第三變項(例如對某個單元特別有興趣)仍然可能,需要實驗。所以這篇排除的是「只有」全域特質這一種解釋,不是排除了動機。
「做比讀有效六倍」在這篇的來歷:作者在另外四門大學課加上那門 MOOC 上跑了 10 個迴歸,做與讀的係數比值從 2.2 到無限大(有一個讀的係數是負的),中位數是 6。它是十個比值的中位數,不是一個合併的估計值,也沒有區間。
2023 年:七門課、一萬八千名學生
Rachel Van Campenhout 等人 2023 年的研究在同一所線上大學的七門課、18,546 名學生上重做。做題的係數在七門課、五種分析裡全部為正且顯著。
但這篇有兩個結果比「重做成功」更值得寫:
- 以期末考為結果時,讀的係數十四個模型全部是負的,十一個顯著;先備知識(前測)的係數平均是做題的兩倍半。這些課的單元測驗在系統裡有分數,但和練習一樣不算入課程成績;期末考是唯一算成績的考試。以同一套系統裡的單元測驗為結果時,做題的係數大得多。作者的解釋是內容對齊:練習和單元測驗出自同一套教材,前測與期末考由另一組人出。
- 作者稱為「因果模型」的分析(本單元做題對單元外做題),做與讀的比值是 1.3 到 6.2,五種分析裡最小;人數最多的統計課(占全部學生的 45%),單元外做題的係數略大於單元內。作者當場說明這個模型「does not demonstrate causality conclusively」,限制一節也說不能證明因果;但摘要與導言把先前研究寫成已證明因果,討論的另一節又寫「because doing practice causes learning」。
2025 年:一篇沒有測到的研究
Arun-Balajiee Lekshmi-Narayanan 等人 2025 年的工作坊論文分析一本高中 AP Java 的線上電子書,1,060 名學生裡前後測都有的只有 92 人。控制前測之後,做題的係數是負的,沒有測到差異;作者寫「we failed to identify a doer effect」,自己把原因歸給樣本太小。同一篇在「讀到多遠」這個結果上找到做題比閱讀關聯更強。
這篇的證據等級低:關鍵分析只有 92 人,連前測都預測不了後測;三張結果表有兩張數字互相矛盾,正文有兩處和表對不上。它能說的只有「在一個小樣本裡沒有測到」,不能當成與前幾篇對等的反證。
作者與教材的關係
2016 年那篇的四位作者都在 Carnegie Mellon(2015 年那篇也有這四位),被研究的線上教材是同一所大學的 Open Learning Initiative(OLI);2016 年那篇沒有利益衝突聲明。2023 年那篇四位作者都掛名 VitalSource Technologies,論文沒有利益衝突聲明這一節。(這兩篇都是 LAK 會議論文,我沒有查這個會議的論文是否通常有這一節。)2025 年那篇的共同作者也是先前 doer effect 論文的作者,所以那個沒有測到的結果來自同一個研究圈,不是外部的批評者。這些是論文上的事實,我不從中推論動機;可以檢查的是方法,方法上的問題寫在上面。
這條線量的是什麼
把四篇合起來:「做」是開始了幾題練習,「讀」是開了幾次頁面,多數分析量的是次數,不是花了多少時間或怎麼想;學生自己選要做多少;結果變項多半是同一套系統裡的小考。能確定的是「做題多的人,在同一套系統的小考上分數高」這個關聯在十幾門課重複出現。它是不是做題造成的,作者自己都說還需要實驗。另外,Van Campenhout 等人說他們教材裡的練習題「Most questions are low level Bloom's questions that target recognition and recall」,也就是說,至少在這七門課裡,「做練習」多半是辨認與回想題,不是要學習者產出新東西的題目。
能不能推到一個人讀文章
把每條證據放到「一個人讀一篇網頁文章」旁邊看:
- 課堂統合分析比的是整堂課換教法,主動組常有小組討論與老師回應。一篇文章裡沒有同學、沒有老師,這些成分搬不過來。
- Deslauriers 的實驗也一樣,主動條件是小組解題加老師巡堂。
- ICAP 的分類可以借來檢查題目要讀者產出什麼;排序本身的證據薄,建構勝過主動的直接比較尤其少。
- doer effect 的情境最接近:線上教材、題目嵌在課文旁、答完立刻有回饋。但它是觀察資料,學生是修課或註冊 MOOC 的人,結果多半是同一套系統的小考。
- 同一篇文字有題目對沒有題目的實驗,在題目與回饋那一篇:讀後插入的問題主要幫到被問到的內容,材料多是實驗室裡的短文。網頁長文上的對照實驗,我沒有找到。
所以「主動學習比講述好半個標準差」不能翻成「文章加練習會多學半個標準差」。這篇讀的研究裡,沒有一篇比過一個人讀文章時有沒有練習。
來源說法不同的地方
以下幾組結果方向不同,或看起來衝突、其實量的東西不一樣。我把它們並列,不選邊。
Freeman 的結果對研究品質穩不穩健。Freeman 等人比較了隨機與三種準實驗設計的效果量,沒有測到差異,所以說結果穩健。Martella 等人逐篇數控制,發現多數沒做或沒交代,所以說因果歸因的把握打折。兩者回答的問題不同:一個比效果量,一個數控制,Martella 沒有算效果量。另外,Martella 等人在結果段兩次、討論段一次寫「Freeman 說排除了學生不等值的研究」;Freeman 原文的條件是排除講述班在先備指標上顯著較差的研究,而它自己的品質分組裡就有 39 個比較「沒有學生等值的資料」。Martella 等人的討論段也說 Freeman 排除了老師不等值的研究,但老師是否相同在 Freeman 是編碼的分組變項,有 59 個比較「沒有資料或兩組老師不同」;考試等值才是 Freeman 的門檻(這個對照是我比讀兩份抽取紀錄得到的)。
主動學習是不是用「不是講述」來定義。Martella 等人說這個詞除了「減少或取消講述」沒有共通點,並說用「不是什麼」來定義會出問題。Lombardi 等人的六個學科定義裡,只有物理是純排除式;Freeman 的共識定義帶對比(「as opposed to passively listening」),也有正面內容(活動或討論、高層次思考、小組)。
ICAP 的排序有沒有實證。Chi 與 Wylie 說假說「has been validated through a number of classroom and laboratory studies」。Thurn 等人說實證基礎「not convincing」。Thurn 等人還說 Chi 與 Wylie「explicitly state」自己的回顧是選擇性的、只引支持的研究;我讀完 Chi 與 Wylie 全文,沒有找到這樣明說的句子。回顧實際上沒有檢索程序,這一點兩邊不衝突。
Menekse 2013 的研究長什麼樣。Chi 與 Wylie 寫成一個四種模式都有的研究,被動組是讀一段文字。Thurn 等人寫成兩個研究:第一個 42 位工程系學生、互動與建構的差異不顯著;第二個 120 人、被動組要把文字唸出聲。Menekse 原文我沒有讀,無法判斷哪邊對。
doer effect 有沒有被證明是因果。Koedinger 等 2016(導言與討論)與 Van Campenhout 等 2023(方法與限制段)都寫明沒有證明因果。Van Campenhout 等的摘要與導言寫「Research on the doer effect has shown it to be causal to learning」,引的正是 2016 那篇;Lekshmi-Narayanan 等的相關研究一節也說先前研究在大規模資料上確認了因果。
2023 年的重做和 2016 年一不一致。Van Campenhout 等說結果「entirely consistent」。但他們的期末考模型裡讀的係數全是負的,Koedinger 2016 的期末成績模型裡讀的係數全是正的;兩篇的遠端結果也不同(期末考分數對五級的學期成績)。
課程層級。Kozanitis 與 Nenciovici 的人文社會科學資料裡,高年級課的效果比入門課大;Freeman 的 STEM 資料裡沒有測到差異。班級大小兩篇方向一致,都是小班效果較大,雖然 Kozanitis 等人的討論段寫成和 Freeman 不一致。
可以做的事
以下是本站的判斷,每條附上依據;「依據」寫的是哪幾項結果讓我這樣做,不是研究直接測過這個做法。
- 不拿「主動學習比較好」當題目的理由,文章裡也不寫「研究顯示做中學效果更好」這類句子。 依據:課堂統合分析比的是整堂課的教法,有老師與同學;這篇讀的研究沒有一篇比過文章有沒有題目。要引就寫出比較對象與情境。
- 寫題目時先問讀者要產出什麼。 要讀者寫出原文沒寫的東西(為什麼、換個條件會怎樣、自己舉例),不要只是選一個選項、展開一個區塊、或把正文的句子再寫一遍。依據:ICAP 的分類(選取與照抄屬於主動,產出新內容才是建構)。建構勝過主動的直接證據很少,所以這條主要是本站的選擇。
- 題目緊接在它考的內容後面。 依據:doer effect 研究裡的教材都是這種設計,練習嵌在課文旁;但那是觀察資料,沒有比過其他擺法,所以這條是本站延續現行規格的選擇,不是新依據。答案要緊跟題目、延後給還是摺疊起來,這篇的來源沒有回答;題目與回饋那一篇整理過,結論是研究還沒有答案,建議規格先不規定。doer effect 的教材是答完立刻回饋,那是教材本身的設計,不是被比較的變項。
- 練習加在解說後面,不取代解說。 依據:Koedinger 2015 的期末考上,練習與看影片(換成閱讀結果相似)都多的人才明顯較好;Van Campenhout 2023 的期末考上,先備知識比做題重要得多;Deslauriers 的主動條件裡,仍有約一半時間是老師講解;Lombardi 等人說看起來被動的學習者也可能在學。
- 不用讀者「讀起來順不順」判斷寫得好不好。 依據:Deslauriers 的實驗裡,學得多的那一堂自評較低。這只是一個實驗、單堂、立即測,之後的篇會專門談讀者與作者手上的訊號各量到什麼。
對照本站的課程導讀規格
本站課程導讀的規格在 course-guide-contract.md。逐條的完整對照在題目與回饋那一篇;這裡只看和「做中學」證據有關的條文,依 2026-10-14 工作目錄裡的版本。
| 規格現在怎麼寫 | 這篇的來源怎麼說 | 判定 |
|---|---|---|
| 「自我檢查需答案或判準,不只寫『想一想』」 | 這條規定的是作者要給答案或判準。這篇的來源沒有直接談答案;ICAP 只補一個相鄰的角度:題目若只要讀者在心裡想,讀者做的是哪一種處理看不出來(Thurn 等人另指出,產出也不一定反映學習過程) | 第 9 篇依回饋的統合分析判「有支持」;這篇的來源不改變那個判定,也沒有增加新的支持 |
| 概念導讀「附可自行判斷的解釋題或變式題」 | 依 ICAP 屬於建構;要讀者自己解釋的統合分析在第 1 篇(g = 0.55) | 有支持,但支持來自第 1 篇的來源,不是這篇的課堂研究 |
| 「每個主要小節結尾放一題,附答案或判準」 | doer effect:嵌在課文旁的練習與小考成績有關聯,觀察資料;文中問題的實驗在第 9 篇 | 這篇的來源只提供相關的證據 |
| 「設計依據」沒有引 Freeman 這類課堂統合分析 | 那類研究比的是整堂課的教法 | 建議維持不引;要引,寫明比較對象 |
截至 2026-10-14,規格沒有因為這篇改動。
今晚可以做的三件事
挑一篇自己寫過的教學文章,大約一小時:
- 把文中要讀者「做」的地方都標出來,用 ICAP 的分類各記一個字:只是選一個選項、點開摺疊區塊、把正文的句子再寫一遍,記「主」(主動);要寫出正文沒寫的東西(預測、提問、用自己的話解釋),記「建」(建構)。如果全篇都是「主」,挑最重要的一處,改成要讀者先寫下預測再往下讀,例如(我自擬的)「把每一步用的資料從一小批換成整個資料集,每一步走的方向會變得更穩還是更亂?先寫下你的猜測」。
- 找文中最重要的一個完整例子,在給出解法之前加一句「先自己算到第二步,再往下讀」。
- 搜一下文章裡有沒有「研究顯示主動學習…」「做中學效果更好」這類句子;有的話,補上比較對象與情境,或刪掉。
這些證據的限制
- 沒有研究直接測過一個人讀網頁文章。這篇讀的研究,情境是大學課堂與修課用的線上教材。把任何結果搬到網頁導讀,都是我的推論。
- 課堂統合分析以美國大學、STEM 為主。Freeman 的檢索截止於 2010 年;人文社會科學那份的報告品質有疑慮,納入清單沒有公開。
- 課堂研究多數不是隨機分派,而且很多控制沒交代(Martella 等)。Martella 等人沒有算效果量,所以控制不全對效果量的影響是多少,沒有人量過。
- Deslauriers 的實驗只有一所學校、一門課、兩位老師、各一堂、立即測驗;主動條件同時改了三件事。
- ICAP 的證據是挑選後重新分類的研究,反方評論也是挑研究來談。對排序的獨立檢驗我沒有取得,Menekse 2013 原文我沒有讀。
- doer effect 全是觀察資料,多數分析量的是動作次數不是時間或思考,練習題多是低層次的辨認與回想題(Van Campenhout 等自述),結果多是同一套系統的小考;2023 年的七門課都來自同一所線上大學;2025 年那篇樣本小、表內數字矛盾。作者與教材的關係見正文。
- 我的推論與判斷:文章本身的靜態題目照 ICAP 定義最高到建構;把 Deslauriers 的方向借到閱讀;「可以做的事」五條;規格對照表的判定。正文都標了。
- 轉引:Mayer 2004 的「行為主動不等於認知主動」(Martella 等轉引)、生物教育論文的定義調查(Lombardi 等轉述 Driessen 等 2020)、Menekse 2013 與 Ziegler 等 2018(Chi 與 Wylie、Thurn 等轉述),原文我都沒有讀。
- 沒有讀的:Wiggins 等 2017、Henderson 2019、Vosniadou 2023 對 ICAP 的檢驗;Theobald 等 2020 的主動學習與成就落差統合分析(題目和這篇較遠)。
- 讀取上的缺口:Freeman 的逐研究附表只做了計數、沒有逐列讀;Martella 的線上補充資料沒有取得,兩張表沒有對過 PDF 版面;Kozanitis 的漏斗圖沒看到。
附錄:各研究的設計與數字
Freeman、Eddy、McDonough、Smith、Okoroafor、Jordt、Wenderoth(2014),PNAS 111。讀了正文與補充資料。檢索到 2010-01-01,642 篇候選;兩組資料:158 個考試成績的獨立比較、67 個不及格率的獨立比較(摘要的「225 studies」是兩者相加,單位是比較,不是論文)。納入條件包括兩組每週上課時數相差不超過 30 分鐘、考試相同或等值。考試成績 g = 0.47(Z = 9.781);不及格率勝算比 1.95(相當於風險比 1.5),主動 21.8%、講述 33.8%。不及格率資料沒有隨機設計。依評量:概念量表 0.883(22 個)、教師自編考試 0.441(109 個),差異顯著。依班級大小(編碼後依直方圖分組):≤ 50 人 0.635、51–110 人 0.409、> 110 人 0.314。主修對非主修、入門對高年級都沒有測到差異。學科之間沒有測到差異;資訊(8 個)與地質(2 個)的區間跨零。品質分組:隨機或交叉設計 16 個 0.514(0.322–0.706);三種準實驗 0.467、0.534、0.362;四組之間 Q = 2.097,p = 0.553。依做法(只在補充資料):Q = 11.173,p = 0.131;學習單 90 個 0.364,問題導向 9 個 0.156(−0.215–0.526)。考試成績的漏斗圖不對稱(Egger 單尾 p = 0.00032),trim and fill 後 0.47(0.37–0.56);去掉 12 個離群值後 0.45。我從它的逐研究附表數出:158 個比較裡 22 個效果量是負的。作者列的限制:0.47 可能低估(講述班退選較多)、老師都是自願者、無法評估強度與做法類型、不及格率沒有隨機設計、叢集修正借用 K–12 的組內相關係數。
Kozanitis 與 Nenciovici(2022 線上,2023 卷期),Higher Education 86。檢索 2000 到 2019 年;104 篇論文、111 個效果量、15,896 名學生。g = 0.489(0.414–0.564);異質性 64.5%:原文標成 τ²,我從 Q 與自由度算出這是 I²。只有後測 83 個、前後測都有 28 個。做法:翻轉 36、按鍵作答器 30,依做法分組 p = 0.296,沒有測到差異。高年級 0.803、入門 0.425(30 個沒報層級)。Egger 單尾 p = 0.007、Kendall 單尾 p < 0.001,trim and fill 後 0.476。表內問題:歷史一列 g = −0.085 但區間 −0.216 到 0.997;評量類型四列的 k 加起來 140;Z 值與信賴區間對不上。沒有限制一節。
Martella、Martella、Yatcilla、Newson、Shannon、Voorhis(2023),Educational Psychology Review 35。Freeman 批 176 篇;2015–2022 年 260 篇符合條件,簡單隨機抽 84 篇(新批加了醫護、排除心理學)。分析單位是文章。以下依「Freeman 批/新批/合併」:隨機分派 10.2%/8.3%/9.6%,準實驗 88.1%(三批相同);直接量數顯示等值 23.3%/31.0%/25.8%,沒報告 72.7%/54.8%/66.9%;實驗組沒有實施忠實度檢核 92.6%/94.0%/93.1%;控制組完全沒有操作型定義 47.7%/40.5%/45.4%,實驗組 10.2%/3.6%/8.1%;兩組時間是否相等未說明 57.4%/73.8%/62.7%,明確不相等 11.2%(合併)。達標 11 項以上:嚴格算法零篇;寬鬆算法 5 篇(1.9%);達標半數以下 62.7%(合併)。主動組統計顯著較好 32.7%、講述組統計顯著較好 0.4%、沒做推論統計 16.9%(合併)。編碼一致率 92.5% 與 93.0%,不一致時採主評分者。作者列的限制:編碼單位是文章、2010–2014 年不在任何一批、新批只編三分之一、別的研究者可能編出不同代碼。原文有幾處數字前後不一致(例如講述組較好的比例在結果寫 4.0%、討論寫 3.4%)。利益聲明:無。第一、第二作者先前發表過批評這批文獻的文章,本文多處自引(抽取時的觀察,原文沒有列為限制)。
Lombardi、Shipley 與七個學科團隊(2021),Psychological Science in the Public Interest 22。敘述性回顧,沒有方法節;由各學科團隊寫白皮書,兩位主筆合成。學科定義表只有六列(缺地理)。生物團隊轉述的調查:2016–2018 年三本生物教育期刊 148 篇,53% 只列策略例子、30% 不定義。作者提出以學生能動性為核心的工作定義與一個生態系架構,並說那個架構不是理論提案。
Deslauriers、McCarty、Miller、Callaghan、Kestin(2019),PNAS 116。讀了正文與補充資料。157 人修課、149 人參與,春秋兩學期。隨機分組在前測、態度問卷、前兩次期中成績上都沒有測到差異。主要結果(標準化係數,控制主題、學期、老師、前測、期中、性別):測驗 +0.46(穩健標準誤 0.10),自評 −0.56(0.13),兩者 p < 0.001。操弄檢核「我主要是聽眾」:被動 3.9、主動 2.9。訪談 17 人,15 人覺得主動課「disjointed and lacking in flow」。用「老師教得有效」預測「覺得學到很多」:係數 0.51,放進這一項後教法不再顯著。下一學期在一門同樣上法的課裡做了 20 分鐘說明,學期末超過 65% 自陳對主動學習的感受改善,沒有對照組。利益聲明:無。
Chi 與 Wylie(2014),Educational Psychologist 49。理論文加敘述性整理,沒有檢索程序與效果量。四種模式依外顯行為定義。成對比較表:記筆記、概念圖、自我解釋三張,加一張課堂研究表;三張活動表裡「互動對主動」都是「No known studies」。四種模式的研究(Menekse 等 2013)原文只給「約 8% 到 10%」,圖上目測後測約 55%、62%、73%、82%(圖上沒有數字)。經費:美國教育科學研究院。
Thurn、Edelsbrunner、Berkowitz、Deiglmayr、Schalk(2023),npj Science of Learning 8。評論文,4 頁,沒有表、圖與新資料;34 條參考文獻。利益聲明印的是「The authors declare competing interests.」,沒有說明內容,可能漏了「no」,我無法確認。
Koedinger、Kim、Jia、McLaughlin、Bier(2015),Learning at Scale。數字見題目與回饋那一篇的附錄。補一項:極端組分析裡,期末考表現優異的比例,只多做練習 16%、只多看影片 15%、兩者都多 31%。
Koedinger、McLaughlin、Jia、Bier(2016),LAK '16。同一門 MOOC,迴歸用 939 位註冊互動教材的學生,11 次單元小考。單元內對單元外(本單元小考的 Z 分數):做 0.195 對 0.196,讀 0.015(p = 0.094)對 −0.006,看 0.036 對 −0.002。之前/之內/之後(第 2–10 單元):做 0.143/0.181/0.078,三者都顯著;讀三個都不顯著;看 0.054/0.025/0.033。另外四門 UMUC 課加 MOOC,10 個迴歸的做讀比值 2.2 到無限大,中位數 6;以學期成績為結果時,資訊系統與 MOOC 兩個模型的調整後 R² 都是 0.08。表 5 沒有標準誤或 p 值。致謝:NSF 與 Google 的經費;沒有利益衝突聲明。
Van Campenhout、Jerome、Dittel、Johnson(2023),LAK '23。同一所線上大學七門能力本位課程,18,546 名學生,約 1,520 萬筆事件;統計課 8,397 人。單元測驗在系統裡有分數但不算入課程成績,期末考是唯一算成績的考試,可重考、只取第一次。期末考模型:讀的係數 14 個全負、11 個顯著;前測對做題的係數比平均 2.5。單元測驗模型的做讀比:不含前測 5.7 到 16.3,含前測 5.0 到 11.8。「因果模型」做讀比 1.3 到 6.2;統計課單元內做 0.1007、單元外做 0.1027。表內沒有標準誤、信賴區間或 R²,因果模型各課的人數沒有報告。作者列的限制:只有一所學校、能力本位課程;模型不能證明因果;其他第三變項仍可能。沒有利益衝突或經費聲明。
Lekshmi-Narayanan、Asher、Brusilovsky、Carvalho(2025),CSEDM'25 工作坊。1,060 名學生,前測 694 人,前後測都有 92 人。後測模型(控制前測):活動時間 −0.08(SE 0.11)、活動次數 −0.09(SE 0.15),都不顯著;閱讀次數 −0.27(顯著);前測本身也不顯著。讀到多遠:做過的活動比例 0.19、讀過的頁面比例 0.08。表內有矛盾(例如一列估計值 −0.4、標準誤 0.00、t −0.85);閱讀時間平均 220 小時,前處理有問題。經費:NSF。
參考資料
每一條都從頭讀到尾並留有抽取紀錄;讀不到的部分寫在括號裡。
- Freeman et al. (2014), Active learning increases student performance in science, engineering, and mathematics(刊出版,PMC 全文與補充資料;逐研究附表 S4 只做計數、沒有逐列讀)。
- Kozanitis & Nenciovici (2022), Effect of active learning versus traditional lecturing on the learning achievement of college students in humanities and social sciences: a meta-analysis(刊出版,CC BY;漏斗圖沒看到)。
- Martella et al. (2023), How Rigorous is Active Learning Research in STEM Education?(刊出版,CC BY;線上補充資料沒有取得)。
- Lombardi, Shipley et al. (2021), The Curious Construct of Active Learning(刊出版,NSF 公開典藏全文;參考文獻後半只掃過)。
- Deslauriers, McCarty, Miller, Callaghan & Kestin (2019), Measuring actual learning versus feeling of learning in response to being actively engaged in the classroom(刊出版,PMC 全文與補充資料)。
- Chi & Wylie (2014), The ICAP Framework: Linking Cognitive Engagement to Active Learning Outcomes(刊出版,作者所屬學院公開的全文)。
- Thurn, Edelsbrunner, Berkowitz, Deiglmayr & Schalk (2023), Questioning central assumptions of the ICAP framework(刊出版,CC BY)。
- Koedinger, Kim, Jia, McLaughlin & Bier (2015), Learning is Not a Spectator Sport(DOI 10.1145/2724660.2724681;圖上的數字讀不到)。
- Koedinger, McLaughlin, Jia & Bier (2016), Is the Doer Effect a Causal Relationship?(刊出版,ACM Digital Library 開放取用)。
- Van Campenhout, Jerome, Dittel & Johnson (2023), The Doer Effect at Scale(刊出版,ACM Digital Library 開放取用)。
- Lekshmi-Narayanan, Asher, Brusilovsky & Carvalho (2025), Can Motivated Students Do More Activities?(工作坊論文刊出版面,NSF 公開典藏;沒有 DOI)。
- 本站文章:教學文章的例子與開頭怎麼寫、教學文章什麼時候該畫圖、教學文章搭配影片怎麼做、讀到一半想看影片時,畫面怎麼排、教學文章裡的問題與用語怎麼寫。
Loading...