這是「教學文章怎麼寫」系列的第 18 篇,在第四部分「隔一段時間之後」。前面的篇談間隔複習在真實課程裡剩多少效果、怎麼把複習做進文章;這篇把範圍拉到整個系列:幾篇文章排成一列時,先後怎麼決定,後面的篇要不要回頭用前面的東西,讀者不照順序讀時作者能做什麼。
起因是本站排系列的方式。本站有一套規劃系列的流程(series-curriculum-design),要求先畫出「B 需要先讀 A 才懂」的依賴關係,再照五條原則排:可見先於不可見、動機先於抽象、一次一個跳躍、具體到形式、螺旋式加深;接著逐對找相鄰兩篇之間的「斷崖」。流程的核心原則是「用學習者的旅程排序,不用教授的知識分類排序」。課程導讀另有規格:一堂一篇、不拆成兩篇,作業排在它依賴的那一堂之後;系列的 order 是本站的閱讀順序,不等於原課的堂次。文章頁有系列時,下方的上一篇、下一篇改成系列順序。這個系列自己的排序(頁面上放什麼、要讀者做什麼、讀者帶著什麼來、時間、社群、評估)也是用這套流程定的。這些決定背後,研究能撐到哪裡,是這篇要回答的問題。
第 12 篇談讀者程度時已經用過一個課程進度的研究,推論系列的每一篇都該自己交代先備。這篇把那個推論放回排序的脈絡,補上排序本身的證據。
來源怎麼選、有什麼偏向。先掃描文獻,再挑十二篇精讀,其中十一篇讀到合法公開的全文並留有抽取紀錄。
排序這一側有一個學前數學的十個實驗彙整、一個大學 AI 課的隨機實驗、一個物理線上作業的實驗(預印本)、一份演算法排序的文獻回顧;回頭用舊內容這一側有一個國中數學的隨機試驗、一份教科書題目的計數、一份交錯學習的統合分析(把許多研究的結果合併估計的研究)、一篇螺旋式課程的概念評述,以及一個醫學院的實作。讀者行為這一側有兩份 MOOC 紀錄分析。來源清單上剩下的那篇(一份適應式數學軟體的統合分析),以及另一篇讀者自選路徑的回顧,我沒有讀到合法公開的全文。偏向是英文文獻、數學與理工內容、課堂或 MOOC,沒有一篇研究的是部落格系列文。
先看結論
| 問題 | 證據 | 能說到哪裡 |
|---|---|---|
| 先備關係要不要照著排 | 學前數學十個實驗:一級一級教勝過直接教目標級,7 個實驗裡 4 個支持(另 3 個作者判定執行失敗);同一批活動排與不排,3 個裡 1 個有差 | 中,限幼兒數學。前置知識是「沒有它學不會」時順序重要,只是「有它比較順」時有人跳過也學得會 |
| 用什麼排比較好 | 一門 AI 課的隨機實驗:依專家評的轉換難度排,答對率比照發展史排的高約 5 個百分點(d = 0.32) | 弱到中:單一課程、單一主題、一次實驗,沒有延後測驗 |
| 概念先還是理論先 | 物理線上作業的實驗:六種順序互比沒有測到顯著差異;事後改比「第一頁是什麼」,概念先勝過理論先,換兩種算法就不顯著 | 弱,預印本 |
| 演算法能不能排得比人好 | 強化學習排序的回顧:排相依內容的 8 個研究,沒有一個顯著勝過全部基準;作者仍說順序幾乎可以確定重要 | 中:計票,沒有合併效果量 |
| 練習題要不要分散混排 | 國中數學的隨機試驗:同一批題目分散混排的組,複習後約一個月的測驗 61% 對 38% | 強,但這是交錯加間隔的合併效果,限國中數學、有訂正;搬成「系列後篇回頭練前篇」是推論 |
| 交錯對什麼內容有用 | 交錯學習的統合分析:整體 g = 0.42;說明文沒有測到效果,字詞是負的 | 中;這裡的「交錯」是混著呈現不同類別的範例,不是系列順序 |
| 螺旋式加深有沒有效 | 一篇概念評述說評估螺旋式課程影響的文獻很少;一個醫學院實作無法判斷成效 | 目前沒有對照實驗 |
| 讀者會不會照順序讀 | 一門 MOOC 的兩次開課:讀者會用掉課程給的進度彈性;四門 edX 課:拿到證書的人平均略過 22% 的內容 | 行為面中等;都沒有學習測驗 |
| 讓讀者自己選路徑,對學習的平均效果 | 我讀得到的來源裡沒有 | 這篇不寫 |
系列怎麼排:有沒有根據
先備關係:沒有它學不會,還是有它比較順
學習進程(learning trajectory)是數學教育裡的一個做法:把一個主題切成由低到高的幾級,假設照著一級一級教最有效。Arthur Baroody、Douglas Clements 與 Julie Sarama 2022 年的回顧彙整了自己計畫裡的十個隨機實驗,受試者全是學前與幼兒園的孩子,檢驗這個做法的兩個假設。
第一個假設:孩子在第 n 級時,先教 n+1、n+2,再教目標級,比直接只教目標級學得多。七個實驗裡四個支持。另外三個沒有測到差異,作者判定是執行失敗(例如兩組用的教材其實都同時含兩級的內容),說它們不能算有效的檢驗,三個都沒有發表。支持的四個裡,有給效果量又是大樣本的只有一個:152 名學前兒童學圖形組合,效果量 0.55。
第二個假設:同一批活動照學習進程排,比打亂順序學得多。三個實驗裡一個支持(長度測量)。另外兩個是樣式(pattern)的學習,照順序排的組有進步,但沒有顯著勝過打亂順序的組。作者的結論是在樣式這個領域,依序教各級不是關鍵,並懷疑這條進程本身排錯了,例如某一級也許該排在另一級後面。作者的說法是:
"an LT approach is only as good as the LT it uses."
這篇對排系列最有用的不是比數,是一個區分。即使在支持的實驗裡,也有對照組的孩子沒學前置級就學會了目標。作者因此把前置級分成兩種:只是「強力促進」的,和「必要」的。必要的例子只有一個:15 個孩子的實驗裡,沒先學前置概念、直接學目標的 8 個孩子,有 7 個幾乎完全沒學會。另一個實驗裡,入學程度最低的孩子幾乎非照順序教不可。作者的推論是,離目標越遠的學習者,越需要照學習者目前的程度調整。
這個區分有三個限制要一起記。必要的那個例子只有 15 人、論文還在投稿中。作者也說無法排除另一個解釋:前置概念和目標概念其實分不開,照順序教的那組贏,只是因為多受了前置概念的訓練、相關訓練的總量較多。如果是這樣,「必要」的判讀就站不住。全部受試者是幼兒,領域是早期數學;把它搬到成人讀技術文章,是我的推論。效果量是哪一種(d 或 g),原文沒有寫。
依轉換難度排,勝過照發展史排
Diego Rivera Garrido、Sverrir Thorgeirsson 等人 2026 年在 ETH Zurich 的實驗是我找到唯一在大學課堂裡、用隨機分派直接比兩種主題順序的研究。課程是一門大型的人工智慧課,主題是擴散模型,十個概念(隨機微分方程、Fokker-Planck、Langevin 取樣、DDPM 等)做成兩週的影片教材。
- 對照組照研究文獻出現的先後講,先講取樣、最後才講連續時間的數學基礎。作者說這和 Stanford CS236、MIT 6.S184 兩門課的排法一致。
- 實驗組用作者提出的 PATHOS 方法排:先刪掉違反先備關係的轉換,再請 12 位評分者評每一步轉換的認知負荷,用最小生成樹找出總成本低的路徑,讓直接相關的概念連著教完。
- 兩組的教材核心相同,只有轉場的段落不同。
實驗組的答對率較高(62.6% 對 57.3%,d = 0.32),雙尾檢定也顯著。分到兩組的是全班 448 人,分析的是到考並同意使用成績的 209 人。測驗在教材開始釋出後約三週,沒有延後測驗。
從論文的圖看,以相鄰兩步的轉換來看,對照順序走的每一步也都在研究者刪掉違反先備關係的轉換之後留下的邊裡。論文沒有公布完整的先備關係。比的是兩條都教得通的路徑:轉換成本較低、相關概念連著教的那一條勝出。這是我讀圖的判斷,論文沒有這樣寫。作者自己也保留很多:
- 結果可能反映的是對照順序在某些地方較差,而不是實驗順序特別好。事前請 8 位助教看兩份教材,偏好是四比四。
- 作者明說不主張 PATHOS 對任意強的順序也有同樣優勢:"we also do not claim that PATHOS would produce a comparable advantage against an arbitrarily strong baseline instructional sequence"。
- 評分者之間分歧不小,改幾個評分就可能排出不同的順序。
- 建一條 PATHOS 順序要花相當多時間。
概念先還是理論先:一個沒有同儕審查的實驗
Benjamin Dringoli 等人的預印本(2021 年第 2 版,目前只有預印本)在 McGill 大一電磁學的線上作業裡,把同一個主題寫成三頁:概念(質性說明加圖)、理論(數學式)、例題(完整解出的計算題)。每個學生三頁都會讀,差別只在先後,共六種順序。三頁讀完後有一頁三種內容都能重看的複習頁,接著考計算題。
原定的六種順序互比,沒有任何一種顯著較好,作者的小節標題就是這句。之後作者放寬假設,改比「第一頁是什麼」:第一頁是概念的學生,增益比第一頁是理論的高,後測分數差 4 個百分點。但換成另外兩種增益算法就不顯著,四份作業裡有一份方向相反,全文沒有報效果量。做作業的過程中,想下一頁先看例題的學生從 42% 升到 66%。
這個實驗能說的很少:在不到五小時的線上作業裡,概念頁放第一頁可能有一點好處,證據弱。
演算法排序沒有顯著勝過人排的固定順序
如果人排的順序靠不住,交給演算法呢?Shayan Doroudi、Vincent Aleven 與 Emma Brunskill 2019 年的回顧整理了 41 個用強化學習類方法、從學生資料學出教學順序的對照實驗。作者用計票(各研究顯著或不顯著的個數)整理,沒有合併效果量。
最接近「一門課的單元順序」的是排相依內容的那一群,8 個研究。沒有一個顯著勝過所有基準:2 個勝過隨機順序、沒有顯著勝過專家或啟發法排的順序;6 個和難度遞增、專家設計、螺旋難度這些固定順序沒有測到差異。作者的用語是還沒有證據顯示演算法排得更好,不是證明它沒用。6 個課堂研究都是中小學數學,其中 2 個是作者自己的實驗。
這不是「順序不重要」。作者在結論寫的是:
"the order of content almost certainly matters for domains with interconnected content (like mathematics)"
作者的判斷是,用一般規模的資料很難找出比專家排得更好的適應式順序。同一份回顧裡,成功率最高的是排彼此獨立的項目(例如單字卡的複習時機),14 個研究裡 11 個勝過基準,不過這一群的基準多半只有隨機順序(14 個裡 8 個)。另一個要記的數字:有顯著結果的研究裡,71% 只比了隨機順序或沒被證實有效的基準。
一個相關的產品是 ALEKS。PATHOS 論文的背景段說,這類系統用知識空間理論評估學習者目前的狀態、在教學中建議下一步。Ying Fang 等人 2019 年有一份統合分析,這篇研究存在,我沒有讀到合法公開的全文。Doroudi 等人的回顧沒有提到 ALEKS;依它「參數由人設定的不收」的納入標準,我推測這類系統不在範圍內。
後篇要不要回頭用前篇
同一批題目分散到多張作業並混排
Doug Rohrer 等人 2020 年的叢集隨機試驗在佛州五所中學的七年級數學班做,以班為單位隨機分派。四種題型(由圖寫正比式、解不等式、化簡式子、由圓面積求半徑)各 8 題,兩組做的是同一批 32 題,只是排法不同:
- 交錯組:八張作業單,每張四種題型各一題,混在一起,分散在約三個半月裡。
- 區塊組:每種題型 8 題集中在同一張作業單。
- 兩組最後都做同一張混排的複習單,平均 33 天後無預告測驗。
交錯組答對 61%,區塊組 38%,15 位老師的班每一位都是交錯組較好。
注意這不是「先教完,再把舊題型混進後面的作業」:交錯組從第一張作業單起每張就四種題型都有,四種題型何時由老師教、和作業單的先後關係,原文沒有交代。把它讀成「系列的後篇回頭練前篇」,是我的推論。
這個結果搬到系列文章之前,要知道它混了兩件事。作者寫得很直接:"In short, interleaved practice guarantees spaced practice." 同一種題目分散在三個多月的八張作業上,本身就是間隔練習;這個實驗沒有把交錯和間隔分開。作者也說,兩組在實驗外都有其他練習,比的其實是交錯的劑量高低。作者另列了四項可能關鍵的但書:交錯作業比較花時間(15 位老師全都說交錯組做得較久);測驗離練習近時好處可能較小;剛學新技能時可能要先做一點集中的練習;學生每題都看了解答並訂正,交錯可能要搭配這種回饋才有效。
同一組作者的另一篇評論數了六本美國七年級數學課本(2012 到 2015 年版)的練習題:約一成是交錯,約八成是區塊,其餘分不出來。各書差很多,從 7% 到 31%。反例是 Saxon 的課本,交錯題是區塊題的兩倍,但作者找得到的課本核定清單上已經沒有它。交錯題該佔多少,作者說「the optimal proportion is certainly unknowable」,只主張每天至少幾題。
交錯學習的統合分析:定義比想像的窄
Matthias Brunmair 與 Tobias Richter 2019 年的統合分析常被引來說「交錯有效」。它研究的交錯是:學習分類時,把不同類別的範例混著呈現(例如不同畫家的畫作交替出現),對照一個類別看完再換下一類,之後考分類。這和系列文章的先後、或複習時把舊主題混進來,都不是同一件事。
整體 g = 0.42,校正可能的出版偏誤後降到 0.29。依教材分:畫作的效果最大;數學作業是正的;說明文沒有測到效果,點估計是正的但區間跨過零;字詞是負的,只來自 3 篇論文。跨研究的迴歸顯示,類別之間越像、類別內部差異越大,交錯越有利。這是跨研究的關聯,不是實驗操弄的結果,而且把離群值放回去後就不顯著。作者對說明文的結果特別說明,這「does not imply that interleaving is ineffective when used with these learning materials」。
我讀的是作者接受稿,沒有和期刊版逐字比對。保留間隔只分成 20 分鐘以內與更長兩類,所以這份分析回答不了交錯的好處能不能維持幾週。
螺旋式課程:幾乎沒有成效研究
螺旋式課程(spiral curriculum)來自 Jerome Bruner 1960 年的《The Process of Education》:同一個主題隔一段時間回來,每次加深一層。本站規劃流程裡的「螺旋式加深」就是這個想法。
Jo Ireland 與 Melissa Mouthaan 2020 年的評述(Cambridge Assessment 的機構刊物)比較了螺旋式與非線性的課程模型。作者指出 Bruner 的書本身就沒有提供成效證據(「the lack of evidence offered for the efficacy of the spiral approach」),評估螺旋式課程影響的文獻也很少,並推測這表示螺旋式大致是沒經過檢驗就被接受的。這是兩位作者的觀察,沒有交代怎麼查的,所以只能寫成「沒有證據」,不能寫成「無效」。
評述轉述了正反兩邊的論點,兩邊都沒有資料。支持的一方列了強化記憶、由簡入繁、邏輯順序等好處。批評主要來自一篇對美國小學數學課本的評論,對寫系列最相關的兩條是:因為「之後還會再講」,每次都講得淺,學生一直沒精熟;兩次回訪隔太久,強化就打折。
我找到唯一有資料的實作是 Anthony Maltagliati 等人 2023 年在亞利桑那大學醫學院的研究。它的「螺旋式課程」是臨床前階段沒有考試的那幾週,到教室做一小時的舊內容測驗、再由教師逐題檢討,比較接近間隔提取練習,不是 Bruner 說的逐次加深重講。比較對象是前兩屆沒有這套複習的學生,前兩屆答的是「如果有會不會幫助我記住」,實際上過的那屆答的是「有沒有幫助」:前兩屆平均 8.2 分(滿分 10),實際上過的是 5.0。三屆的國考平均沒有顯著差異,但三屆的課程長度與入學背景都不同,作者自己說干擾太多,不能下結論。自由填答裡,上過的學生希望改成自主進行,強制到教室擠掉其他安排。這個研究沒有量知識保留,回答不了「回訪能不能減少遺忘」。
讀者不照順序讀
進度上的彈性會被用掉
Tommy Mullaney 與 Justin Reich 2015 年的研究比較同一門 HarvardX 人文課的兩次開課:第一次內容依序釋出,第二次一開始就全部放上去。第 12 篇已經寫過它的主要發現與數字:讀者會用掉課程給的所有進度彈性,即使依序釋出,跟著進度的也是少數。這裡只補和排序有關的兩點。
第一點:拿到證書的比例兩次差不多,但作者沒有做檢定,兩次開課的差別也不只釋出方式,所以這不能讀成「釋出方式不影響結果」。
第二點是作者自稱附帶的發現:每一週都有一群人把大部分時間花在最前面兩章,對許多學生來說那是唯一看到的部分。作者據此建議課程的第一章總結全課的重點,而不是只介紹第一個主題。這個建議沒有被檢驗過。
拿到證書的人也略過、也往回跳
Philip Guo 與 Katharina Reinecke 2014 年的研究分析 edX 2012 年秋季四門理工課的伺服器紀錄,主軸是年齡與國家的差異,和排序有關的是兩個副結果,都只算拿到證書的人(約佔全部學生一成):
- 四門課的證書取得者平均只進過 67% 到 86% 的單元頁面,平均略過 22%。「略過」是從沒打開那一頁,打開了沒看完不算,所以這是下限。
- 證書取得者往回跳到較早單元的次數,是沒拿證書者的三倍。往回跳裡,從習題或考試跳回講課的佔 54%,講課跳回講課佔 30%。
作者推測往回跳是為了找答題要用的資訊,但也給了另一個解釋:學生把評量當成課程的學習目標清單。資料區分不了這兩種。這份研究沒有學習測驗,不能用來說略過內容不影響學習,也不能說往回跳有幫助。
讓讀者自己選路徑:我沒有可引的研究
系列文章在網頁上,讀者本來就能自己選讀哪一篇、照什麼順序讀。給學習者這種控制權,對學習的平均效果是多少,我找到的統合分析只讀到摘要或更少。Katharina Scheiter 與 Peter Gerjets 2007 年談超媒體裡學習者控制的回顧,這篇研究存在,我沒有讀到合法公開的全文。所以「先備知識低的讀者需要預排的路徑、高的不需要」這類說法,這篇不寫。上面 Baroody 等人的實驗裡,起點最低的孩子最需要照順序,是我讀得到的來源裡最接近的結果,但它比的是教學順序,不是讀者自選。
來源說法不同的地方
以下幾組結果方向不同,或同一篇裡前後說法不一。我把它們並列,不選邊。
交錯對數學有沒有用。Rohrer 等人的課堂試驗裡,混排的組大幅領先(d = 0.83)。Brunmair 與 Richter 的統合分析裡,數學作業的合併效果是正的、顯著(g = 0.34),但作者在實務建議裡說不願推薦對數學作業、說明文、文法規則、外語與字詞使用交錯,這句話比自己的數學結果保守。兩份的「交錯」定義不同:Rohrer 的是練習題混排加上分散在三個多月,Brunmair 的是分類學習裡的範例混排,保留間隔多半很短。Rohrer 等人的試驗不在 Brunmair 的參考文獻裡。
學習進程的證據算不算支持。Baroody 等人的摘要寫十個實驗裡五個支持,結論句寫整體證據「corroborates the efficacy and basic assumptions」。第二個假設只有三分之一支持,而且支持的那一個在表上標的是「Yes/No」,原文沒有解釋「/No」指什麼。
概念先是不是最佳順序。Dringoli 等人的結論寫「The optimal sequence of content presentation is Concept first」,結果節的小節標題寫「No sequence provides a significantly better learning outcome than others」。摘要另說教師與學生偏好的順序很不一樣;問卷的圖上兩邊偏好的順序都以概念開頭的最多,差別大的是偏好的內容類型(大學部選例題,教師選概念與理論),而且沒有檢定。
原課的順序是不是夠好的基準。Doroudi 等人的回顧裡,演算法排的順序沒有顯著勝過專家設計的固定順序;PATHOS 的作者也說方法不是設計來贏過長期教學磨出來的順序。但 PATHOS 勝過的對照順序,作者說和 Stanford 與 MIT 兩門課的排法一致。兩件事可以同時成立:一般規模的資料很難學出更好的順序,用專家評估的轉換難度重排一次卻可能有幫助。這是我的推論。
螺旋式複習:想像中與實際上。Maltagliati 等人的研究裡,沒上過的兩屆對螺旋式複習的期待是 8.2 分,上過的那屆是 5.0。這是不同屆的學生、回答不同時態的問題;論文的實務重點寫醫學生「strongly in favor」結構化的間隔複習,只適用於假設的情境。
回頭練舊內容有沒有用。Rohrer 等人的課堂試驗支持分散混排的練習。我找到唯一真的定期回頭考舊內容的實作是 Maltagliati 等人的醫學院課程,上過的學生評價中立,成效無法判斷,也沒有量知識保留。兩者的設計差很多(題目混進每份作業對每隔幾週一場強制的測驗),不能互相抵銷。
全部放出來是不是可行。Mullaney 與 Reich 工作論文版的摘要說一次全部釋出「may be a viable strategy」;正文結論寫的是兩邊各有代價的取捨,沒有推薦哪一種。
對照本站的做法
本站規劃系列的流程與課程導讀規格,逐條對照上面的來源。「本站的選擇」表示沒有研究直接支持,是我們自己定的。
| 本站做法 | 來源怎麼說 | 依據強度 |
|---|---|---|
| 先畫依賴關係:B 需要 A,A 排在前面 | Baroody 等人:前置級是必要時順序重要,只是促進時有人跳過也學得會;PATHOS 的兩種順序都沒有違反先備關係(我讀圖的判斷) | 方向有支持,限幼兒數學;「需要」要分必要與促進,流程現在沒有分 |
| 用學習者的旅程排序,不用教授的知識分類排序 | 精讀的來源沒有測過。PATHOS 的對照順序照研究發展史排,那不是知識分類;勝出的順序反而是把主題分成三群連著教,所以它不能拿來支持這條原則 | 本站的選擇 |
| 可見先於不可見、動機先於抽象 | 精讀的來源沒有測過 | 本站的選擇 |
| 一次一個跳躍 | 最接近的是 PATHOS 讓相關概念連著教、轉換成本低;沒有研究測過「每篇只引入一個新概念」 | 本站的選擇,有相鄰的證據 |
| 具體到形式 | Dringoli 等人:概念頁先放可能有一點好處,換算法就不顯著;第 1 篇整理的具體與抽象實驗方向不一 | 弱且方向不一 |
| 螺旋式加深 | Ireland 與 Mouthaan:成效文獻很少;Maltagliati 等人定期回頭考舊內容,成效無法判斷;Rohrer 等人的課堂試驗支持同一批題目分散混排的練習 | 重講沒有對照實驗。混排加分散的練習有一個課堂試驗支持;搬成「回頭練舊篇」是推論 |
| 逐對找斷崖,人工檢查先備 | 和 PATHOS 刪除違反先備關係的轉換是同一類工作;Doroudi 等人:資料驅動的排序沒有顯著勝過專家設計的順序 | 本站的選擇,有相鄰的證據 |
| 課程導讀一堂一篇,作業排在它依賴的那一堂之後;series.order 是本站的閱讀順序,不等於堂次 | 「作業在依賴的那一堂之後」和上面的依賴關係是同一件事;「一堂一篇」管的是篇的切法,不是順序,精讀的來源沒有測過 | 前半同依賴關係那一列;一堂一篇是本站的選擇 |
| 沒在系列教過的先備,給可到達的橋接連結 | Mullaney 與 Reich:讀者會用掉進度彈性;Guo 與 Reinecke:拿到證書的人也略過、也往回跳 | 方向有支持;「連結」這個形式沒有人測過(第 9 篇與第 12 篇的對照表已列過) |
| 文章頁的上一篇、下一篇改成系列順序 | 同上兩份:讀者不照順序走 | 本站的選擇;導覽列的效果沒有人測過 |
| 本系列的弧線(頁面、讀者的行動、讀者的差異、時間、社群、評估) | 精讀的來源沒有測過 | 本站的選擇 |
可以做的事
下面每一條標了依據;沒有研究直接測過的,我寫明是推論或本站的選擇。
-
畫依賴關係時,每條線標一個字:「必」或「助」。 「必」是沒有前一篇就看不懂這一篇(例如不知道梯度是什麼,就讀不懂反向傳播);「助」是有前一篇比較順,但這篇自己補兩句也讀得下去。標「必」的一定排在前面,並在本篇開頭連回去;標「助」的在本篇用一兩句補上,讓跳著讀的人也過得去。依據:Baroody 等人的必要與促進之分(幼兒數學,必要的例子只有一個 15 人的實驗)。用到成人的系列文章是我的推論。
-
後面幾篇的自我檢查,放一題要先判斷該用哪一篇方法的題目。 例如寫到第 5 篇時,出一題要讀者先決定該用第 3 篇還是第 5 篇的做法,再附上答案與判斷理由。依據:Rohrer 等人的課堂試驗(國中數學,交錯與間隔的合併效果,學生每題都訂正),把它用到系列的後篇是我的推論。讀者自己可能會覺得混著來的學法比較沒效:第 15 篇整理過這類判斷錯覺,但那些實驗是畫作與鳥類照片的分類學習,不是練習題混排。題目要附答案,是因為作者把回饋列為可能關鍵的但書;搬到讀者自己讀的文章是我的推論,讀者會不會做這題,第 10 篇整理過。
-
想「回頭加深」時,讓讀者做一題,不要把前面的內容再講一遍。 依據:Rohrer 等人的課堂試驗支持同一批題目分散混排的練習;螺旋式重講沒有對照實驗(Ireland 與 Mouthaan),批評者還提到因為「之後會再講」而每次都講得淺。但唯一定期回頭考舊內容的實作(Maltagliati 等人)成效無法判斷,學生也不喜歡強制的形式,所以題目放在文章裡讓讀者自己選要不要做。二選一時選「做一題」是我的推論。
-
兩種順序都講得通時,把每兩篇之間的轉換寫成一句「讀完 A,要讀懂 B 還缺什麼」,挑缺得少、相關概念能連著講的那條。 依據:PATHOS 的實驗(一門課、一個主題、差距約 5 個百分點)。作者的方法要找 12 位評分者評分,一個人寫系列做不到;用一句話估轉換難度是我的簡化,沒有人測過。
-
每篇開頭寫出用到前面哪幾篇的什麼,並給連結。 依據:Mullaney 與 Reich、Guo 與 Reinecke 的 MOOC 資料,讀者會跳、會略過、會往回找。推到部落格系列是我的推論。第 12 篇也提過同一條。
-
系列的第一篇或總覽,放一段全系列的重點。 依據:Mullaney 與 Reich 的建議(許多人只看最前面兩章),作者沒有檢驗這個建議。
這些證據的限制
- 沒有一篇研究的是系列文章或自學者讀網頁。排序的研究是幼兒數學課、大學 AI 課的影片、物理線上作業;混排練習的是國中數學課;讀者行為是 2012 到 2013 年的 MOOC。全部搬到部落格系列,是我的推論。
- 排序的證據各只有一兩個研究。PATHOS 是單一學校、單一課程、單一主題的一次實驗,分析樣本只有被分派者的 47%;Dringoli 等人是沒有同儕審查的預印本;Baroody 等人十個實驗裡只有五個在期刊發表。
- 沒有延後測驗。PATHOS 與 Dringoli 等人都只量了教完不久的表現,好處能不能維持不知道。Rohrer 等人的測驗在複習後約一個月,是這批裡最長的;Brunmair 與 Richter 的保留間隔只分 20 分鐘上下。
- 交錯和間隔沒有分開。Rohrer 等人明說交錯保證了間隔;Brunmair 與 Richter 說兩者在某種程度上不可能分開。
- MOOC 研究沒有學習測驗。Mullaney 與 Reich 量的是證書率與活動量,Guo 與 Reinecke 量的是頁面造訪與成績;都是觀察資料。
- Brunmair 與 Richter 的數字來自作者接受稿,沒有和期刊刊出版比對;接受稿內部也有十幾處正文與表格對不上,文中一律用表格的數字。
- 寫不了的結論:給讀者控制權對學習的平均效果;先備知識低與高的讀者誰需要預排的路徑;螺旋式課程有沒有效;教學文章的讀者會不會照順序讀、隔多久回來。前兩項的統合分析與回顧我只讀到摘要或讀不到全文;螺旋式課程沒有找到對照實驗;最後一項沒有找到研究,本站也沒有裝任何流量或閱讀行為的分析工具。
- 我的推論與本站的選擇:PATHOS 的兩種順序都沒有違反先備關係(讀圖的判斷);專家順序難被演算法打敗與 PATHOS 勝過名校課順序可以並存;必要與促進之分用到成人系列;把混排練習讀成系列後篇回頭練前篇、回頭練優先於回頭重講;ALEKS 不在 Doroudi 等人的回顧範圍內;可以做的事第 1 到 5 條的具體寫法;對照表裡標「本站的選擇」的各項。正文都標了。
- 只知道存在、沒讀到合法公開全文的:Fang 等(2019)的 ALEKS 統合分析(DOI)、Scheiter 與 Gerjets(2007)的學習者控制回顧(DOI)。
- 轉引:Ireland 與 Mouthaan 轉述的 Snider(2004)的批評、Harden 與 Stamper(1999)的優點;Rohrer 等人轉述的先前交錯研究;Maltagliati 等人引的遺忘比例。原研究我都沒有讀,Maltagliati 引的遺忘比例沒有寫進正文。
附錄:各研究的設計與數字
正文每項只留一兩個數字,其餘放在這裡。
Baroody、Clements、Sarama(2022),Education Sciences 12(3), 195。一個 IES 補助計畫的十個隨機實驗,全是學前與幼兒園兒童。三個共同設計:隨機分派;對照組只差在學習進程的單一特徵;前測先定出每個孩子在進程上的位置。假設 1(一級一級教 vs 跳級直教目標)7 個實驗:實驗 3(152 名學前兒童,圖形組合,效果量 0.55,p = 0.016)、實驗 4(26 名幼兒園生,加減法,原文只寫「增益 24% 以上的多項質性指標」,沒有效果量)、實驗 7(291 名幼兒園生,早期算術,整體與目標級都支持,沒有效果量)、實驗 10(15 名學前兒童,基數,程序流暢效果量 1.3、p = 0.032,概念理解 1.68、p = 0.016,投稿中)支持;實驗 1、2、9(76、180、20 人)不顯著,作者歸因於方法問題。假設 2(同一批活動排序 vs 不排序)3 個實驗:實驗 8(189 名幼兒園生,長度測量,對照的效果量 0.32,表上標「Yes/No」)支持;實驗 5(16 人,主要變項效果量 0.238,p = 0.48)、實驗 6(48 人)不顯著。實驗 5 裡對照組從一開始就用字母標樣式,作者認為這給了對照組兩項優勢。實驗 10 的逐人結果:照順序教的 7 人中 5 人在目標概念上有一些成功、6 人在目標程序上有成功;直教目標的 8 人中 7 人幾乎完全沒學會,唯一學會的那位前測最好。論文的 Table 2、3 四格合計 16,與 15 人不符,這裡用內文的數字。作者說實驗 10 無法排除另一個假設:前置與目標兩個概念分不開,照順序那組贏是因為數數到基數的訓練總量較多。效果量是 d 或 g,原文沒有寫。
Rivera Garrido、Thorgeirsson、Meier、Pizza、Goswami、Solano、Cotrini、Su(2026),ICER 2026。預先註冊的課堂隨機對照試驗,交叉設計,主要分析只用交叉前的第一次測驗。ETH Zurich 一門人工智慧課,2025 年 11 月到 2026 年 1 月。448 人隨機分成兩組各 224 人;到考 221 人,同意使用成績 209 人(實驗組 100、對照組 109),流失差異不顯著。教材是擴散模型的影片,兩週釋出,實驗組約 111 分鐘、對照組約 114 分鐘;程式練習影片相同,非程式影片只有轉場段落不同。十個概念的完全有向圖有 100 條可能的邊,刪掉違反先備關係的剩 24 條;12 位不參與研究的評分者(7 位其他 AI 課助教、5 位博士生)以 7 點量表評每條邊的轉換負荷,平均標準差 1.53。測驗是 32 題四選一、閉卷、45 分鐘,研究團隊自編,Cronbach's α = 0.80,全體平均 59.6%。主要檢定(預註冊單尾)p = 0.011,d = 0.322(標準誤 0.140);雙尾 p = 0.021;Welch t(207) = −2.33,p = 0.010;Mann-Whitney U = 4547.50,p = 0.019。原文沒有給 d 的信賴區間與各組標準差。分主題的探索性比較裡,DDPM 理論差最多(d = 0.62),每個主題只有 2 到 4 題,作者說只能當提示。認知負荷問卷是自願填答的 55 人、在交叉之後填,實驗教材的內在與外在負荷評分較低(d 約 −0.22 與 −0.31),這不是隨機分派下的比較。8 位學生的訪談裡,對照組有人說內容「very fragmented」,實驗組 4 人裡 2 人覺得節奏太快。測驗時間點內文前後不一(兩處寫「immediately」,兩處寫三週),比較說得通的讀法是教材開始釋出後三週。
Dringoli、Kolosova、Rademaker、Wray、Choquette、Hilke(2021),arXiv:1910.00145v2,預印本。McGill 大一電磁學與光學,2017、2018 兩年各兩份線上作業,四個資料集 426、437、346、399 筆;同一年的兩份作業是同一批學生,不重複人數與各組人數全文沒有報告。流程:前測 → 三種內容依隨機順序各讀一頁、每頁後小考 → 全部內容複習頁 → 後測,限 5 小時內完成。六種順序 Tukey 校正後,概念—理論—例題對理論—概念—例題:各人增益的平均(ḡ)p = 0.03,平均分數算出的增益(g)p = 0.08。改比「第一頁」後:概念先對理論先,g 的 p = 0.033、ḡ 的 p = 0.035;normalized change 不顯著(內文 p = 0.24,圖上 0.29);把負增益設為零的算法不顯著,且例題先最高。後測原始分數:概念先比理論先高 4 ± 2 個百分點,p = 0.01。四份作業有一份(2018 年第一份)理論先最高,作者歸因於題目外流。2018 年前測滿分 69 人,作者歸因於學生上網查答案。偏好問卷 111 人,各身分人數沒有報告。全文沒有效果量。
Doroudi、Aleven、Brunskill(2019),International Journal of Artificial Intelligence in Education 29, 568–620。讀的是作者稿。以引用追蹤找到 34 篇論文、41 個研究;納入條件是至少一個教學策略由學生資料學出,參數由人設定的不收。五類結果:顯著勝過全部基準 21、只對低成就學生較好 4、勝過部分基準 4、不顯著 11、顯著較差 1。配對聯想 14 個(11 勝)、概念學習 7 個(4 勝)、排相依內容 8 個(0 勝、2 部分、6 不顯著)、排活動類型 10 個(4 勝、4 只對低成就學生較好;基準全是隨機或刻意做差的策略)、目標不是學習 2 個。排相依內容的 8 個:Green 等 2011 兩個實驗室研究(實驗 1 對隨機 d 約 3.9、對啟發法不顯著;實驗 2 對隨機的效果原文記「?」、對專家不顯著);6 個課堂研究的基準是難度遞增 3 個、專家 1 個、螺旋難度 2 個,最少組人數 9 到 133。有顯著或交互作用的研究裡 17 / 24(71%)只比了隨機或未被證實有效的基準;這個 24 與表上的 25 差一,原文沒有解釋。課堂場域 15 個研究裡 3 個顯著、4 個只對低成就學生較好。附錄 B 是作者自己未發表的分數教學實驗(220 名四、五年級生),事前模擬預測新策略高 0.31 到 2.23 分(滿分 16),實測後測 7.97 對基準 8.12,增益差異不顯著。
Rohrer、Dedrick、Hartwig、Cheung(2020),Journal of Educational Psychology,讀的是作者稿(ERIC ED595322),卷期頁碼沒有核對。預先註冊的叢集隨機對照試驗,佛州一個學區 5 所公立中學、15 位老師、54 班(交錯 28、區塊 26),以班為單位、在每位老師內部平分。課程排除了提早修代數與前一年州測驗數學不及格的學生。1,103 人中 856 人同意,分析 787 人(交錯 398、區塊 389)。沒有前測;六年級州測驗分數兩組相近。練習階段平均 103 天,10 天後複習單,再 33 天後測驗,16 題新題、依題型分區塊排。交錯 60.7%(SD 28.6)、區塊 37.6%(SD 27.3),d = 0.83(95% CI 0.68–0.97),以學生層級資料計,沒有調整叢集;控制教師的多層次模型,交錯的固定效果是 22.17 個百分點(SE 2.47)。15 位老師逐一看 d 在 0.23 到 1.48 之間。四種題型的效果量 0.86 到 0.34,作者說被排程混淆。教師問卷 15 人全數回收:15 人都說交錯作業較花時間;「我能輕易自己編交錯作業」5 人不同意。前導研究 83 人,d = 0.97。
Rohrer、Dedrick、Hartwig(2020),Educational Psychology Review 32, 873–883,讀的是作者稿(ERIC ED611830)。評論文章,夾一個題目計數。樣本是同時出現在加州、德州、佛州、北卡四州核定清單上、助理拿得到的六套系列的七年級本(2012 到 2015 年版),合計 13,505 題。編碼:一份只針對前一課的作業的第一題,或與前一題根據同一技能,算區塊;不清楚的算交錯;分不出來的另標模稜兩可。第二評分者編 1,792 題,組內相關 .97。每本平均區塊 1,814 題、交錯 219 題,區塊對交錯超過八比一。我依平均數回推,交錯與模稜兩可各約 9.7%,區塊約 81%。各書交錯比例:Big Ideas Math 9%、Connected Mathematics 31%、Glencoe 7%、Go Math 8%、Holt McDougal 8%、SpringBoard 7%。Saxon Math Course 2:區塊 1,491 題、交錯 3,016 題;它不在作者找得到的核定清單上,原因是作者的猜測。作者列的限制:樣本排除很多課本、沒有納入習作本、不排除老師另外給交錯作業、只看美國與七年級。
Brunmair 與 Richter(2019),Psychological Bulletin,讀的是作者接受稿。多層次統合分析,檢索到 2018 年 6 月;59 篇論文、158 個樣本、238 個效果量、8,466 人;173 個效果量來自大學生樣本。各類教材:畫作 g = 0.67(k = 70)、自然照片 0.35(19)、人造圖片 0.31(63)、說明文 0.21(25,p = .119,95% CI −0.06 到 0.47)、數學作業 0.34(45,p = .005)、字詞 −0.39(13,p = .005)、味道 0.57(3,不顯著)。說明文的 25 個效果量來自 7 篇,其中 15 個來自兩篇(一篇免疫與生殖系統的文字、一篇故障排除模擬);字詞只來自 3 篇。整體 I² = 77.3%。trim-and-fill 校正後整體 g = 0.29。後設迴歸:類別內相似度係數為負、類別間相似度為正,加入教材類型後仍顯著,把 12 個離群值放回後兩者都不顯著。保留間隔、保留或遷移測驗、同時或依序呈現、發表與否都沒有測到調節效果。項目間隔的追加分析(k = 17):立即接續 g = 0.73,有時間間隔 0.22(不顯著),中間插干擾物 0.51。正文與表格有十幾處出入,例如討論說交錯只在立即接續時有效,結果節插干擾物的條件也顯著;文中一律用表格。
Ireland 與 Mouthaan(2020),Research Matters 30, 7–11,Cambridge Assessment。概念性評述,沒有方法節、沒有自己的資料,談的是跨年級的學科課程架構。優點全部轉述 Harden 與 Stamper(1999):強化、由簡入繁、與課程整合、邏輯順序、較高層次的目標。缺點多數轉述 Snider(2004)對美國小學數學課本的評論:理解表面、因為會再回來所以講得淺、已會的人重複而失去動機、難易不同的概念分到一樣的時間、有效學習時間被壓縮、兩次回訪隔太久削弱強化。網狀與格狀等非線性模型同樣沒有成效資料,作者說它們有讓學習者過載的風險。
Maltagliati、Paree、McIntosh、Moynahan、Vanderah(2023),Medical Education Online 28(1), 2167258。單一學校、非隨機的歷史對照。2020、2021、2022 三屆(全班 132、120、125 人),只有 2022 屆接受介入:作者自編 500 題國考式選擇題,沒有考試的週到教室做 1 小時、10 到 20 題、不計分,作答後教師逐題檢討,共 32 場。2020 屆的臨床前課程是 24 個月,後兩屆 18 個月;入學 GPA 與 MCAT 逐屆上升。問卷回收 36%、45%、32%。「螺旋式課程會/有幫助我記住」8.2、8.2、5.0(p < 0.000005);「先前區塊的內容大部分還記得」5.0、4.6、4.2(p = 0.15);USMLE Step 1 全班平均 224、229、227(p = 0.21)。摘要的標準差與表格差 0.1,文中用表格。
Mullaney 與 Reich(2015),L@S '15,185–194。數字讀自作者公開的 HarvardX 工作論文版(2014),刊出版的表格沒有比對。課程、兩次開課的差別與跟上進度的比例,見第 12 篇的附錄。這篇另外用到的:證書率(佔活躍學生)依序釋出那次 0.056、一次全放那次 0.057,沒有檢定;邏輯迴歸裡活動週數是比跟上進度更強的預測變項。作者列的限制:非隨機、單一人文課、沒有學習測驗。
Guo 與 Reinecke(2014),L@S '14。edX 2012 年秋季四門課(MIT 6.00x、Harvard PH207x、Berkeley CS188.1x、MIT 3.091x),全部學生 140,546 人、證書取得者 14,645 人;證書門檻通常約 60%。單元(learning sequence)是一個網頁,一堂講課或一份習題、考試。證書取得者平均造訪的單元比例:3.091x 67%、PH207x 77%、CS188.1x 81%、6.00x 86%。往回跳(跳到較早釋出的單元,除以造訪單元數):證書取得者 1.04(SD 0.62),沒拿證書者 0.3(SD 0.4)。往回跳的種類(四門課平均):評量跳回講課 54%、講課跳回講課 30%。年齡越大涵蓋越多;40 歲以上比 20 歲以下多做 5% 到 12% 的講課跳回講課(四門課裡三門顯著)。研究的結論節把 22% 寫成全部 140,546 人的結果,實際只在證書取得者身上算。
參考資料
每一條都從頭讀到尾並留有抽取紀錄;讀不到的部分寫在括號裡。
- Baroody, Clements & Sarama (2022), Lessons Learned from 10 Experiments That Tested the Efficacy and Assumptions of Hypothetical Learning Trajectories(刊出版,CC BY;表格對過 ERIC 收錄的 PDF)。
- Rivera Garrido, Thorgeirsson, Meier, Pizza, Goswami, Solano, Cotrini & Su (2026), PATHOS: A Pedagogical Method for Sequencing Instruction in Multi-Foundational Machine Learning(讀的是共同第一作者 ETH 個人頁上的 ACM 排版稿;GitHub 補充材料與預註冊文件沒有讀)。
- Dringoli, Kolosova, Rademaker, Wray, Choquette & Hilke (2021), The impact of content sequencing on quantitative problem-solving: A case study in Electromagnetism using an online learning platform(arXiv:1910.00145v2,預印本,沒有同儕審查)。
- Doroudi, Aleven & Brunskill (2019), Where's the Reward? A Review of Reinforcement Learning for Instructional Sequencing(讀的是第一作者 UCI 網頁上的作者稿;參考文獻中段沒有逐條看)。
- Rohrer, Dedrick, Hartwig & Cheung (2020), A Randomized Controlled Trial of Interleaved Mathematics Practice(讀的是 ERIC 收錄的作者稿;OSF 上的材料與預註冊文件沒有讀)。
- Rohrer, Dedrick & Hartwig (2020), The Scarcity of Interleaved Practice in Mathematics Textbooks(Educational Psychology Review 32, 873–883;讀的是 ERIC 收錄的作者稿)。
- Brunmair & Richter (2019), Similarity matters: A meta-analysis of interleaved learning and its moderators(讀的是作者機構網站上的接受稿,沒有和期刊刊出版比對;附錄 A 與電子補充資料不在稿子裡)。
- Ireland & Mouthaan (2020), Perspectives on curriculum design: comparing the spiral and the network models(Research Matters 30,出版者網站上的刊出版)。
- Maltagliati, Paree, McIntosh, Moynahan & Vanderah (2023), Development and evaluation of a pre-clerkship spiral curriculum: data from three medical school classes(刊出版,CC BY;Figure 1 沒有看到圖)。
- Mullaney & Reich (2015), Staggered Versus All-At-Once Content Release in Massive Open Online Courses: Evaluating a Natural Experiment(數字讀自作者公開的 HarvardX 工作論文版,刊出版的表格沒有比對)。
- Guo & Reinecke (2014), Demographic Differences in How Students Navigate Through MOOCs(讀的是第一作者機構網站上的會議論文定稿)。
- 本站文章:讀者程度不同,教學文章怎麼寫、教學文章的例子與開頭怎麼寫、教學文章裡的問題與用語怎麼寫、讀者會不會做文章裡的題目、讀者知不知道自己懂了。
Loading...