Skip to content

教學文章的寫法能不能用實驗驗證：平台 A/B 測試、放大重做、評量表與設計研究法的證據

2026年10月14日1 分鐘
首頁›learning
TL;DRASSISTments 彙整 50 個作業實驗，給提示、拆小題、例題比只給答案好 d = 0.16–0.27，量的是作業當下的表現；在少數課有效的介入放到 247 門 MOOC，主要假說都沒有複製。課程品質評量表多半沒有公開報告信效度；一所大學的實測裡，九個面向沒有一個對通過率有顯著的直接路徑。設計研究法的回顧都在看報告怎麼寫，沒有一篇比較它做出的教材是否較有效。
#learning-science#ab-testing#evaluation#mooc#self-learning#course-guide#blog
系列: 教學文章怎麼寫 (26 / 30)
讀者說寫得好，不代表讀者學到了：自評、喜好、觀看時間、練習分數與代理指標各量到什麼把別人的課重新講一次，值得嗎：研究債的論證、開放教科書、換教科書、極簡手冊與文件四分法

查詞與收藏

正在載入查詞工具…

🌏 English version

這是「教學文章怎麼寫」系列的第 26 篇，屬於最後一部分「怎麼知道有效，怎麼做出來」。前一篇談沒有考試的作者，手上那些訊號（讀者說寫得好、讀了多久）各自量到什麼。這篇往上走一層：如果有考試、有大量學習者、能把人隨機分組，實驗能告訴寫教材的人什麼；做不到實驗的時候，常見的兩種替代做法有多少依據。

起因是本站自己的把關方式。本站寫完一篇課程導讀或研究整理，要過兩道關。第一道是一份寫作規格加上幾支檢查腳本，作用就是一張檢查表：完整的例子要有條件、推理、結果與結果的意思，自我檢查要附答案或判準，查證過程不能寫進正文，等等。第二道是交給沒參與撰寫的審稿者，逐條對照來源與規格。這兩道都檢查文章本身，沒有一道量讀者讀完學到什麼。所以這篇要問三件事：

  1. 有能力做隨機實驗的線上學習平台，實驗做出了什麼？
  2. 評量表（rubric，也就是逐項打分的檢查表）本身有沒有被驗證過？量表分數和學習成果有沒有關係？
  3. 設計研究法（design-based research，簡稱 DBR）是教育研究裡一種「在真實情境裡設計、實施、依結果修改、再實施」的做法，很像本站「寫、審、改規格、再寫」的循環。這個方法實際上被怎麼用？

第 8 篇談過觀察資料能不能證明「做練習有因果效果」，第 19 篇整理過 247 門課那份放大研究對完成率的意義。這篇引用同一批資料時只補它們在「怎麼驗證教材」這件事上的角色。

來源怎麼選、有什麼偏向。來源清單是先掃描文獻、再挑出來精讀的。參考資料共 11 份，每一份都讀完手上取得的那一版並留有抽取紀錄。偏向很明顯。平台實驗的五份裡，三份出自同一個平台 ASSISTments，其中兩份有三位作者重疊；除了 247 門課那份，教材都是數學、物理或心理學；學習者以美國的中小學生與 MOOC 學員為主。評量表的兩份出自同一個研究團隊。設計研究法的三份都是「回顧別人的研究報告怎麼寫」，不是成效研究。沒有任何一份量的是部落格或公開教學文章的讀者。

先看結論

問題證據範圍與保留
平台內給提示、拆小題、例題，比只給答案好嗎ASSISTments 彙整的實驗：五種輔助 d = 0.155 到 0.267；只給本題完整解答的那一種沒有測到差異（85 人）（Prihar 等 2022）量的是作業當下的表現，沒寫完記 0 分；沒有延宕測驗；沒有校正多重比較
提高「連對幾題才算完成」降低的是完成率；只看有完成的人，沒有測到差異（同上）同上
平台內的實驗能不能分辨小差異227 對比較，不調整的 t 檢定有 38 對顯著，控制偽發現率後剩 3 或 2 對（Sales 等 2023）結果只有「作業寫完沒有」；作者說分不出是檢定力不足，還是介入本來就沒效果
一門 MOOC 裡的 A/B 實驗約 11,000 人註冊的 edX 物理課，兩個實驗作者自評沒有可靠結論（Chen 等 2016）看影片的分析樣本每格只有 36 到 113 人
整個平台加教師訓練放進學校43 所學校的七年級，年終標準化測驗 g = 0.18（Roschelle 等 2016）一整包介入，作者說分不出是哪個成分起作用
在少數課有效的介入，放大之後247 門課：先前研究的效果都沒有複製；之後找到的一項約為原來的十分之一，在另一類課裡反向（Kizilcec 等 2020）樣本是填了課程開頭問卷的人
評量表本身測過嗎14 份開放教材量表，8 份沒有公開報告實證測試（Yuan 與 Recker 2015）；10 份線上課程量表沒有一份公開報告信效度（Lee 等 2020）依量表的公開文件判斷，不等於沒測
量表分數和學習成果一所大學 121 門課：九個面向沒有一個對通過率有顯著的直接路徑（Lee 等 2020）相關資料；每門課一位評分者；通過率不是學習測驗
設計研究法2004–2013 的 162 篇有一半只實施一輪（Zheng 2015）；2013–2020 的 163 篇裡 103 篇沒寫方法限制（Tinoca 等 2022）回顧的是研究報告；沒有研究比較用這個方法做出的教材是否較有效

平台內的隨機實驗

ASSISTments 的 50 個作業實驗

ASSISTments 是美國中小學用的線上數學作業平台。它有一個給研究者用的測試系統（E-TRIALS）：研究者改寫既有的作業、加上實驗條件，老師照常派作業，學生以個人為單位被隨機分到不同版本。Ethan Prihar 等六位作者 2022 年的論文把 2019 年 2 月以來的實驗彙整起來，想找出跨實驗的共同趨勢。

先看分母。這段期間平台上部署了 103 個實驗，進入分析的是 50 個，涵蓋 30,408 位學生。納入的條件是「至少有一個條件和別的實驗相似，而且資料夠完整」。被排除的 53 個有兩種：太獨特、找不到別的實驗可以併；或是建置錯誤、影片連結失效，學生根本沒被分派到。原文沒有分別給兩種的數字，所以不能說成「一半的實驗壞掉了」。

做法是把不同實驗裡條件相同的學生資料直接併在一起，再跑迴歸，不是逐實驗算效果再合併的統合分析。結果有幾條比較清楚：

  • 給輔助比只給答案好。作業裡給相似題的完整解法（例題）、逐步提示、把本題拆成幾道小題，或把例題與拆小題錄成影片，五種都比只顯示答案好，d 介於 0.155 和 0.267 之間。唯一沒有測到差異的是「給本題的完整解答」，只有 85 人，信賴區間很寬。
  • 完成門檻的差別幾乎都來自完成率。把「連對 3 題才算完成」降成 2 題，整體的標準化分數較高（d = 0.142）。但只看有寫完的人，不論門檻是幾題都沒有測到差異。作者自己說，差別幾乎都來自門檻高的組有更多人沒寫完。
  • 激勵訊息反向。在作業裡加激勵訊息與影片的組，表現較差（d = −0.072，12,243 人）。作者猜是讀起來分心，但沒有記錄學生對這些訊息的感受。
  • 給選擇沒有測到差異。讓學生自己選題目或版本，9 個實驗、12,789 人，d = 0.014。正文沒有討論這一項。

讀這些數字要先知道它量的是什麼。五種依變項全部是作業當下或作業內的表現：要做幾題才精熟、作業內的後測、學習增益、正確率、完成與否。沒有延宕測驗，也沒有平台以外的測驗。而且沒寫完的學生一律記 0 分，作者的理由是推測他們學得最少，所以文中的「學習」混進了「有沒有寫完」。

作者在限制一節承認，19 個研究問題、併的是設計相似但不相同的實驗，偽陽性的風險提高了；他們的標準是 d 大於 0.1、p 值在千分之一的量級才大概可信。我照這條標準逐項看，站得住的是幾種輔助對只給答案、連對 2 題對 3 或 4 題、影片對文字。結論段卻把三個 d 不到 0.1 的結果（自適應、填答題優於選擇題、激勵訊息反向）也當成發現來寫。

同一個平台的實驗能量得多準

「平台內的 A/B 測試檢定力不足」是下面這篇在摘要裡當成前提的說法，但它沒有用資料檢驗這句話。

Adam Sales 等人 2023 年的預印本是統計方法論文，不是教學成效研究。它用同一個平台 68 個 A/B 測試拆出的 227 對比較（38,035 位學生），測試一種方法。做法是拿沒參加實驗的 19 萬多位學生的歷史紀錄訓練預測模型，把預測值當共變數放進分析，看標準誤能縮小多少。結果變項只有一個：這份作業有沒有寫完。全篇沒有學習測驗，也沒有一處做檢定力計算。

主要結果是這個方法有用，但幅度不大。和不調整的 t 檢定比，標準誤改善的中位數相當於樣本數多了約 20%；和只用實驗內資料的調整法比，約 10%。拆成子群之後，有 11% 到 13% 的情形反而變差；只用預測值調整的方法比 t 檢定變差超過 10% 的，全部發生在不到 80 人的子群。

和這篇的問題比較相關的是一張附帶的表。227 對比較裡，不調整的 t 檢定有 38 對在 .05 水準顯著；控制偽發現率之後只剩 3 對，換成比較彼此相依時也成立的校正法剩 2 對。作者自己提醒，就算全部都沒有效果，這麼多檢定也預期會有約 11 個顯著，而且「Counting significant p-values is a problematic approach」。顯著的少，可能是檢定力不足，也可能是這些介入本來就沒有效果；不知道實際情況，就分不出是哪一種。拆成子群估計時，用 t 檢定並控制偽發現率，一個也不剩。

所以能寫的是：在一個有數萬名學生、能個別隨機分派的平台上，以「作業寫完沒有」為結果，絕大多數比較在校正之後都分辨不出差異。原因是哪一個，這篇沒有回答。

一門 MOOC 裡的兩個實驗

Zhongzhou Chen 等七位作者 2016 年的論文報告 MIT 在 edX 開的一門力學複習課。那一期約 11,000 人註冊，拿到證書的稍多於 500 人；作者說那一期做了七個 A/B 實驗，這篇只報告其中兩個，其餘五個沒有交代結果。

第一個實驗比較三種作業：把解題拆成單項技能來練的「刻意練習」作業（拖放格式或選擇題格式）與傳統的章末題。每個單元的小考，三組沒有測到差異；三個單元合併後，選擇題版的刻意練習比傳統作業低 4.7 個百分點。拖放格式在「一開始答錯的 20% 到 40% 學生」身上，序列內的後續題目比選擇題版答對較多，這是挑過的子樣本。

第二個實驗比較兩種講解影片的拍法。作答的人裡，不到 30% 在最後一次作答前開過影片，所以分析樣本每支影片每種版本只有 36 到 113 人。投入的兩個指標，一個在四支影片間方向不一致，一個只有一支顯著；學習指標（看完影片後同一題最後答對沒有）在四支影片裡有兩支顯著，方向相反。正確率在 66% 到 98% 之間，作者自己說有天花板效應，也沒有測遷移。

作者的總評很直接：

Our first attempts at conducting and analyzing learning from AB experiments in a MOOC environment did not result in eye opening discovery or solid conclusions.

他們列了 MOOC 做實驗的三個難處；我認為這三點對寫教材的人也適用：

  1. 學習者太分散。第一個實驗裡 60% 到 70% 的人本來就會那些技能，作者說任何教法可能都只會對其中一小群有差別。作者建議在實驗裡放前測，挑出可能有反應的人。
  2. 評量等於開書考。學生可以從課程其他地方、別的網站或書上學會，甚至先考再做處理，作者幾乎控制不了作答的時間與順序。
  3. 資料太多、太雜。同一題的表現可以用第一次正確率、最後一次正確率、作答次數、花的時間來量，選哪一個「more on intuition plus trial and error」，沒有研究依據。

另外一點是作者自己寫的：兩個實驗裡的顯著結果，都來自挑過的子樣本，比註冊人數讓人預期的小得多。

整個平台放進學校

上面三份都是平台裡改一個功能。Jeremy Roschelle 等人 2016 年在 AERA Open 的研究換了一個層級：以學校為單位隨機分派，問「用 ASSISTments 派數學作業的學校，學生是否學得比較多」。

地點是美國緬因州，該州給每位中學生一台可以帶回家的筆電。43 所學校、2,850 位七年級學生。實驗組拿到的是一整包：平台本身、暑假由大學生把各校教科書的作業題全部鍵入、對照組沒有的技能練習題組、教師研習（暑假 3 天、學年中約 6 小時到班教練、隔年暑假再 2 天），而且老師先用一年，第二年的新一屆學生才是分析對象。對照組照舊派作業。結果測驗是年終的全國常模標準化測驗，由出版商在不知道組別的情況下計分。

實驗組調整後高 8.84 分，Hedges's g = 0.18。六年級成績在中位數以下的學生效果較大（g = 0.29 對 0.12；這兩個數字是 2017 年更正啟事改過的，原刊表格把兩格都印錯了）。學生實際用平台的時間比作者預期的少。

這是本篇唯一一份用平台以外的年終測驗、在真實學校裡隨機分派的研究，也是證據最強的一份。代價是它回答不了「哪一個部分有效」：作者在限制裡寫明，他們無法指認介入裡的哪個機制和效果最相關。所以 0.18 不能當成「平台本身的效果」，更不能和 Prihar 那種平台內單一功能的 d 相加或相比。標題只寫「線上數學作業提高學生成就」，沒有提教師訓練與暖身年。

在少數課有效的，放大到 247 門課

René Kizilcec、Justin Reich、Michael Yeomans 等九位作者 2020 年在 PNAS 的研究，把四種輕量的寫作活動（寫學習計畫、寫這門課和自己在乎的價值有什麼關係、心智對比加「如果…我就…」計畫、寫下誰可以盯你）放到 Harvard、MIT、Stanford 從 2016 年 9 月到 2019 年 5 月開的 247 門課，焦點樣本 269,169 人，分四波、每波事先登錄分析計畫。前三種先前在少數幾門 MOOC 有效，原始研究都是這批作者自己做的；最後一種是第一次在線上課測。

結果的細節在第 19 篇。對「怎麼驗證教材」這件事，有三點要記：

  • 先前的效果都沒有複製。計畫與心智對比的先前研究在對應子群提高完成率約 2 到 4 個百分點，價值關聯在兩門課裡效果更大；放大後，這些主要假說都沒有測到差異，第一次測的社會問責也沒有。計畫類介入提高了第一、二週的活動量，但最後的完成率沒有測到差異。
  • 唯一複製的一項小很多，而且看課程。價值關聯寫作在「控制組裡低度發展國家學生完成率明顯較低」的課，讓這群學生高約 2.8 個百分點，兩年都複製；在沒有這種落差的課，同一群學生反而低約 1.6 到 1.7 個百分點。哪門課有落差，事先用課程特徵預測，準確率 54.3%，和隨機猜的 50% 差不多。
  • 「小一個數量級」只對一項成立。摘要說放大會讓平均效果小一個數量級。正文裡這句只對應價值關聯：先前 24 個百分點（64 人的研究）對現在 2.79。其他介入的先前研究樣本並不小（2,053 到 4,628 人），放大後是沒有測到差異，不是剩十分之一。

作者收回了先前的建議。他們在原始研究裡建議政策制定者與線上課程的講師在自己的 MOOC 採用這些介入，現在的結論是：

we now conclude that further research is necessary to predict in advance when these interventions will help populations of students in need.

這個結果的分母是走到課程開頭問卷後段、被隨機分派的人，約佔註冊者的 8.8%（我從補充資料的人數算的），七成以上有學士學位。作者自己說不宜推到較不投入的學生或其他教育情境。

沒有隨機分派的時候

平台不做實驗，最常見的做法是分析既有的使用紀錄。Kenneth Koedinger 等人 2015 年的研究分析一門心理學 MOOC：多做一個標準差的互動練習，每週小考總分高 0.44 個標準差，是多看影片或多讀頁面的六倍多。作者用因果模型搜尋演算法支持這是因果關係，同時承認自然使用的資料、加上很高的流失率，讓因果推論多了不確定性，能提供的是「initial, if not confirming, evidence」。小考題目和練習出自同一個題庫；在授課教師自己出的期末考上，只多做練習的人表現優異的比例（16%）和只多看影片的人（15%）差不多。

這類分析的好處是不必另外設計實驗，壞處是分不開「練習有效」和「認真的人什麼都做得多」。第 8 篇整理了同一批作者後來怎麼處理這個問題，第 9 篇用過這篇的數字。

合起來看

把上面幾份放在一起看：

  • 能隨機分組、量的又是作業當下的表現時，最清楚的是「給輔助比只給答案好」，d 約 0.16 到 0.27。這是數學作業裡的即時輔助，和「一篇文章怎麼寫」隔了一段距離。
  • 結果量什麼，幾乎決定了結論。完成門檻的「效果」其實是完成率的效果；Sales 的 227 對比較只有「寫完沒有」；Chen 的學習指標有天花板。只有 Roschelle 用了平台外的年終測驗，而那是一整包介入。
  • 很多比較分辨不出差異，就算平台有數萬名學生。Sales 的表、Chen 的分析樣本都是這樣。放大重做時，先前的效果多半沒有複製。

評量表：量表自己測過嗎

做不了實驗的人，最常用的替代是一張評量表：逐項列出「好的教材應該有什麼」，請人打分或打勾。本站的寫作規格就是這一類。問題是這種表本身有沒有被檢驗過，量表分數高的教材有沒有讓人學得比較好。

量表怎麼來的、有沒有測過

Min Yuan 與 Mimi Recker 2015 年的回顧找了評開放教育資源（OER）品質的量表，檢索到 2014 年 4 月，納入 14 份。他們看的是每份量表的公開文件有沒有交代某些東西：

項目14 份裡有幾份
沒有公開報告實證測試的結果8
沒有詳細的評分指引11
沒有修訂過11
沒有指定評分量尺5
給機器自動評估用，不是給人用2

這張表容易被讀成「多數量表沒有實證」。它的判準是文件有沒有報告，不是有沒有測過，也不區分測的是信度、效度還是可用性、測得好不好。比「沒有報告測試」更站得住的兩個數字是：14 份裡 11 份沒有詳細評分指引、11 份沒有修訂過。這篇也沒有限制一節，自稱系統性回顧，但沒有交代 200 多篇怎麼篩到 14 份、幾個人編碼。

Ji Eun Lee、Mimi Recker 與 Min Yuan 2020 年的研究先回顧了 10 份評大專線上課程品質的量表，結論更強：「none of the reviewed rubrics publicly reported the results of reliability or construct validity tests」。只有兩份提到做過實證測試（試用、評分者一致性），細節都沒有報告。多數量表是改自別的量表，不是從線上學習的理論或模型推出來的。

一份量表的實測

同一篇論文接著實測了一份量表。美國一所中型公立大學的教學支援單位，把 Quality Matters（QM，上面 10 份之一，42 題加權）改編成 51 題、每題「有／沒有」二分計分的量表。教學設計師從 2012 到 2016 年開的線上課裡抽 202 門，在學期初評分，每門課只有一位評分者。

第一個結果是量表本身有問題。逐步刪題、看因素結構之後，51 題裡刪掉 12 題（作者說「almost one-fourth」）。先被刪的 8 題有 4 題是無障礙（影音有字幕、圖片有替代文字之類），4 題是科技與資源取用；作者把問題歸到用詞不精確，例如「不合理的軟體要求」「足夠的說明」沒有定義。留下的 39 題裡還有一題（「如果有課程費用，有說明」）被作者認為和同一因素的其他題量的不是同一件事。

第二個結果是量表分數和成果的關係。有使用紀錄與成績的 121 門課、5,240 名學生裡：

  • 九個面向裡只有「學習者投入與互動」一個，和學習平台上的互動量（學生看教材、學生之間發文、教師發文）有關，其餘八個面向和四種互動都沒有顯著關係。
  • 和課程通過率相連的只有「學生與內容的互動」（β = .358）。
  • 九個面向沒有一個對通過率有顯著的直接路徑。面向到通過率的直接路徑只留下「課程帶領→通過率」這一條，而且不顯著。
  • 整個模型解釋通過率變異的 16.3%。

這組結果要帶著四個條件讀。它是相關資料，作者卻全篇用「causal relationships」稱呼路徑分析。最終模型是先跑完整模型、再把不顯著的路徑刪掉重跑得到的。通過率含 D、平均 0.90，量表各面向的平均分數也在 0.76 到 0.95 之間，兩邊都貼近上限。通過率不是另外量的學習測驗。

所以這篇能說的是：一份改自 QM 的量表，在一所大學裡近四分之一題目有問題，而且面向分數對通過率沒有測到顯著的直接路徑。它不能說量表分數和「學習」無關，因為沒有量學習。

還有一篇相關的研究，Shanna Jaggars 與 Di Xu 2016 年在 Computers & Education 的論文，檢驗線上課程設計的幾個面向和學生成績的關係。這篇研究存在，我沒讀到合法公開的全文，不引它的結果。

設計研究法：反覆修改能不能取代實驗

這個方法在做什麼

設計研究法的出發點是：教室裡的介入很難像實驗室那樣控制，與其做一次對照實驗，不如在真實情境裡把一個設計做出來、實施、看結果、修改、再實施，一邊改進設計，一邊整理出可以用在別處的設計原則。這和本站「寫一篇、審稿、把審稿抓到的問題寫回規格、再寫下一篇」的循環很像，所以值得看它實際上被怎麼用。

先講清楚這一節能回答什麼。我讀到的三篇都是回顧：看已發表的設計研究報告寫了什麼、沒寫什麼。沒有一篇比較用設計研究法做出來的教材，和用其他方法做出來的教材，哪個讓人學得較好。在我讀的來源裡，這個問題目前沒有研究直接測過。

2004 到 2013 年的 162 篇

Lanqin Zheng 2015 年的回顧看 219 本 SSCI 教育期刊在 2004 到 2013 年刊出的設計研究，篩出 162 篇，三位評分者各自編碼，一致率在 0.9 以上。

  • 一半只實施一輪：162 篇裡 81 篇。
  • 四分之一（42 篇）完全沒有修改介入；98 篇交代了怎麼修改，64 篇沒有交代。
  • 研究方法 72.84% 是純質性，沒有一篇是純量化。資料來源裡，測驗與作品這類成果資料只佔約兩成。
  • 約七成的研究在一年以內做完設計與測試。

兩個但書。納入標準把討論設計研究的概念性論文也收了進來，而迭代次數的六類加起來正好是 162，概念性論文怎麼編碼，原文沒有交代。另外，「一輪」是單篇論文報告的實施次數，一個多年期計畫可能一輪寫一篇。

2013 到 2020 年的 163 篇

Luís Tinoca 等五位作者 2022 年的回顧接續 Zheng，依 PRISMA 流程看 2013 到 2020 年 Scopus 與 Web of Science 收錄、中小學與師資培育情境的設計研究，只收開放取用的英文論文，得到 163 篇。

  • 163 篇裡 103 篇沒有寫研究方法上的限制；148 篇沒有對設計研究法的使用提任何建議。
  • 40%（65 篇）沒有交代做了幾輪迭代。有交代的 98 篇裡，沒有一篇是只做一輪。
  • 只有 25%（40 篇）報告了各輪怎麼修改；61 篇沒有說明，50 篇說有修改但沒寫細節。
  • 32%（52 篇）沒有交代每輪多長。
  • 依各研究自己報告的主要結果分類，最大的一類是「有改善學習的潛力」（73 篇），報告學習成果實際提高的是 24 篇。

作者把報告不完整的一個原因歸到期刊字數限制，後果是別人難以重做或改用這些介入。

一本期刊的 27 篇

Alexa Brase 2024 年的論文換一個角度：設計研究的作者拿什麼當論據，替自己的成果辯護。Brase 只看一本專門刊設計研究的期刊（EDeR，也就是刊登這篇的期刊）在 2017 到 2022 年的 57 篇，留下 27 篇研究文章，一個人編碼。Brase 明說這不是系統性回顧，而且有歐洲與德國的偏向。

  • 27 篇的章節結構沒有共同的樣子：3 篇是個案式標題，6 篇看起來是通則式但彼此不同，18 篇混合。
  • 作者歸納出八種關鍵論證，例如「在不同情境都站得住所以穩健」「實務夥伴參與所以可行」「經過迭代精修」「多種資料三角檢證」。最常見的四種，各只有 3 到 6 篇點名。
  • 多數作者只概述方法選擇，而且不詳細。
  • 作者轉述的一個案例很有參考價值：Brahm（2017）做了有控制組的前後測與遷移測量，結果好壞參半，但這些結果在後續修改介入時「did not seem to have played a major role」。量了，卻沒有回饋到設計。

作者提醒讀這類回顧的人：

Outcomes described in a single article must therefore not be confused with outcomes of a DBR project.

這句話也限制了 Zheng 與 Tinoca 那種「數每篇論文做了幾輪」的回顧能說到哪裡。

另一篇相關的評估是 Terry Anderson 與 Julie Shattuck 2012 年在 Educational Researcher 的文章，檢視設計研究法十年來的成果。這篇研究存在，我沒讀到合法公開的全文，不引它的內容。

對寫教材的人能借什麼

設計研究法的回顧顯示的，是一個「反覆修改」的方法在實際報告裡常常缺什麼：修改了什麼、為什麼改、方法有什麼限制。它沒有顯示反覆修改做出的東西比較有效，也沒有顯示比較無效。把它當成實驗的替代，目前沒有證據支持或反對。

來源說法不同的地方

來源之間

設計研究報告有沒有交代修改。Zheng（2004–2013）的表上 60% 有交代怎麼修改；Tinoca 等（2013–2020）只有 25% 報告了各輪修改。兩篇的編碼類別、母群（含不含高等教育、是否只收開放取用）、檢索詞都不同，不能讀成「十年間從六成掉到兩成五」。迭代次數也一樣：Zheng 一輪佔 50%，Tinoca 一輪是 0 篇、未交代 40%。Tinoca 等的結論段寫的是「It is also common to find studies reporting only one of the intervention cycles」，指只報告計畫裡的其中一輪；這類論文在表上算進「未交代」還是另有歸類，表上看不出來。

平台內的輔助有沒有用。Prihar 等的彙整裡，給提示、拆小題、例題都比只給答案好；Chen 等的 MOOC 裡，刻意練習作業沒有比傳統作業好，選擇題版還略差。兩邊比的介入、學習者（中小學生對已有力學基礎的成人）、結果（作業內表現對開書小考）都不同，並排是為了說明「平台內實驗有沒有效果」沒有單一答案，不是兩份互相否定。

先前的研究對放大的研究。Kizilcec 等的主要假說裡，有先前研究的三個，先前在對應子群都是正向且顯著；放大後都沒有測到差異。兩邊的作者重疊，介入說明文字、排除準則、子群定義在各波之間也有調整。

同一篇的摘要與正文

11 份來源裡，有 7 份的摘要或標題說得比正文強。最會改變結論的三處是：Kizilcec 等的「小一個數量級」正文只對價值關聯一項成立；Prihar 等的完成門檻動到的是完成率，寫完的人之間沒有測到差異；Zheng 的摘要說修改方式沒有詳細交代，表上卻是六成有交代。逐篇對照放在附錄。

對照本站的做法

以下依 2026-10-14 工作目錄裡的版本。本站的寫作規格與審稿流程是「檢查表」與「反覆修改」的實例。這一節和下一節是我拿上面的研究對照本站、再推到單篇教學文章的判斷；審稿實際擋下了哪些錯，系列最後一篇會整理。

本站現在怎麼做研究怎麼說判定
課程導讀規格（course-guide-contract.md）與寫作指南當檢查表用；規格文末列了七條設計依據，三條寫明依據是什麼樣的研究Lee 等回顧的 10 份量表多半改自別的量表；Yuan 與 Recker 的 14 份有 8 份沒有公開報告實證測試本站的規格同樣沒有拿讀者的學習測過
規格不少條文附「本站踩過」與日期，寫明是哪一次失誤讓這條加進來；課程導讀規格從 2026-10-11 建立到 10-14，git 紀錄裡有 12 筆提交動到它Yuan 與 Recker：14 份裡 11 份沒有修訂過；Tinoca 等：只有四分之一的設計研究報告了各輪怎麼修改修改有紀錄；但每一輪依據的是審稿者與站主抓到的問題，不是讀者的學習成果
每篇交給一位沒參與撰寫的審稿者，報告分「必須修」「建議修」，記錄審前審後的檔案雜湊值Lee 等的量表每門課只有一位評分者，作者列為限制：算不出評分者間信度；Yuan 與 Recker 轉引別人的研究說評分指引能提高評分信度規格沒有要求兩位審稿者審同一篇、比對判定
檢查腳本擋用語、查證過程、版面順序；規格明寫版面檢查只驗區塊順序、不能判定教學品質，「不能宣稱 lint 能自動判斷學會與否」Yuan 與 Recker 的 14 份裡有 2 份是給機器自動評估用的一致：機器檢查只當格式門檻
正式站至少載入了 Cloudflare Web Analytics，是匯總的流量數字（見第 19 篇）；網站的程式裡沒有把讀者分到不同版本的機制Chen 等：約 11,000 人註冊的課，看影片的分析樣本每格 36–113 人；Sales 等：數萬名學生、以「寫完沒有」為結果，校正後幾乎都分辨不出差異本站做不了這類實驗。最缺的不是人數，是結果量數：讀者不考試

規格裡有一條和評量表研究的建議同方向：改規格或檢查器之後，要重跑一組代表任務，「保留好壞樣本對照，由獨立審稿者指出正文證據」。這是檢查一條規則分不分得出好壞文章，屬於量表的效度檢查，不是學習成效的檢查。

可以做的事

每一條都寫了依據；依據全部來自平台、課程與研究報告，不是單篇教學文章。

  1. 引用一個平台實驗前，先寫下三件事：誰、量了什麼、什麼時候量。依據：Prihar 的結果全部是作業當下的表現，沒寫完記 0 分；Sales 只有完成與否；Roschelle 用年終測驗但是一整包介入。做法：在筆記裡把「影片比文字好 d = 0.123」寫成「中小學數學作業，作業裡的輔助做成影片比做成文字，作業內表現 d = 0.123，沒有延宕測驗」，再決定能不能拿來支持你的寫法。
  2. 引用前，在表裡找到摘要那個數字。依據：七份來源的摘要或標題比正文強（對照表在附錄）。做法：摘要寫「顯著改善」「多數」「小一個數量級」時，翻到結果表，找出那個數字對應的是哪一組、哪一個結果、樣本多少。
  3. 把檢查表的每一條寫成可以判定的句子，並附它從哪裡來。依據：Lee 的量表被刪的題目集中在「不合理」「足夠」這類沒有定義的用詞；Yuan 與 Recker 的 14 份裡 11 份沒有詳細評分指引。做法：「例子要完整」改成「例子要有條件、推理或計算、結果、結果的意思，缺一就退回」，並在旁邊註明這條是哪一次失誤加進來的、有沒有研究依據。
  4. 不要把「通過檢查表」說成「教得好」。依據：Lee 的九個面向沒有一個對通過率有顯著的直接路徑；設計研究法的回顧沒有一篇比較成效。做法：審稿報告的結論寫「符合規格的 A、B、C 條」，不寫「教學品質合格」。本站規格已經規定檢查腳本綠燈不能替代教學驗收；規格把獨立審稿報告當成驗收的條件（沒有報告只能算「待驗收」），而審稿同樣沒有量讀者學到什麼。
  5. 反覆修改時，每一輪記下改了什麼、為什麼改。依據：Zheng 的 162 篇約四成沒交代修改，Tinoca 的 163 篇只有四分之一報告各輪修改；Brase 的案例是量了結果卻沒用來修改。做法：每次改寫作規則，在條文旁寫日期、哪一篇出了什麼問題、改了哪一句。
  6. 偶爾讓兩位審稿者審同一篇，比對判定。依據：Lee 列為限制的正是單一評分者；Yuan 與 Recker 轉引的研究說評分指引能提高信度。做法：每十篇挑一篇給兩位審稿者，數「必須修」裡兩人都列的有幾條、只有一人列的有幾條。沒有研究直接測過它對教學文章有沒有用。

今晚可以做的三件事

  1. 打開你最常引用的一篇教育研究，找到它的結果表，寫下你引用的那個數字對應的樣本、結果變項與量測時間。和你文章裡的寫法對一遍。
  2. 拿你自己的寫作檢查表，挑出三條含「適當」「足夠」「清楚」這類詞的，各改寫成一句兩個人讀了會做出同樣判定的句子。
  3. 在檢查表每一條旁邊標一個字：「研」（有研究依據，寫出是哪一篇）、「錯」（是某次失誤後加的）、「好」（個人偏好）。標完數一數三種各有幾條。

這些證據的限制

  • 沒有任何一份量的是公開教學文章的讀者。平台實驗是中小學數學作業與 MOOC，評量表是大專線上課程與開放教材，設計研究法的回顧是學校與師資培育。
  • 平台實驗集中在一個平台。五份裡三份出自 ASSISTments，Prihar 與 Sales 兩篇有三位作者重疊；Roschelle 那份的作者群不同。
  • 結果量數很窄。Prihar 全部是作業內表現、沒寫完記 0；Sales 只有作業寫完沒有；Chen 的學習指標有天花板、沒有測遷移；Kizilcec 的主要結果是完成率；Lee 的是通過率。只有 Roschelle 用了平台外的年終測驗。
  • 多重比較普遍沒有校正。Prihar 有 19 個研究問題、Chen 多支影片多個指標、Kizilcec 多個子群，都沒有提到校正。Sales 是唯一示範校正的一份，校正後顯著的所剩無幾。
  • 挑過的子樣本與事後子群。Chen 的顯著結果來自挑過的子樣本；Prihar「只看寫完的人」是隨機分派之後才形成的子群（門檻不同，寫完的人數就不同，兩群已經不是隨機比較），Kizilcec「有落差的課」在第一年是事後才定義的，後者作者自己提醒了。
  • 只報告部分實驗。Chen 那一期做了七個實驗，只報告兩個；Prihar 的 103 個部署只分析了 50 個。
  • 評量表的證據來自同一個團隊。Yuan 與 Recker、Lee 等兩篇的作者重疊；Yuan 與 Recker 檢索到 2014 年 4 月為止。
  • 設計研究法的三份都是回顧研究報告，而 Brase 自己提醒單篇報告不等於整個計畫。Zheng 正文報的幾個卡方值和它標的顯著性對不起來，我依表上的次數重算了其中六項，只有遠距教學場域的增加在 .05 水準顯著；「交代修改方式的比例顯著下降」照我的算法 p 約 .09。原文沒有寫用的是哪一種檢定。
  • 我自己算的數字：Kizilcec 的 8.8%；Zheng 的重算卡方；Prihar 各研究問題的實驗數與學生數加總；Yuan 與 Recker 的指標數統計量是用 17 筆算的，不是 14 份（附錄）。
  • 我的推論：把這些結論搬到網頁長文；「合起來看」三點；設計研究法不能說比較有效也不能說比較無效；本站最缺的是結果量數；「可以做的事」六條與「今晚可以做的三件事」。
  • 只知道存在、沒讀到合法公開全文的：Jaggars 與 Xu（2016）的線上課程設計面向與成績研究、Anderson 與 Shattuck（2012）的設計研究法十年評估。兩篇都沒有引用內容，也沒有列進參考資料。
  • 轉引：Chen 等引的「多數線上 A/B 測試沒有效果」（Kohavi 與 Longbotham 2015）、Yuan 與 Recker 引的評分指引與信度研究、Brase 轉述的 Brahm（2017）案例，原研究我沒有讀。

附錄：各研究的設計與數字

Prihar、Syed、Ostrow、Shaw、Sales、Heffernan（2022），EDM 2022 論文集，pp. 27–38。ASSISTments 的 E-TRIALS，學生個別隨機分派；K-12 數學的 skill builder 作業（同一技能連續出題，預設連對 3 題算完成）。2019 年 2 月起部署 103 個實驗，納入 50 個；30,408 位學生、50,752 筆參加紀錄。我把 19 個研究問題的實驗數與學生數各自加總，得到 87 與 61,640，表示同一實驗與學生會進到多個問題。依變項分布：做到精熟的題數 44%、作業內後測 44%、學習增益 7%、作業正確率 3%、完成率 1%。統計：Cohen's d 加 OLS（實驗固定效果與學生、班級、老師、學區特徵）。完成門檻（整體 d／只看寫完者 d）：連對 2 對 3 是 0.142（p = .004）／0.036（p = .745）；2 對 4 是 0.139（.007）／0.006；2 對 5 是 0.18（.015）／0.055；3 對 4、3 對 5、4 對 5 整體都不顯著。輔助對只給答案：影片拆小題 0.267（1,033 人）、影片例題 0.237（366 人，p = .029）、拆小題 0.176（2,010 人）、提示 0.155（1,192 人，p = .003）、例題 0.237（765 人）、本題完整解答 −0.061（85 人，p = .576）。依先前答對率分高低兩組，四種輔助裡三種在低程度組點估計較大，但原文沒有做交互作用檢定，兩組信賴區間大幅重疊。其他：影片對文字 0.123（2,492 人，p = .002）；激勵訊息 −0.072（12,243 人，p < .001）；自適應 0.054（7,754 人，p = .015）；常見錯誤答案回饋 −0.041（7,046 人，p = .055，正文沒有討論）；情緒訊息 −0.013（p = .807）；給選擇 0.014（12,789 人，p = .472）；填答對選擇題 0.085（4,057 人，p = .009）。影片對文字依輔助拆開，三種的 d 是 0.125、0.121、0.125，只有拆小題顯著（p = .017）；作者據此說各種輔助做成影片受益不同，但三個點估計幾乎一樣，差在樣本數。信賴區間端點只畫在圖上。

Sales、Prihar、Gagnon-Bartsch、Heffernan（2023），arXiv:2306.06273v1，預印本。84 個 A/B 測試拆成 383 對兩兩比較，剔除變異數為零、分派機率看來不是 1/2、任一條件少於 56 人的，剩 68 個測試的 227 對、38,035 位學生；最小的一對 16 人。沒參加實驗的 193,218 位學生的紀錄訓練四個神經網路，合併模型預測「作業寫完沒有」的 AUC 0.770、R² 0.184。227 對的顯著個數（未校正／Benjamini-Hochberg／Benjamini-Yekutieli）：t 檢定 38／3／2；只用實驗內資料的調整 39／11／2；只用預測值調整 41／8／2；預測值加共變數 41／10／2。子群 4,318 個估計：t 檢定 375／0／0；預測值加共變數 421／25／8。子群分析中，只用預測值調整比 t 檢定差的約 11%，預測值加共變數比只用實驗內資料的調整差的約 13%；只用預測值調整比 t 檢定差超過 10% 的，全部在不到 80 人的子群。另用名字猜性別（作者說這個方法「faulty and inexact」）測試歷史資料和實驗樣本母群不同時是否仍有用：多數情形仍改善。

Chen、Chudzicki、Palumbo、Alexandron、Choi、Zhou、Pritchard（2016），Research and Practice in Technology Enhanced Learning 11:9。edX 8.MReVx 力學複習課 2014 年那一期。實驗一：最後三個單元，三組輪流拿到拖放版刻意練習、選擇題版刻意練習、傳統章末題，之後同一份小考；分析只看完成至少 70% 作業與小考的人（各單元 205 到 280 人）。各單元小考三組 ANOVA p = .23、.52、.22；合併後選擇題版比傳統題低 4.70 個百分點（p = .026），拖放對選擇題 p = .27。序列內後續題目，限一開始答錯的子樣本，第一次作答五個序列有兩個顯著（+0.73，p = .007；+0.75，p = .02）。實驗二：單元 8、9 各兩支影片，A、B 兩組交叉看新舊拍法。最後作答正確率：影片 1 新 74% 對舊 66%（p = .61）；影片 2 新 93% 對 83%（p = .04）；影片 3 新 82% 對 84%（p = .8）；影片 4 新 84% 對 98%（p = .02）。平均觀看時間佔片長：影片 1、2 舊版較長（p = .02、.05），影片 3 新版較長（p = .006）。有長觀看的比例只有影片 3 顯著（45% 對 27%，p = .02）。兩種影片拍攝年份不同、片長不同、講者只有一位。

Roschelle、Feng、Murphy、Mason（2016），AERA Open 2(4)；更正啟事 AERA Open 3(2)，2017。學校層級叢集隨機、延後處理設計，配對後分派。招募 46 所，分析 43 所；學生層級流失 10.1%，差別流失 5.6%（對照組流失較多，178 對 129）；分析樣本實驗組 1,621、對照組 1,229。白人 92.6%，免費或減價午餐 38.7%。兩層 HLM，共變數為先前數學與閱讀、午餐資格、特教身分、學校先前平均與配對指標。主要效果 8.84 分（t(20) = 2.992，p = .007），g = 0.18；去掉 122 位轉入者後 8.57 分，g = 0.17。學生平均一學年用了 14 小時、967 題，作者原本預期 18 到 24 小時。先備成績與處理的交互作用 p = .015；中位數以下組：對照 650.94、實驗 665.29，差 14.35，g = 0.29；以上組 711.95 對 717.80，差 5.84，g = 0.12（更正後；原刊表格兩格都印 50.10，正文另一處把 14.35 寫成 13.35）。作者對 0.18 的另一個說法：讓位在第 50 百分位的學生升到第 58 百分位。限制：人人有筆電的州、較鄉村且同質、老師用過一年才量、分不出機制、實驗組多了對照組沒有的練習題組。

Kizilcec、Reich、Yeomans、Dann、Brunskill、Lopez、Turkay、Williams、Tingley（2020），PNAS 117(26)。四波、各自事先登錄；意向處理分析，不論學生有沒有真的寫。247 門課總註冊 3,546,206，走到隨機分派 312,221，焦點樣本 269,169。第一年看到計畫介入的人有 14% 一個字都沒寫。長期計畫（有決心且英語流利）：先前 +3.9 個百分點（2,053 人）；本研究第一年 +0.19（95% CI −0.69 到 1.07）、第二年 −0.23。MCII（個人主義國家）：先前 +1.8 與 +3.9（4,628 人與 3,248 人）；本研究 +0.25。社會問責 +0.89（p = .115）。價值關聯（較低度發展國家，所有課）：+0.14 與 −0.04。有全球落差的課裡較低度發展國家的學生：第一年 +2.79（p < .001，5,974 人）、第二年 +2.74（p = .026）；沒有落差的課：−1.62（p = .004）與 −1.71（p = .031）。「落差」在第一年是事後才定義的。預測一門課有沒有落差的模型準確率 54.3%（95% CI 44.1 到 64.4），隨機 50.0%；79 門重開的課，落差有無和前一次一致的只有 60.8%。個人化分派政策的估計完成率 13.38%，無介入 12.81%，差異不顯著。焦點樣本有學士學位 71.6% 到 77.7%，平均年齡 32 到 35 歲。

Koedinger、Kim、Jia、McLaughlin、Bier（2015），Learning at Scale 2015。Georgia Tech 在 Coursera 開的心理學 MOOC，嵌入 CMU 的互動教材；27,720 人註冊，1,154 人考期末。因果模型（Tetrad）裡，互動練習對每週小考總分的標準化係數 0.44，看影片與讀頁面各約 0.065，小考到期末 0.65，前測到小考 0.25；模型適配卡方 df = 7，p = 0.39。期末考優異的比例：只多做練習 16%、只多看影片 15%、兩者都多 31%。其餘數字見第 9 篇的附錄。

Yuan 與 Recker（2015），IRRODL 16(5)。檢索 ERIC 等四個資料庫，到 2014 年 4 月，得到 200 多篇；納入標準是評品質、評的是開放教材本身、有具體量表、有說明、2000 年之後發表（原文說四條，列了五條）。14 份量表：同時有面向與指標 5 份；評分量尺二分 2 份、四點 2 份、五點 5 份、沒指定 5 份；有詳細評分指引 3 份；報告實證測試結果 6 份；修訂過數次 3 份；通用 7 份、限定某網站 5 份、限定某學科 2 份；適合自動評估 2 份。每份的指標數平均 15.53、中位數 15（我依附錄重算，這組統計量是把其中一份的四個版本當四筆、共 17 筆算的）。

Lee、Recker、Yuan（2020），Online Learning 24(1)。文獻回顧：31 份量表依三條標準留 10 份；QM 42 題加權，近 30% 權重在學習目標與評量、11% 在互動與合作。實測：AS 量表 51 題二分計分，202 門課（大學部 173、研究所 29），每門一位評分者；初始 KR-20 = .82，刪 8 題後 43 題 KR-20 = .87；探索性因素分析九因素解釋 73% 變異，再刪 4 題，留 39 題。路徑分析 121 門課：初始模型 CFI = .37；刪去不顯著路徑後 χ²(6) = 14.26，p < .05，CFI = .91，RMSEA = .11。「學習者投入與互動」→學生與內容互動 β = .286、學生之間 .333、學生與教師 .365；學生與內容互動→通過率 .358；課程帶領→通過率 .155（不顯著）。間接效果沒有做檢定。通過率平均 0.90（SD 0.12），5,240 人裡 169 人退選。限制：單一學校、單一評分者、二分計分、跨學門。

Zheng（2015），Journal of Computers in Education 2(4)。219 本 SSCI 期刊，檢索得 479 篇，依六條標準篩出 162 篇（2004–2008 年 45 篇，2009–2013 年 117 篇）；附錄清單有兩筆題名重複。迭代次數：一次 81、兩次 52、三次 21、四次 4、五次 2、五次以上 2。有修改 120（74.07%）、沒修改 42；有交代怎麼修改 98（60.49%）、沒交代 64。迭代時間：一個月 31、六個月 38、一年 42、兩年 25、三年 12、三年以上 7、未說明 7。介入類型：科技介入 86（53.09%）。研究方法：質性 118、質性與量化並用 44、量化 0。資料來源（一篇可多種，共 392 筆）：過程資料 54、成果資料 82、問卷訪談筆記 254。量的成果：認知 78、態度 7、動作技能 7、多種 46、其他 24。原文報的卡方值多數小於自由度 1 的 .05 臨界值卻標顯著；我依表上次數做 2×2 卡方（不加校正）：交代修改方式 71.11% 對 56.41%，χ² = 2.94，p = .086；遠距場域 χ² = 4.43，p = .035。編碼依據是全文還是摘要，原文沒有明說。網頁版讀的，表格是出版者的表格頁，沒有對 PDF 版面。

Tinoca、Piedade、Santos、Pedro、Gomes（2022），Education Sciences 12(6):410。Scopus 396 筆加 Web of Science 260 筆，去重後 442，依題名、摘要與關鍵詞篩到 163 篇；五位編碼者，一致率 85% 以上。迭代次數：未交代 65、兩次 32、三次 28、四次 12、五次 3、五次以上 23。修改：有報告 40、說有修改沒細節 50（正文寫 51）、另一類 12、未說明 61。迭代時間：未交代 52、六個月以內 44、六個月到一年 28、一到兩年 21、兩到三年 13、三年以上 5。研究方法：質性 80、質性與量化並用 75、量化 8。資料來源（每篇只編一類）：問卷訪談等 130、過程資料 18、成果資料 12。有寫方法限制的 60 篇裡，30 篇寫的是情境特定。163 篇清單沒有附在論文裡；結論段有一處把篇數寫成 162。

Brase（2024），EDeR – Educational Design Research 8(1)，Article 62。單一期刊 2017–2022 年 57 篇，排除社論、實務示例、書評、回應文與不對應單一案例的理論文共 30 篇，留 27 篇，作者一人以 MAXQDA 編碼。27 篇裡 1 篇沒有報告介入；設計原則出現在過半數文章；八種關鍵論證點名的篇數：跨情境穩健 6、協作與對話 5、迭代精修 4、資料三角檢證 3、整合各方觀點 2，其餘三種各 1。提到方法標準或詳細說明個別方法的，點名 4 篇。作者列的限制：不是系統性回顧、一人分析、分類是暫定的、歐洲與德國偏向、期刊本身專刊設計研究、發表的文章不等於整個計畫。

附錄：摘要或標題與正文的對照。

來源摘要或標題怎麼說正文與表
Prihar 等 202250 個實驗，在完成門檻、個人化與輔助方式上找到多項顯著發現50 個是從 103 個篩出來的；門檻影響的是完成率，寫完的人之間沒有測到差異；作者在限制裡承認偽陽性風險提高
Sales 等 2023超過 250 對比較；改善最多 30–50%227 對；主分析相對只用實驗內資料的方法最多約 30%；子群分析有 11–13% 變差
Chen 等 2016新拍法提高投入，對學習沒有顯著影響投入的兩個指標，一個方向不一致，一個四支影片只有一支顯著；學習指標有兩支顯著、方向相反
Kizilcec 等 2020放大會讓平均效果小一個數量級只有價值關聯一項是「剩十分之一」；其他是沒有測到差異
Roschelle 等 2016標題：線上數學作業提高學生成就一整包介入，含教師訓練與暖身年
Zheng 2015多數只做一輪；修改方式沒有詳細交代一輪剛好 50%；60% 交代了怎麼修改
Lee 等 2020研究量表與互動、通過率的因果關係相關資料的路徑分析，模型是刪路徑後得到的

另外兩份程度較輕：Yuan 與 Recker 的摘要說量表「little accompanying evaluation」，表上是 14 份中 6 份報告了實證測試；Brase 的摘要說作者「often」用變化、迭代、協作、三角檢證辯護，正文點名的篇數各是 27 篇裡的 3 到 6 篇。

參考資料

每一條都讀完手上取得的那一版並留有抽取紀錄；讀不到的部分寫在括號裡。

相關文章

教學文章要不要開留言區：論壇參與、聲望制度、讀書會與問答社群的證據1 min線上自學為什麼多數人讀不完：完成率、第一週流失、回訪與計畫提示的證據1 min讀者說寫得好，不代表讀者學到了：自評、喜好、觀看時間、練習分數與代理指標各量到什麼1 min