這是「教學文章怎麼寫」系列的第 19 篇，第四部分「隔一段時間之後」的最後一篇。前面三篇談了間隔複習在真實課程裡剩多少效果、把複習做進文章的作品，以及系列的順序。那幾篇都假設讀者還在。這篇處理那個假設：線上自學的人什麼時候離開、離開之後會不會回來、作者能改變多少。
起因是本站自己的形狀。本站的課程導讀是一篇接一篇的系列，Harvard CS50 AI 的導讀有十篇，單篇常常超過四萬字元；這個系列規劃了 30 篇。寫的時候一定會問三件事。有多少人讀到最後一篇？讀到一半離開的人，什麼能讓他們回來？要不要在文章裡加「建議每週讀一篇」「先排好閱讀時間」這類段落？本站沒有裝任何流量或閱讀行為的分析工具，這些問題我答不出本站的版本，只能看別的情境量到了什麼。
第 10 篇談讀者會不會作答文章裡的題目，用過 247 門課那份研究的漏斗數字；第 14 篇談講用途，只引了同一份研究的一段，說完整的整理留到這一篇。讀者對自己的預估有多不準，第 15 篇談過理解的那一面，這裡會碰到「會不會讀完」的那一面。
來源怎麼選、有什麼偏向。來源清單是先掃描文獻、再挑出來精讀的，挑選標準是要量到「人實際留下或離開」，而且每個介入至少有一份結果相反或沒有效果的研究。唯一的例外是一份統合分析，它量的是測驗成績，放進來是為了和其他來源對照。參考資料共 12 份，每一份都讀完手上取得的那一版並留有抽取紀錄。偏向很明顯。除了一份統合分析，全部是 MOOC（Coursera、edX 這類大型開放線上課程）的資料，英文課程居多。12 份裡有 6 份有 Justin Reich 或 René Kizilcec 掛名；2020 年那份研究放大重做的三個介入，原始研究也是同一批作者做的。沒有任何一篇量的是部落格或公開教學文章的讀者。
MOOC 的數字能借多少
把 MOOC 的研究搬到一篇網頁文章，要先講清楚兩者差在哪。以下六點是讀這篇時要一直記著的界線，後面每次借用都會再標。
- 起點不同。MOOC 的分母是按了「註冊」的人。部落格沒有註冊，最接近的是點進來的人。點進一篇文章和註冊一門課，哪一個代表比較強的意圖，沒有資料。
- 終點不同。MOOC 的「完成」是拿到證書或及格，要交計分的作業與考試。文章沒有作業，讀到最後一段和學會不是同一件事。
- 「回來」的定義不同。下面會用到的跨年留存，量的是「隔年在同兩所學校的平台上又註冊一門課」，不是回頭重讀同一份內容。
- 外在結構不同。MOOC 有開課日、截止日、證書、付費選項，有些有學分。本站一樣都沒有。
- 尺度不同。MOOC 的「開頭」是第一週或第一個單元，一篇文章的「開頭」是前幾段。課程層級的流失，能對應的是系列的第一篇，不是一篇文章的前幾段。
- 介入研究的樣本是少數人。測試「寫計畫」這類提示的研究，樣本是填了選填問卷的人：在一份研究裡約佔註冊者的 3.4%，另一份約 8.8%（兩個比例都是我從原文的人數算的）。後一份的作者自己說，結果不宜推到較不投入的學生。
能借的是方向：流失集中在開頭；說要完成的人多半沒完成；輕量的提示放大之後，效果變小或沒有測到。前兩個方向在幾份來源裡一致；第三個只有一份真正放大重做的研究，作者就是原研究的作者。把它們套到本站讀者，是我的推論。
先看結論
| 問題 | 目前讀到的答案 | 證據的性質 |
|---|---|---|
| 多少人讀完 | 39 門早期 MOOC 的完成率中位數 6.5%，分母是註冊者（Jordan 2014）；HarvardX 與 MITx 進過課程的人裡，及格比例從 2013–14 年的 4.96% 降到 2017–18 年的 3.13%（Reich 與 Ruipérez-Valiente 2019） | 描述統計；「完成」是拿證書或及格 |
| 什麼時候離開 | 開頭。各課平均 52% 的註冊者從沒進過課程（Reich）；一門程式 MOOC 第一單元之後就不再動手的人，固定時程版 17%、自訂進度版 50%（Ihantola 等 2020） | 描述與觀察 |
| 說要完成的人 | 課前自述打算完成的人，及格比例每年在 11.5% 到 17.7% 之間（Reich）；學生自估完成機率平均 83.5%，實際 16.7%（Yeomans 與 Reich 2017） | 描述 |
| 會不會回來 | 第一次註冊的那一年之後，隔年又註冊一門課的比例，從第一群的 37.5% 降到第五群的約 10%（Reich 的附表；正文寫 7%）；回到同一篇文章的研究，沒有找到 | 描述；「回來」不是重讀 |
| 寫讀書計畫的提示 | 三門課、2,053 位打算拿證書的人：13.8% → 17.7%（Yeomans）；247 門課：第一週活動量提高，完成率沒有測到差異（Kizilcec 等 2020） | 隨機實驗；放大後沒有複製 |
| 請學生先排好看片時間 | 前兩週有沒有看第一支影片，沒有測到差異；之後的看片數、成績、證書三項略負，都只到 p < .10（Baker 等 2016） | 一門課、1.8 萬人的隨機實驗 |
| 限制自己上分心網站的工具 | 657 位付費招募的自願者：完成率高 10.7 個百分點；把晚加入的 240 人算進來，四項結果都不顯著（Patterson 2015 工作論文） | 一門課的隨機實驗 |
| 固定截止日 | 最後一單元還有動手的人，固定時程版 45%、自訂進度版 13%；學生自己選版本，兩版過關規則也不同（Ihantola） | 觀察，不能當因果 |
| 自我調節介入（統合） | 測驗成績 d = 0.63，出版偏誤校正後 0.38；只給提示的一類 0.24（Xu 等 2022） | 多為小型準實驗；結果是成績，不是完成 |
| 「這門課和我在乎的事有關」的寫作 | 247 門課裡，有全球落差的課讓較低度發展國家的學生完成率高 2.8 個百分點；沒有落差的課反而低 1.6（Kizilcec 2020） | 大規模隨機實驗；哪門課有落差，事先預測不了 |
表裡沒有一列量的是文章讀者。下面各節講每一列的條件。
多少人讀完
完成率的分母
MOOC 的完成率常被說成「不到一成」，Yeomans 與 Reich 的前言就引別的研究這樣寫。這個數字要先問分母。
Katy Jordan 2014 年的分析收集的期間是 2013 年 2 月到 7 月。Jordan 收集 Coursera、edX、Udacity 公開過人數的課，得到 39 門課的完成率（拿到證書的人除以註冊人數），從 0.9% 到 36.1%，中位數 6.5%。這 39 門是 2011 年秋到 2013 年春開課、而且有人把數字公開出來的課，只佔當時已結束課程清單的 14%。作者自己把「誰願意公開數字」列為可能的偏誤來源。
同一份資料裡，註冊者約有一半會成為「活躍使用者」（各來源自己定義，例如登入過、看過至少一支影片），這個比例在各課之間很穩定。改用活躍使用者當分母，完成率中位數是 9.8%。
Justin Reich 與 José Ruipérez-Valiente 2019 年在 Science 的短評用的是另一種分母。資料是 MITx 與 HarvardX 在 edX 上從 2012 年到 2018 年 5 月開過的全部課，565 個開課梯次、1,267 萬筆註冊。補充材料的表把完成率算在「進過課程的人」裡面，完成是及格：
| 年度 | 全部進過課程的人 | 課前自述打算完成的人 | 付費走認證軌的人 |
|---|---|---|---|
| 2013–14 | 4.96% | 11.51% | 44.23% |
| 2015–16 | 4.13% | 16.44% | 49.73% |
| 2017–18 | 3.13% | 15.42% | 46.02% |
（完整五年在附錄。）正文說完成率「has not budged in six years」。表上只有五個年度，而且全體的比例是往下走的：最高是 2014–15 年的 5.91%，到 2017–18 年剩 3.13%。付費的人在四成四到五成六之間起伏。
Kizilcec 等人 2020 年那份大規模研究的補充資料可以算出第三種分母：247 門課共 354 萬筆註冊，拿到及格的約 9.9 萬人，約佔註冊者的 2.8%（我算的）。
這三個數字不能並排比較。Jordan 的分母是註冊者，Reich 的只算進過課程的人；照理 Reich 的比率應該較高，結果反而較低。原因可能是年代、平台與課程組成不同，兩篇都沒有資料可以說明。
「完成」量的是什麼
三篇的「完成」都是拿到證書或過及格線。Jordan 在結論提醒，學習者可以不做評量也從課程得到東西，不宜拿 MOOC 完成率去比實體課。Reich 的資料裡，付費的人每年也有四成多到五成多沒有及格。所以「讀完」在這些研究裡指的是「交完計分的東西並過關」，不是「看完內容」，更不是「學會」。
借到本站：一篇文章沒有及格線。我能借的只有「從頭到尾待著的人很少」這個方向，借不到任何一個比例。
什麼時候離開
開頭
六份來源都指向同一個位置：開頭。
- 從沒進來。三份來源用三種定義量相近的事。Reich 的補充表裡，各課平均有 52% 的註冊者從沒進過課程內容；這是 565 個梯次各自比例的平均，用中位數算是 49%（我從表上的中位數算的）。Jordan 的資料裡，約一半的註冊者成為「活躍使用者」（各來源自己定義，例如登入過、看過一支影片）。Dan Davis 等人 2018 年的實驗在一門 edX 地球科學課做，2,324 人註冊，至少進過課程一次的是 1,047 人（約 45%，我算的）。Reich 正文另外引別的研究說，課程的前兩週流失通常仍然很高。
- 第一週之後就不見。Rachel Baker 等人 2016 年的實驗在 Coursera 一門科學課，開課前兩天以上註冊的 18,043 人裡，看了第一週第一支影片的是 46.8%，看了第二週第一支影片的是 32.2%，最後 8.9% 拿到證書。
- 第一個單元就退出。Petri Ihantola 等人 2020 年的研究看赫爾辛基大學的入門 Java MOOC。分母是至少做過一題程式作業的人。只在第一單元動過手、之後再也沒有的人，固定時程版佔 17%，自訂進度版佔 50%。
- 每週都有人停在最前面。Tommy Mullaney 與 Reich 2015 年的研究比較同一門 HarvardX 人文課的兩次開課，第 12 篇已經整理過它的主要發現。和這篇有關的一點是：課程進行到每一週，都有一群人花最多時間的地方是最前面兩章，作者說「For many students, it is the only part of the course they see」。原文沒有給比例。
Jordan 還有一個和長度有關的結果。以註冊者為分母時，課越長完成率越低（39 門課，課程長度解釋了約四分之一的差異）；改用活躍使用者當分母，這個關係就不顯著了。作者的解讀是課長可能讓註冊的人不想開始，一旦開始，課長不長就不太有關係。另外，這 39 門裡超過 15 週的只有一門（CS50x，24 週），它同時是完成率最低的一門（這是我從原文的表看出來的；原文沒有做拿掉這一門的分析）。
借到本站：流失集中在開頭，這個方向在六份資料裡一致，我認為可以借。「長的系列讀的人少」借不到：Jordan 的結果在換分母後不顯著，量的單位是課的週數，不是文章的篇數或字數。
做完一整週才走的人
Ihantola 的資料裡有一個作者自己說不出原因的現象：第一週就退出的人裡，有 29 人（固定時程）與 74 人（自訂進度）其實交齊了第一週全部作業，然後就不再回來。作者估約 5%，我用他們的表算是 4.9% 與 3.2%。作者列了幾個猜測，都沒有資料。
這一點提醒的是，「離開」不一定等於「卡住」。文章讀者可能也是讀完需要的那一節就走，這是我的推論；研究裡沒有區分這兩種離開。
說要讀完的人，讀完了多少
MOOC 研究常在課前問學習者打算做到哪裡。結果是：說要完成的人裡，多數沒有完成。
- Reich 的表裡，課前自述打算完成的人，及格比例每年在 11.5% 到 17.7% 之間。
- Michael Yeomans 與 Reich 2017 年的研究在三門 HarvardX 課問了同樣的問題。填了課前問卷的人裡，57% 說打算拿證書；這些人裡 16% 拿到。分析樣本裡的人自己估「完成的機率」，平均是 83.5%，實際完成率 16.7%。
- Kizilcec、Pérez-Sanagustín 與 Maldonado 2017 年的研究看智利一所大學在 Coursera 開的六門西班牙語、自訂進度的課。填了入課問卷的 4,831 人裡，32% 說要拿證書，其中 8.9% 做到（分母是否只算說要拿證書的人，表頭沒寫明）。
自估 83.5% 對實際 16.7%，和第 15 篇講的「讀者判斷自己懂了沒有不太準」是同一類問題的另一面：判斷自己會不會做完，也不準。
這組數字有一個條件：它們都只來自願意填選填問卷的人，這些人本來就比一般註冊者投入。Yeomans 與 Reich 寫，多數註冊者沒有填課前問卷，而那些人多半也沒做什麼別的事。
會不會回來
跨年：隔年再註冊一門課
Reich 與 Ruipérez-Valiente 的圖表把學習者依「第一次註冊的年度」分群，看下一年有多少人又在 HarvardX 或 MITx 註冊任一門課。補充材料的表是：
| 第一次註冊的年度 | 這一群的人數 | 隔年又註冊的比例 |
|---|---|---|
| 2012–13 | 192,255 | 37.5% |
| 2013–14 | 755,800 | 27.2% |
| 2014–15 | 630,992 | 23.1% |
| 2015–16 | 1,108,858 | 11.7% |
| 2016–17 | 531,213 | 10.0% |
正文說第二年留存率「from 38% in the first cohort to 7% in the year 5 (2016-2017) cohort」。同一份作者稿的附表與圖上，2016–17 群是 53,030 ÷ 531,213 ≈ 10%。表裡最接近 7% 的是 2013–14 群在 2017–18 年的 6.88%，那是第五年的留存，不是第二年。正文可能讀錯了圖上擠在一起的標籤，這是我的推測；Science 刊出版是否同樣寫 7%，我沒有讀到。「每一群都比前一群低」在表上成立，終點是 10%。
借到本站要很小心。這個「回來」是「在同兩所學校的平台上又選一門課」，去別的平台修課的人會被算成流失；它量的也不是回頭重讀同一門課。對文章來說，最接近的問題是「讀者隔一陣子會不會回到同一個系列」，我沒有找到任何研究量過，本站也沒有資料。
同一門課裡：隔幾週還在不在
課程裡面也看得到同樣的趨勢，只是量法各不相同。
- 跳出來的複習題越來越多人略過。Davis 等人那門地球科學課（這篇引的是 LAK 2018 的會議論文；同一個實驗另有期刊擴充版，第 10 篇引的是那一版），實驗組在第 2 到 6 週的影片前會跳出一題前幾週的題目。被分派的 523 人裡只有 102 人碰過這些題目。最後沒通過的人，略過題目的比例從第 2 週的 47% 升到第 6 週的 61%；通過的人一直很低。把複習做進內容的完整討論在第 17 篇。
- 進度彈性多半會被用掉。Mullaney 與 Reich 的結果（依序釋出時也只有三到四成的人跟著進度）在第 12 篇與第 18 篇已經寫過，這裡不重複。
- 自訂進度的人把作業分散在更多天。Ihantola 的兩個版本裡，只看退出那一週，兩版做的作業量差不多；自訂進度版的人把作業分散在較多天。累計來看，在同一週退出的人裡，自訂進度版做過的作業反而較多。
這幾項合起來的方向是：MOOC 的學習者會照自己的節奏、跳著來，課程排的順序和節奏多半不會被照著走。文章讀者會不會也這樣，是我的推論。系列的順序怎麼排，第 18 篇談過。
作者能改變多少
寫下讀書計畫
這是被研究得最多、也最常被建議的做法：在開始時請學習者寫下打算何時、在哪裡、怎麼讀。
小規模的原始結果。Yeomans 與 Reich 在三門 HarvardX 課的課前問卷裡，隨機請一部分人寫下具體的讀書計畫。分析樣本是填了問卷、說要拿證書、英文流利、第一個月就註冊的 2,053 人，約佔三門課 60,778 名註冊者的 3.4%（我算的）。對照組沒有任何額外的東西。結果是拿到證書的比例從 13.8% 升到 17.7%（p = .023），這是事先登錄的主要結果。
這個結果有三個細節：
- 兩個研究（第一門課、後兩門課）各自單獨看都沒有達到 .05，合併後才達到。原文的表只印星號、沒有圖例，這是我從表上的係數與標準誤推算的。
- 加強版提示（頁首明講計畫有用，寫完後把計畫列回給學生看）和只問一句的簡單版，沒有測到差異。
- 計畫裡時間詞的比例越高，越不可能完成（p = .015）。作者明寫這不是因果：會寫很多時間安排的人，可能本來就有別的時間壓力。這和「請讀者訂出何時何地讀」的常見建議方向相反，作者也指出它和先前場域實驗的結論不同。
放大之後。René Kizilcec、Reich、Yeomans 等九位作者 2020 年在 PNAS 的研究把這個提示和另外三種寫作活動放到 Harvard、MIT、Stanford 從 2016 年 9 月到 2019 年 5 月開的 247 門課，焦點樣本 269,169 人，分四波、每波事先登錄。介入同樣放在課程開頭的問卷裡，只算走到問卷後段、被隨機分派的人。
在和原始研究相同定義的子群（說要完成、英語流利）裡，長期計畫對完成率的效果，第一年是 +0.19 個百分點（95% 信賴區間 −0.69 到 1.07），第二年 −0.23，都沒有測到差異。另一種計畫寫法 MCII（寫目標的好處、障礙、「如果……我就……」）原本在個人主義國家的學生身上有效果，放大後也是 +0.25 個百分點，沒有測到差異。
這些活動不是完全沒作用。短期計畫（第一年）、長期計畫（第二年）、MCII 與「寫下誰可以盯著你」的社會問責，都提高了第一週在平台上的活動量；第一年的長期計畫在第一週沒有達到 .05。到第二週，長期計畫（兩年）與社會問責仍有差異。完成率則都沒有測到差異。作者的結論是：
behavioral insights have more promise in encouraging one-time, short-lived actions than more continuous behaviors that require sustained effort and habit change.
作者也收回了自己先前的建議：原本建議線上課程的教師採用這些介入，現在認為要先有研究能預先判斷它們什麼時候會有幫助。另一個值得記的數字：第一年看到計畫提示的人裡，14% 一個字都沒寫。
請學生先排好時間
Baker、Brent Evans 與 Thomas Dee 的實驗把「排時間」做得更窄：開課前兩天寄一封信，請學生點連結選定看第一週第一支影片的日期與時刻，並記到行事曆；第二週再寄一次。控制組收到內容相同的信，只是改成問用哪個瀏覽器。18,043 人隨機分成兩半。
處理組只有 12.7% 真的選了時間。選了的人，85% 看了第一支影片，多半在選定的那一天看。但從整個處理組來看，前兩週有沒有看第一支影片，沒有測到差異；看片數、成績、證書三個較遠的結果是負的，都只到 p < .10，證書少 0.8 個百分點（控制組 9.3%）。沒有任何次群體出現正效果，包括最投入的那群人。作者列了五種可能的解釋，都沒有檢驗，自己說「we are puzzled by the results」。
限制自己上分心網站
Richard Patterson 的實驗和上面兩種不同，它給的是一個持續作用的工具。課程是 Stanford 2014 年開的九週統計 MOOC。這篇有 2015 年的工作論文與 2018 年的期刊版，兩版內容差異大，這裡的數字一律依工作論文。
受試者是從註冊者裡招募、給 12 美元禮券、在第一次作業截止前裝好時間追蹤軟體的 657 人，約是開課前註冊並進過課程者的 18%。四組都裝同一套會記錄電腦使用時間的軟體：
- 承諾工具：每天花在分心網站的時間設一個上限，預設值是受試者自己前測填的目標；每天早上一封信提醒目前上限；超過就封鎖分心網站。
- 提醒：每在分心網站累積半小時，跳出一個大視窗顯示花了多少時間，附課程連結。
- 專注：每天第一次進課程網站時，可以選擇封鎖分心網站 15、30 或 60 分鐘。
- 控制：只有時間追蹤與報告。
承諾工具組的完成率比控制組高 10.7 個百分點，作業多交 0.91 份，成績高 0.29 個標準差，都在 5% 水準顯著；課程時數多 5.5 小時，在 10% 水準。提醒與專注兩組沒有測到效果，作者說估計不精確、不能排除有大效果；專注組在前兩三週有差異，之後消失。
同一份工作論文的附表有兩個要一起讀的結果。第一，把第二週才加入的 240 人也算進來（共 897 人），承諾工具的四項結果都不顯著，大小約剩一半（我從表上比出來的）。第二，效果集中在原本就被預測會表現好的那幾群人。參與者在所有課程結果上也都明顯好過沒參加的修課者，例如完成率 28.9% 對 21.3%。
自我調節介面與統合分析
Shu-Yi Hsu 與 M. Shane Tutwiler 2022 年的短文在兩個 MicroMasters 學程的認證軌（verified track）學習者身上，測了一個每週出現的反思頁：自評上週計畫完成多少、訂下週目標、排任務、設電郵提醒。對照組看得到同樣的學習紀錄與讀書建議，只是不用自己填。三波實驗合計，通過課程的人沒有測到差異；沒通過的人成績高約 1 個百分點，作者自己估這個方向為正的機率只有六成。這是一篇進行中研究的短文，沒有數字表、沒有使用量資料，這裡只當旁證。
Zhihong Xu 等人 2022 年的統合分析的摘要說自我調節介入有中等效果。它合併了 50 篇文章、92 個效果量，線上或混成環境的自我調節介入對學業成績 d = 0.63。同一篇的出版偏誤檢定顯著，作者自己做的校正把估計降到 0.38；摘要印的 0.69 在正文裡沒有任何分析得出。
這份分析和上面的 MOOC 研究量的不是同一件事。它的結果是測驗成績（92 個裡 82 個用研究者自編的測驗），不是完成或持續；納入的研究 71 個是準實驗，樣本數中位數 68 人（我從它的表算的），多是一門課裡的小班研究。它自己的子群結果反而和 MOOC 研究同方向：只給提示或暗示的一類效果 0.24，只針對後設認知的一類 0.19；效果大的是混合多種策略、跨多個階段的重介入。這些是跨研究的比較，不是同一研究內的對照。
相關不是因果：目標設定
Kizilcec 等人 2017 年那份智利 MOOC 研究，容易被讀成「先設定目標就讀得完」的證據。它是觀察研究，沒有任何介入。入課時自評較常設定目標的人，之後達成自己課程目標的比例略高，相關係數 0.03 到 0.08；同時放入六種策略時，目標設定分數高一個標準差，達成拿證書目標的勝算高 54%（基準達成率 8.9%）。作者自己在討論裡指出，設計輔助要靠因果證據，並舉了兩個在 MOOC 裡沒有正向效果的自我調節介入研究。
固定時程與截止日
Ihantola 等人比較同一門 Java MOOC 的兩個版本。到最後一個單元還有動手做作業的人，固定時程版是 45%，自訂進度版是 13%；最大的差別在第一單元。作者在摘要寫「Our results support scheduling student activities in open online courses」。
這個比較有四個問題，其中第一、二、四點作者在限制節自己列了：
- 學生自己選版本，選嚴格時程的人可能本來就不同。作者說要隨機分派才能確認。
- 兩版的計分方式不同。
- 自訂進度版要完成前一單元 90% 的作業才能進下一單元，固定時程版沒有這個門檻、還能中途加入。所以「還在第七單元動手」在兩版裡的門檻不一樣：自訂進度版的 13% 幾乎都做完了，固定時程版的 45% 只表示最後還有動。
- 作者手上沒有成績，「持續」量的是有沒有動過那一單元的作業，不是完成或學會。
所以這篇撐不起「截止日讓完成率變三倍」。比較穩的是不依賴兩版比較的觀察：兩版的流失都集中在第一單元。
Mullaney 與 Reich 比較依序釋出與一次放出的兩次開課，證書率幾乎相同，但兩次開課不只差釋出方式，細節見第 12 篇。
本站的情況
上面所有介入都靠 MOOC 有、本站沒有的東西：註冊時的問卷、寄給學習者的信、平台上的計分作業、開課日。本站的文章沒有任何這些管道。如果要在文章裡加「建議你現在排好每週閱讀時間」這類段落，最接近的證據是 Baker（排時間）與 Kizilcec 2020（寫計畫）：一個沒有測到效果、遠期略負（p < .10），一個在小規模有效、放大後完成率沒有測到差異。兩者都只說明沒有證據支持加，不能說明加了有害。這是我判斷不加這類段落的依據，下面「可以做的事」再列。
本站其實有這類段落。統計導讀系列的地圖篇的練習題要讀者「寫出接下來四週讀書計畫」，這就是 Yeomans 測的那種寫計畫提示。CS231n 的總覽有一節「10 週自學路線」，照官方課表給每週進度；本站 20 篇認證考試備考指南裡，13 篇有一節「N 週時程與換算依據」，例如 AWS MLA-C02 以每週 6 到 8 小時排成八週；另有 AWS AIP-C01 以每週 8 到 10 小時排讀書計畫。課程導讀規格也把「自學計畫」列為總覽副標可以放的東西。CS231n 與備考指南是作者替讀者排好的進度，比較接近 Mullaney 與 Reich 那門課每週寄信建議的進度，不是要讀者自己寫計畫或排時間。作者排好進度和讀者自己排，哪一種比較好，沒有研究直接比過。
誰覺得這不是寫給我的
這一節處理讀者的身分與動機。內容裡的例子、講者、歡迎詞會不會讓某些人覺得「這不是寫給我的」而離開？教材本身的身分線索（例子、圖片裡的人）會不會影響誰讀得下去，我沒有讀到全文的直接研究，這篇不談。這裡只整理 MOOC 裡一條放大重做過的線。
這條線的起點是 Kizilcec、Saltarelli、Reich 與 Cohen 2017 年在 Science 的短文。這篇研究存在，我沒讀到合法公開的全文，不引它的內容。
2020 年那份 PNAS 研究放大重做了其中一種：在開課問卷裡勾選兩三個自己重視的價值，寫修這門課如何反映這些價值（「價值關聯」寫作）。依 2020 年那篇的轉述，先前兩門課把發展中國家學生的完成率從 17% 提高到 41%，作者拿來比較的效果是 24 個百分點，來自 64 人的樣本；同一份先前研究裡，已開發國家的學生在其中一門課從 32% 降到 23%。
放大到 247 門課後：
- 全部課程合計，較低度發展國家學生的完成率沒有測到差異（兩年分別 +0.14 與 −0.04 個百分點）。
- 只在「有全球落差」的課（控制組裡兩群學生的完成率差到一定程度）有效，兩年都是約 +2.8 個百分點。作者說這比原始研究小一個數量級。這個條件第一年是事後才定義的。
- 在沒有落差的課，同一群學生的完成率反而降低約 1.6 到 1.7 個百分點。
- 一門課會不會有全球落差，事先預測不了。用 21 個課程特徵訓練的模型，準確率 54.3%，隨機猜是 50%；79 門重開的課裡，落差有無和前一次一致的只有 60.8%。用機器學習挑「誰該拿到哪個介入」的個人化政策，也沒有比都不給好到可以測出來。
Reich 的資料從另一面看同一件事：成長與證書都集中在富裕國家。以 2017–18 年為例，「極高人類發展」國家佔註冊人次的 55.58%，佔證書的 68.7%。
借到本站：對一篇公開文章，作者不知道誰在讀，也不知道讀者裡有沒有「落差」。這條線的放大結果是，同一個簡短的寫作活動，在一些情境幫到目標群體，在另一些情境讓同一群人的完成率下降，而事先分不出是哪一種。我據此的判斷是：不在文章裡放「這門課和你在乎的事有關」這類簡短的價值寫作活動。這是推論，沒有研究在文章讀者身上測過。至於「你屬於這裡」這類社會歸屬的介入，2020 年那篇沒有重做；它唯一的資料在我讀不到全文的 2017 年那篇，所以這篇手上沒有任何可引的結果。
來源說法不同的地方
以下幾組結果方向不同，或看起來衝突、其實量的東西不一樣。我把它們並列，不選邊。
寫計畫的提示有沒有效。Yeomans 與 Reich 的三門課裡，完成率 13.8% 對 17.7%。Kizilcec 等人 2020 年在相同定義的子群重做，+0.19 與 −0.23 個百分點，沒有測到差異。兩篇的作者重疊（Yeomans 與 Reich 都在 2020 年那篇）。2020 年那篇的子群定義在各波之間改過（從「說要完成且英語流利」到「英語流利」再到整個樣本），介入說明文字與排除準則也和原始研究有些不同。2020 年那篇另外找到計畫提示提高前一兩週的活動量，原始研究沒有報告這一項。
「何時何地」寫得越具體越好嗎。常見的建議是把計畫寫到具體時間地點，Yeomans 與 Reich 也說先前的場域實驗支持這一點。他們自己的資料裡，計畫用到的時間詞比例越高，越不可能完成（相關，不是因果）；時間詞越具體越不可能完成的那一項只到 p = .086。作者提了一個調和兩者的假說，沒有檢驗。
自我調節介入是中等效果，還是沒有測到效果。Xu 等人的統合分析是 d = 0.63（校正後 0.38）；Kizilcec 2020 與 Hsu 與 Tutwiler 在 MOOC 裡幾乎沒有測到效果。兩邊的結果變項（測驗成績對完成）、樣本規模（中位數 68 人對數千到數十萬人）、介入內容（一門課裡持續 1 到 36 週不等的設計，對課程開頭幾分鐘的寫作或每週一頁）都不同，說是互相衝突並不準。
承諾類工具：Patterson 有效，Baker 略負。兩者的工具完全不同。Patterson 的是每天都在作用的分心時間上限、每日電郵與封鎖，樣本是付費招募、已裝好軟體的自願者；Baker 的是開課前選一個看片時間，樣本是全部早註冊的人，沒有篩選。Patterson 的結果在加入晚到者之後也不顯著。
截止日有沒有用。Ihantola 的固定時程版留住較多人；Mullaney 與 Reich 換掉釋出方式後，證書率幾乎沒變。兩篇都不是隨機分派，比較的東西也不同：一篇是有沒有截止日，一篇是依序釋出對一次放出。
課越長越少人完成嗎。Jordan 的同一份資料：以註冊者為分母時是負相關，以活躍使用者為分母時不顯著。
跨年留存的終點是 7% 還是 10%。Reich 與 Ruipérez-Valiente 的正文寫 7%，同一份作者稿的附表與圖是 10%。
價值關聯寫作的效果大小。2020 年那篇轉述的原始研究是 17% 到 41%；同一批作者放大後，在有落差的課約 +2.8 個百分點，在沒有落差的課是負的。
對照本站的做法
| 本站的做法 | 相關證據 | 是依據，還是本站的選擇 |
|---|---|---|
| 本系列每篇開頭放「先看結論」表；課程導讀開頭有 TL;DR | 流失集中在開頭（Reich、Baker、Ihantola、Davis）；Mullaney 與 Reich 提議課程第一章就摘要全課重點，沒有檢驗過（第 18 篇也列了這一條） | 本站的選擇。方向與觀察一致，但沒有研究測過「結論放前面」對讀者留下或學習的效果 |
課程總覽要寫讀者定位、各模組學什麼、閱讀路線與具體起點（課程導讀規格 course-guide-contract.md） | 每週都有一群人花最多時間在最前面兩章（Mullaney） | 本站的選擇。總覽可能是很多人唯一讀到的一篇，這是我的推論 |
| 系列沒教過的先備知識給站內連結 | 讀者會照自己的節奏跳著讀（Mullaney、Ihantola） | 方向有支持；「連結」這個形式沒有人測過（第 12 篇、第 18 篇的對照表已列過） |
| 本系列與課程單堂導讀沒有「建議每週讀一篇」「先排好時間」的段落；例外是統計導讀地圖篇要讀者寫四週讀書計畫，以及 CS231n 總覽、備考指南裡作者排好的週進度 | 排時間：沒有測到效果，遠期略負，p < .10（Baker）；寫計畫：放大後完成率沒有測到差異（Kizilcec 2020） | 沒有證據支持加；不加是本站的選擇。兩篇量的都是 MOOC 完成率 |
| 沒有截止日、證書、提醒信 | 固定時程版留下較多人，但學生自選版本（Ihantola） | 證據推不出應該加，本站也做不到 |
| 系列很長：本系列 30 篇，CS50 AI 導讀 10 篇 | 以註冊者計，長課完成比例較低，換分母後不顯著（Jordan） | 推不出該縮短；量的是課的週數，不是篇數或字數 |
| 沒有分析工具 | — | 不知道本站讀者在哪裡離開。要不要裝，是另外要決定的事 |
可以做的事
以下是我的判斷，每一條寫出依據是哪幾項結果。
- 把每篇最重要的東西放在最前面，讓只讀開頭的人也帶得走。依據：六份來源都看到流失集中在開頭，Mullaney 與 Reich 看到每週都有一群人花最多時間在前兩章。這是方向的借用，而且跨了尺度：研究量的是課程的第一週，這裡套到一篇文章的前幾段。沒有研究測過結論前置的效果。做法：開頭三段之內講出這篇的答案（本系列用「先看結論」表），不把結論留到最後一節。
- 系列的第一篇或總覽要能單獨成立，每篇也要能單獨讀。第 18 篇已經談過這兩點（總覽放全系列重點、每篇開頭交代用到前面哪幾篇並給連結），依據同樣是 Mullaney 與 Reich。這篇補的是尺度對得上的那一層：課程層級的流失，對應的正是系列的第一篇。要分清楚的是「連結」和「門檻」：開頭寫出用到哪幾篇並連回去，和寫「請先讀完第 3 篇再讀這篇」不同；前者讓跳著來的人有路回去，後者把他們擋在門外。後一句是我的判斷。
- 不加「先排好閱讀時間」「寫下你的學習計畫」這類段落。依據：Baker（沒有測到效果、遠期略負）、Kizilcec 2020（放大後完成率沒有測到差異）、Hsu 與 Tutwiler（幾乎沒有差異）。Xu 等人的統合分析裡，只給提示的一類效果是正的（0.24）但較小，量的是成績，所以它只說明這類提示的效果小，不是不加的依據。這些都是 MOOC 或課程裡的結果，套到文章是我的推論。做法：統計導讀地圖篇那題「寫出接下來四週讀書計畫」，可以改成「選一條路線，寫出接下來先讀哪一篇、為什麼」。
- 不放「這門課和你在乎的事有關」這類簡短的價值寫作活動。依據：價值關聯寫作放大後，在一些課幫到目標群體、在另一些課讓同一群人下降，而且預測不了是哪一種（Kizilcec 2020）。套到文章是我的推論。社會歸屬類的介入，手上沒有可引的放大結果。
- 不用「讀完率」評估一篇文章。依據：研究裡的「完成」是過及格線，不是學會（Jordan、Reich）；做完一整週才走的人也存在（Ihantola）。做法：如果以後裝了分析工具，把「讀到最後一段」記成讀者行為，不寫成這篇有效或無效。
今晚可以做的三件事
挑一個自己寫的系列，大約一小時：
- 打開系列的第一篇，只讀前三段。問自己：如果讀者只讀到這裡就離開，他們帶走了這個系列的哪一個結論？帶不走，就把那個結論搬上來。
- 找一篇中間的文章，搜尋「前面」「上一篇」「第 N 篇」。每一處都補一句話，把要用到的概念用一句話重講，連結留著。
- 搜尋自己文章裡的「讀書計畫」「每週」「時程」。要讀者自己寫計畫或排時間的段落（例如統計導讀地圖篇的第 3 題），改成一個今天就能做的小動作；作者排好的週進度，保留但寫明是建議，不是門檻。
這些證據的限制
- 沒有任何一份研究量的是部落格或公開教學文章的讀者，本站也沒有讀者行為的資料。所有借用都是推論，界線見開頭「MOOC 的數字能借多少」。
- 「完成」是拿證書或及格，「留存」是隔年在同一平台再註冊，「持續」是有沒有動過那一單元的作業。三種定義都不是「讀完」或「學會」。
- 介入研究的樣本是少數投入的人。Yeomans 與 Reich 約 3.4% 的註冊者；Kizilcec 2020 走到隨機分派的約 8.8%，焦點樣本七成以上有學士學位、平均年齡 32 到 35 歲；Patterson 是付費招募、表現本來就較好的自願者。
- 作者群集中。12 份參考資料裡有 6 份有 Reich 或 Kizilcec 掛名。2020 年放大重做的三個介入，原始研究都是同一批作者的；這篇讀到的放大結果是作者自己報告的。
- 資料以 HarvardX、MITx、Stanford 為主，英文課居多；Ihantola 的是芬蘭的程式課，Kizilcec 2017 的是智利的西班牙語課。中文與日文平台的資料這篇沒有涵蓋。
- 觀察研究不能當因果：Ihantola（學生自選版本）、Mullaney 與 Reich（兩次開課是一整包變動）、Kizilcec 2017（相關）、Jordan（公開數字的彙整）。
- 身分與歸屬感的文獻（刻板印象威脅、大學新生的歸屬感介入等）這篇沒有讀，只整理了 MOOC 裡一條放大重做的線。
- 我的推論：MOOC 的方向可以借到文章讀者，包括 MOOC 學習者跳著來、文章讀者也會；課程層級的流失套到一篇文章的前幾段；讀者讀完需要的那一節就走，不一定是卡住；總覽可能是很多人唯一讀到的一篇；「連結」和「門檻」的差別；不加排時間與寫計畫的段落；不放價值寫作活動；Reich 正文的 7% 可能是讀錯圖上的標籤；讀者自估會不會做完不準，和第 15 篇的理解判斷是同一類問題，這是本站的連結；今晚可以做的三件事。正文都標了或在這裡列出。
- 我自己算的數字：Kizilcec 2020 的 2.8% 與 8.8%、Yeomans 的 3.4%、Davis 的 45%、Ihantola 的 4.9% 與 3.2%、Xu 的樣本數中位數 68、Reich 的中位數 49%、Patterson 晚加入者算進來後「約剩一半」、Yeomans 兩個研究各自不顯著（由係數與標準誤推算）。都標在正文對應的地方。
- 只知道存在、沒讀到合法公開全文的：Kizilcec、Saltarelli、Reich 與 Cohen（2017）在 Science 的研究。文中 17% 到 41%、n = 64、24 個百分點，都是 2020 年那篇的轉述。
附錄：各研究的設計與數字
正文每項只留一兩個數字，其餘放在這裡。
Reich 與 Ruipérez-Valiente（2019），Science 363(6423)，Policy Forum，讀的是 MIT 典藏的作者最終稿與補充材料。MITx 與 HarvardX 在 edX 上 2012 年到 2018 年 5 月的全部 MOOC：565 個梯次、261 門課、1,267 萬筆註冊、563 萬名學習者；年度是 6 月到隔年 5 月。只有描述統計，沒有檢定。補充表 S4（以課為單位）：進過課程的比例平均 48.02%、中位數 51.01%；看過一半以上章節平均 25.59%；及格且有認證證書平均 5.03%、中位數 2.88%。各年首次註冊的人數：192,255、755,800、630,992、1,108,858、531,213、499,736（正文說前四年上升，表上第三年比第二年少）。後續年度的留存，例如 2012–13 群第 3 到 6 年是 24.18%、18.77%、11.28%、7.83%。補充表 S3 的完成率（及格，分母是進過課程的人；只有五個年度）：全體 4.96%、5.91%、4.13%、3.98%、3.13%；自述打算完成 11.51%、17.74%、16.44%、16.13%、15.42%；付費認證軌 44.23%、50.17%、49.73%、56.43%、46.02%。自述打算完成的人數從 20.9 萬（2015–16）降到 4.2 萬（2017–18），付費人數從 6,790 升到 4.6 萬到 5.2 萬，組成在變，原文沒有討論。「極高人類發展」國家的註冊佔比 2012–13 年 59.28%、2017–18 年 55.58%；證書佔比 61.98%、68.7%。作者唯一的限制句是其他平台可能呈現不同的動態。
Jordan（2014），IRRODL 15(1)，刊出版。以 Class Central 的已結束課程清單為起點（279 門），收集 Coursera、edX、Udacity 公開的數字；有註冊人數的 91 門、有完成數字的 42 門。註冊人數 4,500 到 226,652，中位數 42,844。完成率（拿證書÷註冊）39 門，0.9% 到 36.1%，中位數 6.5%；作者另說典型是 5%。活躍人數 ≈ 0.543 × 註冊人數（R² = 0.96，n = 39）。以活躍者為分母的完成率 1.4% 到 50.1%，中位數 9.8%。完成率對課程長度：ln(完成率) = 2.648 − 0.100 × 週數，R² = 0.24，p = 0.002；對開課日期、大學排名、註冊人數都不顯著；以活躍者為分母時，連課程長度也不顯著。每個因素各自跑簡單迴歸，沒有多元迴歸。作者列的限制：67.4% 符合條件的課沒有公開資料，公開與否可能有偏誤；學生提供的數字靠信任；沒有學習者的聲音；證書數字看不到嘗試了但沒過的人。
Kizilcec、Reich、Yeomans、Dann、Brunskill、Lopez、Turkay、Williams、Tingley（2020），PNAS 117(26)，讀的是刊出版與 SI Appendix。247 門課、焦點樣本 269,169 人，四波，每波預先登錄；意向處理分析，不論學生有沒有真的寫。漏斗：總註冊 3,546,206；進入問卷 432,164；走到隨機分派 312,221。焦點樣本完成率各波 15.2%、13.4%、13.8%、12.0%；第一週有活動 43.1%、33.3%、35.3%、35.8%。五種介入：長期計畫、短期計畫（只在第一年）、價值關聯、MCII（只在第二年）、社會問責（只在第二年）。主要假說四項都沒有複製：長期計畫第一年 +0.19（n = 26,586）、第二年 −0.23（n = 10,372）；MCII +0.25（n = 12,879）；社會問責 +0.89（−0.22 到 1.99）；價值關聯全部課程 +0.14、−0.04 個百分點。第一週活動量（事件數取對數）：短期計畫 β = 0.044（第一年）、長期計畫 0.106（第二年）、MCII 0.060、社會問責 0.079；第二週長期計畫 0.049 與 0.069、社會問責 0.094 仍顯著，MCII 與短期計畫不顯著。價值關聯在有全球落差的課：較低度發展國家學生 +2.79（95% CI 1.30 到 4.27，n = 5,974）與 +2.74（0.32 到 5.17，n = 2,712）；沒有落差的課 −1.62 與 −1.71；較高度發展國家學生都不顯著。探索性分析裡，同一群學生對第一年的兩種計畫與第二年的 MCII 也有反應，第二年的計畫與社會問責沒有。落差預測準確率 54.3%（44.1 到 64.4），隨機 50.0%；個人化政策估計完成率 13.38%，無介入 12.81%，差異不顯著。作者列的限制：樣本是有填問卷的人；子群定義與活動內容在各波之間改過；全球落差是事後判定的。
Yeomans 與 Reich（2017），LAK '17，讀的是 MIT 典藏的作者最終稿。三門 HarvardX 課（Study 1 一門、Study 2 兩門），60,778 人註冊，分析 2,053 人（293 與 1,760）。Study 2 有簡單版與加強版兩種提示。主要結果（事先登錄）：拿證書 17.7%（15.6 到 19.8）對 13.8%（11.3 到 16.3），χ²(1) = 5.2，p = .023；作者換算為相對增加 29%。邏輯迴歸係數：只有 Study 1 0.609（SE 0.353）、只有 Study 2 0.252（0.139）、合併 0.302（0.130）。簡單版對加強版：拿證書 16.8% 對 18.8%，p = .404。探索性：課程中付費升級 3.6% 對 1.8%（p = .036），加上註冊時就付費的總比例 6.7% 對 4.8%（p = .100，摘要說的「40%」是這一組）；同時在實體學校就讀的人效果較大（13 個檢定校正後 p = .043）。87% 寫了超過兩個字的計畫；計畫長度預測完成不顯著。自估完成機率平均 83.5%，實際 16.7%。時間詞比例 β = −0.223，p = .015。原文沒有限制節。
Baker、Evans、Dee（2016），AERA Open 2(4)，刊出版。Coursera 一門 2013 年首次開課的科學 MOOC，八週。18,043 人，處理 9,022、控制 9,021。處理組：打開任一份排程問卷 15.9%，完成 12.7%；第一週 12.5% 打開、10.1% 選了時間，第二週 6.5% 打開、4.9% 選了。意向處理估計（控制組平均）：第一週第一支影片 −0.010（0.474）、第二週 −0.003（0.322）、看片數 −0.733（19.37）、成績 −0.642（11.49）、證書 −0.008（0.093）；後三項 p < .10，沒有一項達到 .05。對打開問卷者的估計：證書 −4.8 個百分點（p < .10）；晚註冊者與 .edu 信箱兩群在數項上顯著為負，次群體分析沒有多重比較校正。作者列的限制：沒有人口資料、單一課程、看不到學生有沒有讀信。
Patterson（2015），Cornell Higher Education Research Institute 工作論文 WP165。Stanford OpenEdX 九週統計 MOOC，2014 年；總分 60% 以上得證書。主要樣本 657 人（控制 170、承諾 160、提醒 166、專注 161）。85% 大學以上學歷，28% 在美國。OLS 加前測控制變項。承諾工具對控制組：時數 +5.491（SE 3.085，10% 水準）、作業 +0.909（0.403）、成績 +0.291 SD（0.148）、完成 +0.107（0.0497），後三項 5% 水準。提醒：時數 −3.339、作業 +0.267、成績 +0.011、完成 +0.011，都不顯著。專注：時數 +0.848、作業 +0.577、成績 +0.097、完成 +0.014，都不顯著。含晚加入者（N = 897）：承諾工具時數 +3.940、作業 +0.529、成績 +0.132、完成 +0.049，都不顯著；提醒組時數 −4.207，10% 水準顯著為負。依預測表現的五分位，承諾工具的作業效果在最高的兩個五分位顯著（第四個只到 10% 水準），成績只在最高的五分位顯著。課程結束時，承諾組允許自己的分心時間將近兩倍、碰到上限的頻率不到第一週的一半。參與者對非參與者：時數 22.4 對 15.8、完成率 0.289 對 0.213。課後問卷回收 52%，各組不同。
Kizilcec、Pérez-Sanagustín、Maldonado（2017），Computers & Education 104，讀的是第一作者網站上的刊出版。智利天主教大學在 Coursera 的六門西班牙語、自訂進度、教材一次全開的課，2015 年；4,831 人（6,709 份問卷，1,450 份因無法和課程資料對上而排除）。23 題自評量表，六種策略。與目標達成的 Spearman 相關：目標設定 0.08、0.05、0.03；策略規劃 0.05、0.05、0.04；求助 −0.05、−0.05、−0.03；精緻化都是 0.03，不顯著。邏輯迴歸：目標設定高 1 SD，拿證書的勝算高 54%（p = 0.007）；求助高 1 SD，勝算低 27%（p = 0.002）。行為紀錄的相關最大 |r| = 0.097。作者列的限制：樣本多為拉丁美洲學習者；量表改編與翻譯沒有另做效度驗證；多數策略在平台上觀察不到。
Hsu 與 Tutwiler（2022），L@S '22，Work in Progress，刊出版。ColumbiaX 兩個 MicroMasters 學程、各四門課，2019–2020 年，verified 學習者約 2,650 人（文中三處人數不一致）。三波：第一波手打目標、自由使用；第二波改勾選、必須先進這一頁才能看影片；第三波勾選、自由使用，並混入第二波延修的人。結果只有期末成績，依通過與否分組分析：通過組三波約 +2、+1、−2 個百分點，合併沒有證據；未通過組約 0、+2、0，合併 +1，後驗分布 60% 大於 0。沒有數字表、區間數值與使用量。
Ihantola、Fronza、Mikkonen、Noponen、Hellas（2020），IEEE FIE 2020，讀的是赫爾辛基大學典藏的作者稿。2019 年免費入門 Java MOOC，七個單元。分析樣本固定時程 3,546 人、自訂進度 4,693 人（兩版都參加的 616 人剔除）。各單元仍活躍的人數，固定時程 2,983、2,708、2,398、2,056、1,877、1,770、1,623；自訂進度 4,653、2,340、1,481、1,112、937、793、634。最後一單元 45% 對 13%，χ²(1) = 1055.3。以當週活躍者為分母的退出比例（我用表算的），第 2 到 6 週自訂進度版每週約高出將近一倍；以全體為分母時兩條線才接近，作者在討論裡說第一週之後兩版「almost similar」，和結論的說法互相牴觸。累計來看，自訂進度版在同一週退出的人做的作業較多、工作天數較多；只看退出那一週，作業數沒有差別。
Xu、Zhao、Zhang、Liew、Kogut（2022），Behaviour & Information Technology 42(16)，刊出版。2011 年到 2022 年 3 月，50 篇、92 個效果量；準實驗 71、隨機 21；高等教育 60、中學 23、小學 7。隨機效果 d = 0.63（0.47 到 0.79），Q = 513.22；Egger 檢定 z = 6.85，trim-and-fill 補 13 個研究後 0.38。期刊對學位論文沒有顯著差異（學位論文只有 6 個）。學習情境的組間差異不顯著；策略類型、階段、鷹架類型、學科的組間差異顯著。介入期間與每週強度都不預測效果量。沒有研究品質評估；同一批受試者的多個效果量當成獨立；有三個 d 大於 4 的效果量沒有做敏感度分析。
Davis、Kizilcec、Hauff、Houben（2018），LAK '18，讀的是第一作者網頁上的 ACM 排版版。edX 地球科學課，2017 年 5 到 7 月，六週。1,047 人（對照 524、實驗 523）。對照組也拿到每週「有效讀書習慣」的說明。實驗組只有 102 人碰過跳出的題目。意向處理與工具變數估計，通過率、非零成績、連續成績都不顯著。題目被略過的中位時間 7 秒；選擇題作答率 69%、數值題 41%。課後兩週的測驗只有 20 人回答。同一個實驗的期刊擴充版是 JLA 5(3)。
Mullaney 與 Reich（2015），L@S '15，數字讀自作者公開的 HarvardX 工作論文版（2014）。課程、兩次開課的差別與跟上進度的比例，見第 12 篇的附錄。這篇用到的：每週都有一群人花最多時間在最前面兩章，原文沒有給比例；證書率（佔活躍學生）依序釋出 5.6%、一次放出 5.7%，沒有檢定。
參考資料
每一條都讀完手上取得的那一版並留有抽取紀錄；版本與讀不到的部分寫在括號裡。
- Reich & Ruipérez-Valiente (2019), The MOOC pivot（讀的是 MIT 典藏的作者最終稿，含補充材料；Science 刊出版沒有讀）。
- Jordan (2014), Initial Trends in Enrolment and Completion of Massive Open Online Courses（刊出版，開放取用；ERIC 全文）。
- Kizilcec, Reich, Yeomans et al. (2020), Scaling up behavioral science interventions in online education（PMC 刊出版與 SI Appendix；SI 的 Table S4、S5 沒有對版面）。
- Yeomans & Reich (2017), Planning Prompts Increase and Forecast Course Completion in Massive Open Online Courses（讀的是 MIT 典藏的作者最終稿；OSF 上的預先登錄文件沒有讀）。
- Baker, Evans & Dee (2016), A Randomized Experiment Testing the Efficacy of a Scheduling Nudge in a Massive Open Online Course (MOOC)（刊出版，CC BY）。
- Patterson (2015), Can behavioral tools improve online student outcomes? Experimental evidence from a massive open online course（CHERI 工作論文 WP165）（Cornell eCommons 的工作論文；2018 年的期刊版與工作論文差異大，本文數字一律依工作論文）。
- Kizilcec, Pérez-Sanagustín & Maldonado (2017), Self-regulated learning strategies predict learner behavior and goal attainment in Massive Open Online Courses（讀的是第一作者網站上的刊出版；線上補充的問卷全文沒有讀）。
- Hsu & Tutwiler (2022), How Much and for Whom? A Multi-Wave Study of the Impact of Self-Regulated Learning Scaffolds on MOOC Student Academic Performance（ACM 刊出版；圖上的數值讀不出來，數字取自內文）。
- Ihantola, Fronza, Mikkonen, Noponen & Hellas (2020), Deadlines and MOOCs: How Do Students Behave in MOOCs with and without Deadlines（讀的是赫爾辛基大學典藏的作者稿）。
- Xu, Zhao, Zhang, Liew & Kogut (2022), A meta-analysis of the efficacy of self-regulated learning interventions on academic achievement in online and blended environments in K-12 and higher education（出版者的開放取用全文；三張圖沒有看）。
- Davis, Kizilcec, Hauff & Houben (2018), The Half-Life of MOOC Knowledge: A Randomized Trial Evaluating Knowledge Retention and Retrieval Practice in MOOCs（讀的是第一作者網頁上的 ACM 排版版；同一個實驗另有 Journal of Learning Analytics 的期刊擴充版，第 10 篇引的是那一版）。
- Mullaney & Reich (2015), Staggered Versus All-At-Once Content Release in Massive Open Online Courses: Evaluating a Natural Experiment（數字讀自作者公開的 HarvardX 工作論文版（2014，投稿前的作者稿），刊出版的表格沒有比對）。
- 本站文章：讀者程度不同怎麼寫、間隔複習在真實課程裡還剩多少、把間隔複習做進教學文章、系列文章的順序怎麼排、統計導讀系列地圖、CS231n 課程總覽、讀者會不會做文章裡的題目、教學文章要不要講用途、放趣聞、讀者知不知道自己懂了、Harvard CS50 AI 第 0 週導讀。
Loading...