Skip to content

用 AI 寫教材、當家教，研究測到什麼：內容錯誤率、人工把關、學生評分與家教實驗

2026年10月14日1 分鐘
首頁›learning
TL;DR讓 GPT-3.5 直接寫代數與統計的解題提示，32% 的題目答案和過程都錯；人工逐題篩過之後，學習效果和真人寫的提示分不出差異。AI 家教的隨機實驗有正有負：不設防的聊天機器人讓高中生考試變差，正向結果多半綁著逐題寫好的解答、老師在場或多出來的上課時間，而且沒有一個研究隔一段時間再考同樣的內容。
#learning-science#ai-and-learning#ai-tutor#self-learning#course-guide
系列: 教學文章怎麼寫 (28 / 30)
把別人的課重新講一次，值得嗎：研究債的論證、開放教科書、換教科書、極簡手冊與文件四分法本站的寫作與審查管線：AI 協作個案研究

查詞與收藏

正在載入查詞工具…

🌏 English version

這是「教學文章怎麼寫」系列的第 28 篇，屬於第六部分「怎麼知道有效，怎麼做出來」。前面的篇談作者手上的訊號、平台的大規模實驗，以及把別人的課重新講一次值不值得。這篇談一個越來越常見的做法：用 AI 寫教材，或在教材旁邊放一個 AI 家教。

起因是本站自己。本站的課程導讀有不少是由 AI agent 依講義與錄影字幕起稿，再交給另一個沒有參與撰寫的 agent 審稿。第 22 篇提過一句；這個流程擋下什麼、漏掉什麼，第 29 篇會完整談。另外，每篇文章頁旁邊有一個「Ask AI」側欄。第 21 篇談過它：提問的是讀者、回答的是模型。依預設設定，它先檢索本站文章，以檢索到的段落回答；找不到可靠的來源時，提示詞要求它回答知識庫沒有足夠的證據，不改用模型自己的一般知識；草稿兩輪都沒通過格式或品質檢查時，照樣顯示，前面加上「此回答可能不完整」的警語。所以這篇要回答兩個問題。第一，AI 寫出來的教學內容有多可靠，要怎麼把關。第二，在教材旁邊放一個 AI 家教，讀者會學得比較好嗎。

站上已經有一篇從學的人那一側寫的〈AI 讓你在該困難的地方變順〉，談學習者自己用 AI 會怎樣。那篇也整理過一份被大量引用的統合分析被撤稿的經過，作者是 Jin Wang 與 Wenxiang Fan（2025），和本文引用的 Rose Wang 等人、Yizhou Fan 等人是不同的研究。那份統合分析這裡不再引用。這篇換到做內容的人這一側，並且把每個實驗「比的是什麼」拆開來看。

來源怎麼選、有什麼偏向。來源是先掃描文獻、再挑出來精讀的：三篇檢驗 AI 產生的教學內容，九篇 AI 家教或 AI 輔助學習的隨機實驗，將近一半的結果是沒有測到差異或負向。偏向很明顯。第一，九篇裡有六篇是預印本或工作論文，沒有經過期刊審查。第二，用的模型是 2022 到 2024 年的 GPT-3、GPT-3.5、Codex、GPT-4，現在的模型錯誤率很可能不同，但這些研究無法告訴我們差多少。第三，科目集中在數學、程式與物理，受試者多半是大學生，也有土耳其的高中生、奈及利亞的高一學生、美國的國中小學生、Mechanical Turk 上的成人（年齡中位組 36 到 40 歲），以及免費線上課的成人學習者（平均 31.4 歲）。第四，沒有一篇研究的對象是讀網頁文章的自學者。列在參考資料裡的每一篇都從頭讀到尾，並留有抽取紀錄；只知道存在、沒讀到合法公開全文的，不引用。

先看結論

問題證據強度
AI 直接產生的解題提示，錯多少GPT-3.5 對 74 到 75 題代數與統計題，32% 的題目答案與過程都錯；多次生成取多數答案後，代數 0–2%、統計 13%弱：一篇、一種舊模型、只有不含圖的數學題
人工逐題篩過的 AI 提示，學習效果同一篇：勝過沒有提示的組，和真人寫的提示分不出差異；同一組作者的先導研究方向相反弱：同題立即後測，只有 3 題
學生怎麼評 AI 寫的範例與解說一篇沒有測到差異，另一篇學生給 AI 的較高、效果弱；都是學生打分，沒有人核對對錯，也沒量學習弱：只是觀感
讀者看不看得出 AI 寫錯了我讀到的研究裡沒有一篇直接測—
不設防的通用聊天家教土耳其高中：練習時成績大升，收走之後的考試比對照組差；德國實驗室：後測沒有測到差異中：方向不一，都是短期
加了防護、或由研究團隊設計好的家教土耳其高中：考試和對照組沒有測到差異；哈佛物理：勝過課堂主動學習 0.63 個標準差；奈及利亞：英語 0.24 個標準差，但對照組沒有課後活動中：正向結果都綁著大量人工或額外時間
限定讀者先讀 10 分鐘才能問 AI沒有比全程開放好，方向相反，差異只在 10% 水準弱：一個實驗
只把 AI 放在那裡，讀者自己決定用不用免費線上課：14% 的人用了，整組的參與下降；大學行銷課：多數人幾乎沒用，三項結果都沒有測到差異中：兩個大樣本隨機實驗
AI 給真人家教建議，不直接面對學生當堂小測通過率 +4 個百分點；年終測驗沒有隨機分派的比較中：只有當堂結果
AI 幫忙修改作文作文分數進步較多，知識與遷移測驗沒有測到差異；但設計上這兩項本來就不太會受影響弱
效果能不能維持沒有一個研究隔一段時間，用同樣的內容再考一次—

表裡的「個標準差」是把兩組平均的差除以分數的標準差，依 Cohen 的慣例，0.2 左右算小、0.5 左右算中，這是慣用的參考線，不是這些研究的說法。「沒有測到差異」的意思是統計上分不出來，不等於兩者一樣好。

一、AI 寫的教學內容

錯多少，怎麼壓低：一篇數學提示的研究

Zachary Pardos 與 Shreya Bhandari 2024 年的研究是我找到唯一同時量了「AI 產生的教學內容錯多少」和「篩過之後學習效果如何」的研究。題目取自 OpenStax 的四本代數與統計教科書，都是不含圖的題目。研究者把題目原樣丟給 ChatGPT 3.5（2022 年 12 月 15 日版），不特別設計提示詞，把回應整段當成一則解題提示。

第一個結果是錯誤率。六位評分者逐則檢查三件事：答案對不對、過程對不對、有沒有不當用語。32% 的題目沒有通過。不合格的全部是「答案錯、過程也錯」，沒有一則是用語、拼字或文法的問題。換句話說，錯誤不會從拼字或文法上露出來。各科不同，最高的是中級代數，將近一半。這個數字要帶著條件看：它是一個 2022 年底的模型、直接丟題目的單次回應、不含圖的中學到大學初階數學。原文正文與表上的題數有一點對不上，細節在附錄。

第二個結果是壓低的方法。每題讓模型生成 10 次，取答案最多的那一組，錯誤率降到代數 0% 到 2%、統計 13%。這個做法學術上叫 self-consistency。要注意兩點：分組與判定是人工做的，原文沒有描述自動化的版本；這個程序只用來估錯誤率，沒有用在下面的學習實驗裡。

第三個結果是學習效果，前提是人工把關。進實驗之前，第二作者逐則檢查 ChatGPT 的提示，任何一項不過，整題從題庫剔除。所以受試者看到的 AI 提示全部是對的。人工檢查平均每則 37.60 秒。

實驗在 Amazon Mechanical Turk 上做，分析 274 位成人（年齡中位組 36 到 40 歲），分三組：沒有提示、真人家教寫的提示、篩過的 ChatGPT 提示。流程是 3 題前測、5 題練習（只有這裡有提示）、3 題後測，後測和前測是同一份題目，同一節內立刻考。ChatGPT 組的進步顯著大於沒有提示的組；真人提示組和沒有提示的組沒有測到差異；ChatGPT 組和真人提示組也分不出差異。標題寫「equivalent」，但原文做的是差異檢定，不是等效性檢定。

同一組作者的先導研究（77 人，兩個代數科目）方向相反：真人提示的進步較大，而且差異顯著。作者把先導研究的結果歸因於 ChatGPT 組前測接近滿分。

作者在討論裡寫了一句建議：「Educators and education technology organizations should therefore be cautious when integrating raw ChatGPT output into their pedagogy without the use of error mitigation processing」。作者還說 ChatGPT 提示的製作時間是真人提示的二十分之一，原文沒有列出算法。

學生怎麼評：兩篇觀感研究

另外兩篇研究問的是學生覺得 AI 寫的東西好不好，場域是同一所大學（University of Auckland）2022 年的大一 C 語言課。兩篇的原文都沒有說是不是同一批學生，所以不能當成兩個獨立的樣本。

Paul Denny 等人 2023 年的研究把 Codex 照教學團隊的 6 個範例產生的約 100 個「程式範例加說明」，不經篩選直接混進學生互評的資源池，學生在不知道來源的情況下評分。987 個資源、4,499 筆評分裡，程式正確、說明正確、有幫助、整體品質、評分信心五項，學生寫的和 AI 寫的都沒有測到差異。最接近門檻的是整體品質，方向是學生寫的略高。標題問「Can We Trust AI-Generated Educational Content?」，但整篇沒有人核對內容實際對不對；「正確」是學生打的分數。比較對象也是大一同學，不是老師。另一個結果：AI 的產出緊貼給它的範例，程式較短、用到的語法種類較少，學生寫的變化大得多。

Juho Leinonen 等人 2023 年的研究換了一種內容：三個 C 函式的程式解說，GPT-3 寫的和學生寫的各一半，由近千位學生評分。學生覺得 GPT-3 的解說比較好懂，也比較像是正確的摘要，兩項都顯著，但作者自己說效果量弱。解說的長度在觀感與實際上都沒有測到差異。這篇有三個要一起記的條件：

  • 學生寫的那一半是依字數分層抽的，三分之二來自最短與最長的各 10%，不是學生解說的代表樣本。
  • 原文沒有交代學生知不知道哪些是 AI 寫的。
  • 作者自己說，程度較好的學生或老師寫的解說，被評得比 GPT-3 高是「possible – even likely」。

這篇還有一個對寫解說的人有用的觀察。原文列出一個函式的最高分與最低分例子，GPT-3 與學生各自最低分的那一則，都只有一句話或一個片語。GPT-3 那則是「This code snippet returns the largest value in an array of integers.」，內容沒有錯，「正確摘要」的分數卻明顯低於同一函式最高分的那則。作者在主題分析裡也說，學生會把簡短的解說評得低，即使它切中要點。開放題回答裡約兩成主動說想要逐行的解說，作者指出這和過去研究把簡短、抽象的解說評得較高相反。

讀者看不看得出 AI 寫錯了

這是寫教學文章的人最想知道的一題：如果 AI 起稿的內容有錯，讀者能不能自己發現？我讀到的研究裡沒有一篇直接測過。Denny 等人與 Leinonen 等人量的是學生打的分數，沒有在內容裡放進已知的錯誤，也沒有問學生分不分得出來源。Pardos 的實驗裡有錯的提示根本沒有進到受試者面前。

能確定的只有兩件事。第一，Pardos 那批錯的提示沒有任何拼字或文法問題，所以錯誤不會從文字表面露出來。第二，Leinonen 的研究裡，學生會把簡短的解說評得低，即使它切中要點；那則內容沒錯的一句話解說，「正確摘要」只拿到 3.7 分。把這兩件事連起來說「讀者看不出錯」，是我的推論，沒有研究直接支持。Pardos 等人建議把 AI 的回饋包裝成「不完美的機器人」好讓學生用批判的眼光看，這也是建議，那篇沒有測。

二、AI 當家教：九個隨機實驗各自比了什麼

AI 家教的研究很容易被簡化成「有效」或「無效」。讀完九篇之後，我覺得比結果更重要的是三件事：AI 組和誰比、AI 是怎麼被設定的、什麼時候考。下面這張表先把它們攤開，各研究的細節在後面幾節。

研究場域AI 組拿到什麼對照組什麼時候考結果
Bastani 等 2025土耳其高中數學，839 人仿 ChatGPT 的 GPT-4；或加了防護的版本只有課本，沒有發裝置同一堂課緊接著考，閉書不設防的組變差；加防護的組沒有測到差異
Lehmann 等 2025（v2）德國實驗室，Python 入門，107 與 69 人學習階段旁邊有不設限的 GPT-3.5同樣的教材，沒有 AI45 分鐘學習後立刻考兩個實驗都沒有測到差異
Kestin 等 2025哈佛入門物理，194 人，兩堂課在家用逐題寫好解答的 GPT-4 家教、預錄影片課堂主動學習每堂課後立刻考AI 組較高
De Simone 等 2025奈及利亞高一英語，6 週課後課兩人一台電腦用 Copilot，老師在場沒有任何課後活動課程一結束就考AI 組較高
Fischer 等 2025柏林實驗室，334 人，讀 7 頁教科書全程可問，或先讀 10 分鐘才能問只讀教材25 分鐘後立刻考全程可問的組較高
Nie 等 2025（v2）免費線上程式課，5,831 人一封信加一個按鈕，可用課程版 GPT-4沒有收到通知9 天後的自願測驗參與下降；分數沒有測到差異
Huang 等 2025美國大學行銷課，253 人可選用、不計分的課程 RAG 家教沒有家教第 14 週的課內考試沒有測到差異
Wang 等 2025（v2）美國國中小線上家教，約 900 位家教家教可以按鈕取得 AI 的回覆建議家教照常上課每堂課結束時的小測通過率 +4 個百分點
Fan 等 2025大學生英文寫作（英語為第二語言），117 人改作文的一小時可以問 ChatGPT沒有支援、真人專家、檢核工具一天內作文進步較多，知識與遷移沒有測到差異

（Lehmann、Nie、Wang 三篇在 arXiv 的第一版是 2024 年；我讀的是表上標的 v2。）

不設防的聊天機器人：土耳其高中

Hamsa Bastani 等人 2025 年在 PNAS 的實驗以班級為單位隨機分派、事先註冊，由外聘評分者盲評。土耳其一所高中約 50 個班，四堂各 90 分鐘的數學課，每堂分三段：老師複習、有輔助的練習、閉書不開電腦的考試。三組只差中間那段練習：

  • 對照組只有課本和筆記，沒有發裝置。
  • GPT Base：仿 ChatGPT 介面的 GPT-4，提示詞只給題目、要它當家教。
  • GPT Tutor：同樣的介面，提示詞多兩樣東西，一是不准給完整解答、只給漸進提示，二是老師寫的每題正解、常見錯誤與對應提示。

練習時兩個 AI 組的成績都大幅上升，但這項比較不在事先註冊的分析裡。到了考試，GPT Base 組比對照組低，作者的迴歸估計是對照組平均的 17%；事先註冊的 t 檢定版本差距較小，我從它的附錄表算出約 11%，方向與顯著性不變。GPT Tutor 組和對照組沒有測到差異，點估計還是負的，也就是加了防護的版本沒有測到比對照組差，也沒有測到比對照組好。

為什麼不設防的版本會傷害？研究者事後把學生最常送的一句「What is the answer?」對 57 題練習題各問 10 次，GPT Base 只答對 51%。作者的分析認為學生大多直接照抄答案。這裡有一個容易漏看的地方：GPT Tutor 的「防護」同時改了兩件事，不給答案，以及塞進老師寫好的正解。GPT Base 在研究者的重跑裡約一半答錯；GPT Tutor 的提示詞裡則有正解，它的錯誤率原文沒有量。所以兩組的差異不能只歸給「不給答案」。而且即使有防護，從對話紀錄的圖上讀，GPT Tutor 組仍有大約一半的對話含有要答案或照抄題目的訊息。

作者列的限制：只有一間學校、一個科目、2023 年秋天的部署，「we focus on short-term outcomes due to limitations imposed by our partner school」。考試緊接在練習之後，題目和練習題高度相似。

不設限的聊天視窗：德國實驗室

Matthias Lehmann 等人的預印本做了兩個事先註冊的實驗，受試者多數沒寫過 Python。實驗組在 45 分鐘的學習階段旁邊有一個不設任何限制的 GPT-3.5 聊天視窗，前測與後測都沒有。兩個實驗的後測都沒有測到差異。第二個實驗裡，AI 組在學習階段多做對約 2.6 題，到了後測這個差距沒有留下來。

摘要的說法是「要答案會降低理解、要解釋會提高理解」。這是作者標明的探索性分析，而且比我預期的薄：「要答案」那一半來自兩個實驗之間的比較（第一個實驗的電腦意外擋掉了複製貼上，第二個沒有），加入總訊息數當控制後就不再達到 .05；「要解釋」那一半是學生自己決定要問幾次的相關。兩種用法對整體後測都沒有顯著影響。這裡的「理解」也不是另一份測驗，是控制練習進度之後後測剩下的差異。同樣是探索性的另一個結果：前測低於中位數的人，有 AI 時理解反而較差；前測高的人較好。

結構化的家教勝過課堂：哈佛物理

Greg Kestin 等人 2025 年的實驗是這批研究裡唯一拿課堂主動學習當對照的。場域是哈佛給生命科學學生的入門物理課，採交叉設計：兩週兩個主題，每組一週用 AI 家教、一週上課，再對調。對照組是一堂主動學習課，老師帶活動、學生小組做、老師回饋。AI 組在家自己做同一份活動，引言換成攝影棚預錄的影片，所有回饋來自 GPT-4。課後立刻考的後測，迴歸估計 AI 組高 0.63 個標準差；作者說用分量迴歸估的效果更大，但沒有附表。

這個結果靠多少人工，原文寫得很具體：

  • 每一題的系統提示詞都放了題目、答案和逐步解法。作者寫「accuracy of our AI tutor relied on pre-written answers」。
  • 光靠提示詞不夠：「a system prompt could not reliably provide enough structure to scaffold problems with multiple parts」，所以平台強制學生依序做完每一小題。
  • 每堂課的提示詞要花幾天逐題試跑、修改；平台軟體開發花了好幾個月；影片在攝影棚錄，主講者有十年科普影片的經驗。

作者自己把這些列為效果可能依賴的條件，並寫「we do not presume that structured AI tutoring will always outperform in-class active learning in all contexts」。還有幾件原文沒有列為限制、但會影響怎麼讀的事：只有課後立刻考；沒有事先註冊；後測人數是 142 與 174，和納入的 194 人對不上；兩個條件同時差了地點、預錄影片、自訂步調與互動對象好幾件事。摘要寫「learn significantly more in less time」，時間的比較是 AI 組實測的中位數 49 分鐘，對上課堂組假定的 60 分鐘；另有 30% 的 AI 組學生花超過 60 分鐘。

老師在場的課後課：奈及利亞

Martín De Simone 等人的世界銀行工作論文（我讀的是 2025 年 12 月的更新版）在奈及利亞貝南市 9 所公立學校做。高一學生自願報名後抽籤，抽中的參加 6 週、最多 12 次、每次 90 分鐘的課後英語課。上課方式是兩人共用一台電腦用 Microsoft Copilot，老師在場巡堂，研究團隊事先寫好每堂的起始提示詞，要模型出題、等學生作答、答錯先給提示。

作者指定的主要結果是英語，效果是 0.24 個標準差；摘要與標題頁最先出現的 0.31 是含「AI 知識」與「數位技能」兩部分的總分，而實驗組第一堂課就在教 Copilot 是什麼。學校自己辦的英語考試是 0.21。

這個結果最需要記住的是對照組沒有任何課後活動：實驗組多了最多 18 小時、有老師在場、內容和課綱對齊的學習時間。作者自己說效果來自整套介入，要再加組別才能分開「additional instructional time and the interaction with the chatbot with teacher support」。另外，兩組做完期末評量的比例不同，我從它的人數算出實驗組約 64%、對照組約 50%；作者用兩種方法處理流失，其中一種把學校考試的效果降到 0.13。所有結果都是課程一結束就測，摘要裡「相當於 1.5 到 2 年學校教育」是換算，不是量到的。

限定使用時機：柏林實驗室

Mira Fischer 等人的 IZA 討論稿直接測了一種常見的直覺：先自己讀，再問 AI。334 位大學生讀 7 頁個體經濟學教科書節錄 25 分鐘，接著立刻考 25 題選擇題，不能看教材也不能用 AI。三組：只讀 PDF；全程旁邊有一個以教材做檢索的 GPT-4 家教；前 10 分鐘只能讀，後 15 分鐘才出現家教。

兩個 AI 組合併比只讀教材高 0.23 個標準差。拆開看，全程可問的組高 0.34，先讀再問的組沒有測到差異。事先註冊的假設是「先讀再問的組會比較好」，結果方向相反，兩組差 0.21，作者在正文說這只是 marginally significant（p = 0.066），摘要卻寫成「significantly」。

這篇的標題說 AI 家教「Without Crowding Out Reading Effort」，但研究沒有量閱讀。所謂閱讀時間是「第一次送出提問之前經過的時間」，兩個 AI 組都比對照組少得多，全程可問的組平均 5.7 分鐘就開始問。還有兩件事要記：這裡的「限制」只是把家教延後 10 分鐘開放，不是 Bastani 那種限制回答內容的防護，系統提示詞原文沒有交代；任務是讀教科書準備選擇題，不是練習解題。所以它能說的是「強制先讀 10 分鐘，沒有比全程開放好」，不能說「防護沒有用」。

只把 AI 放在那裡：兩個大樣本實驗

這兩篇和本站的處境最接近：它們比的是多提供一個 AI 工具、讓學習者自己決定用不用，對上不提供。

Allen Nie 等人的預印本在 Stanford 的免費線上程式課 Code in Place 做。第一週做完作業的 5,831 人隨機分成兩組，實驗組在第 4 週收到一封信，首頁多一個按鈕，可以進入課程自建、外觀仿 ChatGPT 的 GPT-4 聊天介面。進入前要先讀一頁說明，列出好處與壞處；提示詞裡預先放了作業題，讓它不容易直接給答案。9 天後是自願參加的測驗。

  • 實驗組只有 14.2% 在測驗前用過。作者說這在這門課是典型的自願工具使用率。
  • 實驗組參加測驗的比例比對照組低 4.3 個百分點，第 6 週的作業完成率也較低；小組出席校正後沒有測到差異。下降的是「收到通知、有權使用」的整組人，實驗組裡 85.8% 根本沒用，所以不能寫成「用了 AI 之後參與下降」。
  • 有考的人的分數，兩組沒有測到差異。作者估計真正用了的人可能多 6.9 分（滿分 100），但這個估計沒有通過多重檢定校正，而且依賴無法驗證的假設。

為什麼參與會下降，作者明說資料回答不了，只提了四個假說。其中一個和做法直接相關：作者懷疑使用前那一頁利弊說明本身就造成了阻力，「perhaps the existence of any handout, even if positive and short, could have been a point of friction that impacted outcomes」。

Weijiao Huang 等人的 OSF 預印本在美國一所州立大學的行銷學入門課做，253 人隨機分組。實驗組從第 4 週到第 14 週可以無限制使用一個以課程教材做檢索的家教，用不用、用多少自己決定，不計分。課程興趣、自我效能、考試成績三項，組別與時間的交互作用都沒有測到差異。使用量很低：做完前後問卷的 95 位實驗組學生裡，18 人從沒登入，43 人只在一個時期登入過，「Only 15 students interacted continuously with the Tutor.」登入集中在考試前後。兩組都被鼓勵使用同一套 Quizlet 單字卡，作者推測家教在這門課能多加的價值有限。這篇作者自稱是初步研究，原文有幾處樣本數與自由度對不上。

給老師用，不給學生用：美國國中小線上家教

Rose Wang 等人的 Tutor CoPilot 換了一個位置：AI 不直接面對學生，而是嵌在線上家教平台裡，家教按下按鈕，系統依最近 10 則對話回傳幾則「專家會怎麼回」的建議，家教決定要不要改、要不要送。隨機分派的是家教。對象是美國南部一個學區前一年州測驗低於年級水準的國中小學生，研究為期兩個月。

主要結果是每堂課結束時的小測（exit ticket，家教不能幫忙）：實驗組家教的學生通過率從 62% 升到 66%。這是意向治療效果，實驗組只有約 29% 的堂次真的用了工具。學生課後問卷五題、家教問卷四題都沒有測到差異。年終的標準化測驗在附錄 K：數學係數是負的（「math scores trending negative」），閱讀是正的，都不顯著；而且學生沒有被隨機分派，這個分析用的是「遇到實驗組家教的堂數比例」，所以它回答不了年終有沒有進步，作者自己也說未來要隨機分派學生。摘要說每位家教每年只要 20 美元，那只是語言模型 API 的費用，不含開發與訓練。

AI 幫忙改作文：知識測驗本來就不太會動

Yizhou Fan 等人 2025 年在 BJET 的實驗（我讀的是刊出前的投稿稿）讓 117 位英語為第二語言的大學生（多數作者在北京大學）讀英文材料兩小時、寫一篇短文，再花一小時修改。四組只在修改那一小時不同：可以問限定只給建議的 ChatGPT、可以和真人專家文字對談、可以用寫作檢核工具、沒有額外支援。ChatGPT 組的作文進步比沒有支援的組多約 2 分（滿分 25），真人專家與檢核工具則和沒有支援的組沒有測到差異。知識測驗與遷移測驗四組都沒有測到差異。

這篇容易被讀成「用 AI 寫得比較好卻沒有學到比較多」，但設計上不能這樣讀：知識與遷移測驗考的是前兩小時讀的材料，而四組在那兩小時的條件完全相同。作者在討論裡也提到，實驗室裡有人繞過限制，把 ChatGPT 給的例句貼進文章來迎合評分表，沒有給人數。篇名的「metacognitive laziness」不是量到的結果，作者在限制寫「The last limitation is the lack of targeted and matured measures for assessing metacognitive laziness within the study’s design.」

學生覺得學到的，和實際考的

Bastani、Fischer、Lehmann 三篇另外問了學生的感受，第 25 篇已經用同一批數字整理過，這裡不重講。和這篇有關的只有一點：三篇裡都有一組有 AI 的學生，自評高過實際成績能解釋的，例如 Bastani 的 GPT Tutor 組實際沒有考得比較好，卻顯著覺得自己考得比較好。但這些多半是把兩個分開的結果並排比，Fischer 的全程可問組甚至看起來略為低估。

來源說法不同的地方

以下幾組結果方向不同，或看起來衝突、其實量的東西不一樣。我把它們並列，不選邊。

要不要設防護。Bastani 等人：不設防的 GPT-4 組考試比對照組差，加防護的版本和對照組沒有測到差異。Fischer 等人：限定先讀 10 分鐘的組沒有比全程開放好，方向相反。兩邊測的「限制」不同：前者限制的是回答內容（不給答案，並附老師寫的正解），後者限制的是開放的時間。任務也不同：前者是練習解題，後者是讀教科書準備選擇題。

AI 家教的效果是正是零是負。正向：Kestin（0.63 個標準差，對課堂主動學習）、De Simone（英語 0.24，對沒有課後活動）、Fischer（全程可問 0.34，對只讀教材）、Wang（當堂小測 +4 個百分點，對照常上課的家教）。沒有測到差異：Lehmann 兩個實驗、Huang、Bastani 的 GPT Tutor、Nie 的分數。負向：Bastani 的 GPT Base。正向的四篇裡，AI 都不是直接拿來用的通用模型：Kestin 逐題寫好解答，De Simone 由研究團隊寫好提示詞且老師在場，Fischer 以教材做檢索，Wang 的建議只給家教看；Lehmann 與 Bastani GPT Base 則是不設限的通用模型。Fischer 的系統提示詞原文沒有交代，它和其他篇的差別還有只學 25 分鐘、教材是 7 頁教科書。我沒辦法從這些研究裡分出哪一個因素造成差異，因為每一篇同時改了好幾件事。

AI 讓學生更投入還是更不投入。Kestin 等人：AI 組自述的投入感與動機較高（四題中兩題，另兩題沒有測到差異）。Nie 等人：提供 AI 之後，參加測驗與交作業的比例下降。兩者量的不同：前者是做完一堂課後的問卷，後者是幾週內的實際行為；前者的學生都被要求用，後者只有 14% 的人用了。

學生覺得 AI 寫的好不好。Denny 等人：學生評 AI 與同學寫的範例，五項都沒有測到差異。Leinonen 等人：學生覺得 GPT-3 的解說較好懂、較正確，效果量弱。兩篇的內容不同（程式範例對程式解說）、模型不同（Codex 對 GPT-3），Leinonen 那邊的學生解說是依長度分層抽的，Denny 那邊的 AI 產出沒有篩選。

Bastani 的傷害有多大。本站 2026-08-04 那篇與原文摘要都寫 17%，那是作者另外提出的迴歸設定。事先註冊的主要分析是 t 檢定，差距是 0.035 分（滿分 1），我算出約對照組平均的 11%。方向與顯著性兩者相同。

人工提示和 AI 提示誰好。Pardos 與 Bhandari 的正式實驗：兩者分不出差異，數字上 AI 較高。同一組作者的先導研究：真人提示顯著較好。作者把差別歸因於先導研究的 AI 組前測太高。

可以做的事

下面每一條都是我（本站）的判斷，括號裡寫依據是哪幾項結果。分成用 AI 起稿的人，和想在文章旁放 AI 家教的人。

用 AI 起稿的人：

  1. 每一個算出來的答案、每一段推導，都要有人或程式獨立重算一次，不要只讀過去。（依據：Pardos 的 32% 錯誤全部是答案與過程都錯，沒有一則有拼字或文法問題，所以錯誤不會從文字表面露出來；讀者看不看得出來，沒有研究測過，見上一節。限制：只有一篇、一種舊模型、只有數學題。）
  2. 重算對不上的那一題，整題拿掉或重寫，不要改幾個字留下來。（依據：Pardos 的做法是剔除整題，學習實驗用的是剔除後的題庫。這是那篇的做法，不是被比較過的條件。）
  3. 重要的計算讓模型獨立生成幾次，答案不一致就當成警訊。（依據：多次生成取多數答案，代數錯誤率降到 0–2%，統計仍有 13%。限制：分組與判定是人工做的，沒有進學習實驗。）
  4. 不要拿讀者的好評當成內容正確的證據。（依據：Denny 與 Leinonen 的「正確」都是學生打的分數，沒有人核對；Leinonen 裡沒有錯的一句話解說被打低分。）
  5. AI 寫的例子容易長得和你給它的範例很像，自己補幾個不同型態的例子。（依據：Denny 等人的 AI 產出緊貼範例、變化小。只有一篇，內容是 C 語言短函式。）

想在文章旁放 AI 家教的人：

  1. 先預期多數讀者不會用它。（依據：Nie 14.2%、Huang 95 人裡 61 人從沒登入或只在一個時期登入過。兩篇都是自願、不計分的工具，和部落格旁的側欄條件相近；但兩篇都是正式課程，部落格讀者的使用率沒有研究量過。第 10 篇談過讀者做不做文章裡的題目，是同一類問題。）
  2. 如果要讓它回答練習題，先給它正確答案。（依據：Bastani 的不設防版本在研究者重跑時約一半答錯，GPT Tutor 與 Kestin 的家教都在提示詞裡放了逐題正解，Kestin 的作者寫準確度靠預先寫好的答案。限制：兩篇都是數學與物理解題。）
  3. 不要以為「先自己讀一段再開放 AI」一定比較好。（依據：Fischer 的唯一直接測試裡方向相反。限制：只有一個 25 分鐘的實驗，差異只在 10% 水準。）
  4. 使用前的警語與說明頁寫短，或放進對話裡，不要擋在門口。（依據：Nie 等人懷疑說明頁本身造成阻力。這是作者的假說，沒有被檢驗；說明頁正面與警示兩種版本之間，長期參與沒有測到差異。）
  5. 不要把它當成能替讀者判斷懂了沒有的東西。（依據：Bastani、Fischer、Lehmann 三篇裡都有 AI 組的自評高過實際成績能解釋的；Bastani 與 Fischer 是把兩個分開的結果並排比，Fischer 的比較沒有做檢定，Lehmann 是探索性分析；Fischer 全程可問的組則略為低估。）

對照本站的做法

本站的做法對應的研究是依據還是本站的選擇
課程導讀有不少由 AI agent 依講義與字幕起稿Pardos：舊模型直接寫數學提示，32% 有錯；篩過之後的學習效果和真人提示分不出差異本站的選擇。錯誤率研究只有數學提示一篇，導讀的內容類型（概念解說、課程結構、引述）沒有研究測過
另一個沒參與撰寫的 agent 審稿，對照原始講義與字幕，例如重算自我檢查題、重跑文中的程式Pardos 的把關是人逐題檢查答案與過程，平均 37.60 秒一則，不過就整題剔除方向和 Pardos 的做法一致，但審稿者是 agent 不是人。agent 審 agent 能擋下多少錯，沒有研究測過；第 29 篇會用本站的審稿紀錄談
審稿除了寫法與教學完整度，逐項核對對錯與依據（重算、重跑、回原始講義與字幕），不以讀起來順當成通過Denny：學生的觀感分數沒有測到 AI 與同學寫的差異；Leinonen：學生給 GPT-3 的分數較高、效果量弱，也會把簡短但切中要點的解說評得低本站的選擇。方向和這兩篇的結果一致，但兩篇都沒有測過審稿
每篇文章旁有 Ask AI 側欄，以本站文章為主要來源，讀者自己決定問不問Huang：可選用的課程檢索家教，多數人幾乎沒用，三項結果都沒有測到差異；Nie：多提供一個 AI 工具，整組參與下降；Fischer：以教材做檢索的家教，25 分鐘後立刻考有正向效果本站的選擇。三篇都是正式課程裡的學生；部落格讀者旁的問答側欄，對學習的影響沒有研究測過
側欄沒有針對每一題預先寫好解法與提示，它能用的是檢索到的文章段落正向的家教實驗多數有逐題寫好的解答或老師寫的提示詞本站的選擇。我不把那些實驗的結果套到側欄上

今晚可以做的三件事

  1. 挑一篇用 AI 起稿、有計算或推導的文章，把每一個數字自己重算或用程式重跑一次，對不上的段落整段重寫。
  2. 同一篇裡挑一個最關鍵的例子，請模型用同樣的提示獨立生成三次，比對三次的答案是不是一致；不一致就回頭查原始資料。
  3. 如果你的網站或課程旁邊有 AI 問答，回頭看它前面那一段說明或警語，問自己：讀者要讀完這段才能開始問嗎？如果是，試著縮成一句，放進對話框的提示文字裡。

這些證據的限制

  • 沒有一個研究的對象是讀網頁文章的自學者。最接近的是 Nie 的免費線上課與 Huang 的可選用家教，兩者仍是有作業、有考試的課程。
  • 沒有延後測驗。每一個實驗都在學完當下、當堂結束或一天內考；考得比較晚的兩個，Huang 第 14 週的課內考試考的是最後一段的內容，Wang 的年終測驗不是隨機分派的比較。Nie 的測驗在開放使用 9 天後舉行，也不是延後測驗。AI 家教的效果能不能留下來，這批研究回答不了。
  • 模型很舊。GPT-3、GPT-3.5、Codex、GPT-4，都是 2022 到 2024 年的版本。Pardos 的 32% 不能當成現在模型的錯誤率；這些研究也無法告訴我們現在差多少。
  • 很多篇沒有經過期刊審查。Lehmann、Nie、Wang、Huang、Denny 是預印本，De Simone、Fischer 是工作論文。Kestin 的作者說不預設結構化的 AI 家教在所有情境都會勝出，Fischer 的作者把結論限定在「at least in our setting」；Huang 的作者自稱是初步研究。
  • 每個實驗同時改了好幾件事。Bastani 的對照組沒有裝置，防護同時包含不給答案與老師寫的正解；Kestin 的 AI 組同時換了地點、影片與步調；De Simone 的 AI 組多了 18 小時的課與老師；Nie 的實驗組同時收到信、讀到說明頁、可以用工具。
  • 研究者與工具開發方有關係。原文寫到的：Wang 等人的第一作者在研究期間兼職任職於合作的家教公司；Fischer 等人致謝與合作的是家教平台的共同創辦人；Kestin 等人的補充資料裡，平台標示為 TeachGPT.com，作者貢獻欄寫軟體由第一作者構想與開發。Kestin 等人聲明沒有利益衝突，另兩篇沒有利益衝突聲明。這是可驗證的事實，我不推測它們對結果的影響。
  • 讀者能不能看出 AI 的錯，沒有研究直接測過。
  • 幾項會影響解讀的細節，原文沒有寫：Denny 等人沒有寫參與評分的學生人數；Leinonen 等人沒有寫 GPT-3 的提示詞、溫度與是否挑選過產出；Kestin 等人的後測人數（142 與 174）和納入的 194 人對不上，沒有解釋原因，83% 的學生說 AI 的解釋一樣好或更好，這題也沒有說何時問、幾人答；Huang 等人沒有寫原始分派人數與各組流失；Fan 等人沒有寫作文是否由不知組別的人評分。
  • 我的推論有幾處：「讀者看不出 AI 寫錯」那一段；可以做的事十條與今晚可以做的三件事；把觀感研究的結果連到本站審稿的看法；把可選用工具的研究連到 Ask AI 側欄。
  • 沒有引用的研究：Jin Wang 與 Wenxiang Fan 2025 年那份統合分析（和本文引用的 Rose Wang、Yizhou Fan 是不同研究）已於 2026-04-22 被撤稿，見〈AI 讓你在該困難的地方變順〉。

附錄：各研究的設計與數字

正文每項只留一兩個數字，其餘放在這裡。

Pardos 與 Bhandari（2024），PLOS ONE 19(5)。內容品質：ChatGPT 3.5「Dec 15 Version」對 OpenStax 四本教科書的題目單次回應；六位大學部評分者，Fleiss' κ 0.857 到 0.929。不合格：Elementary Algebra 24 題中 6、Intermediate 15 題中 7（47%）、College 11 題中 3、Statistics 24 題中 7；全部是答案與過程都錯。正文寫平均 75 題中 24 題（32%），表上相加 74 題中 23 題（31.1%）。Self-consistency（每題 10 個回應取眾數答案）：0%、2%、2%、13%。ChatGPT 提示長度中位數 355 字，真人提示序列 277 字。學習實驗：2023-02-28 到 05-10，招 394 人、排除 120 人，分析 274 人（對照 90、真人提示 86、ChatGPT 98），每格 16 到 28 人，原訂每格 35 人。整體增益（3 題測驗的百分點）：對照 1.85、真人 11.62、ChatGPT 17.00。條件主效果 F(2, 262) = 5.037，p = 0.0071；條件 × 科目不顯著。Dunn's test：ChatGPT 對對照 p = 0.011；真人對對照 p = 0.087；ChatGPT 對真人 p = 0.416。兩個提示組作答時間都比對照久，彼此沒有測到差異。逐科看，前後測達顯著的只有 Elementary 的三組（含對照組 22.66%）與 Statistics 的 ChatGPT 組。ChatGPT 組整體前測 43.51%，低於另兩組約 10 個百分點；作者只報各科內的前測平衡。人工檢查平均 37.60 秒一則；真人提示的品質檢查時間原文沒有報告。先導研究 77 人，真人提示顯著較好。

Denny、Khosravi、Hellas、Leinonen、Sarsa（2023），arXiv:2306.10509 v2。University of Auckland 大一 C 語言課，2022 年 950 人修課。Codex（code-davinci-002）、temperature 0.7，以 6 個教學團隊範例做 few-shot，產生 100 個（表上 101 個）資源，沒有篩選。學生資源 886 個、4,053 筆評分；AI 資源 101 個、446 筆評分。五項評分（中位數都是 4）：程式正確 4.09 對 4.03（p = 0.46）、說明正確 4.01 對 4.10（p = 0.13）、有幫助 3.91 對 3.89（p = 0.72）、整體品質 3.94 對 3.85（p = 0.07）、評分信心 3.95 對 3.97（p = 0.43），前者是學生。程式長度中位數 AI 224 字元、學生 377；說明長度 AI 395、學生 303。評分以筆為單位，沒有處理同一評分者或同一資源的重複。

Leinonen 等（2023），ITiCSE 2023。University of Auckland 大一 C 語言課，2022 年約 1,000 人修課。三個走訪陣列的 C 函式，每個函式收到 963 則學生解說；依字數分三層（最短 10%、中間、最長 10%）每層抽 3 則，共 27 則；GPT-3 每個函式 9 則，共 27 則。954 位學生每人評 4 則。易懂 3.75 對 4.12（p = 3.0 × 10⁻³¹，RBC 0.206）；正確摘要 3.78 對 4.0（p = 2.9 × 10⁻¹²，RBC 0.123）；長度觀感 2.75 對 2.66（p = 0.025，未過 Bonferroni 門檻 0.0125）；實際長度 811 對 760 字元（p = 0.764），前者是學生。100 則開放題：關注具體面向 57 人、概括面向 65 人；逐行解說 21%、變數名稱與輸入輸出 36%、定義術語 8%；40% 提到長度。

Bastani、Bastani、Sungu、Ge、Kabakcı、Mariman（2025），PNAS 122(26)，連同附錄。土耳其一所高中，2023–2024 學年秋季，9 到 11 年級。主樣本 839 人（GPT Tutor 277、對照 320、GPT Base 242），排除資優班與沒填問卷者；含資優班 943 人。四場各 90 分鐘，合計約占該學期數學課的 15%。模型 GPT-4-0613。成績 0 到 1。練習（未事先註冊）：GPT Base +0.137、GPT Tutor +0.361，對照平均 0.284。考試（迴歸）：GPT Base −0.054（SE 0.022），GPT Tutor −0.004（SE 0.013），對照平均 0.321。事先註冊的 t 檢定：GPT Base −0.035［−0.057, −0.012］，p = 0.003；GPT Tutor −0.006，p = 0.613。各種穩健性設定下 GPT Base 落在 −0.041 到 −0.069，GPT Tutor 都不顯著。GPT Base 對練習題：答對 51%、邏輯錯 42%、算術錯 8%。感受（附錄 Table B.8）：GPT Tutor 自評考得如何 +0.130（p < .05）、練習的價值 +0.271（p < .01），自評學到多少不顯著；GPT Base 兩項不顯著。異質性（前一年 GPA、有無家教、自習時數）在考試上都不顯著。平台停留時間 GPT Base 平均 15.5 分鐘，GPT Tutor 多約 2 分鐘。

Lehmann、Cornelius、Sting（2025），arXiv:2409.09047 v2。Study 2：2024 年 6 月，N = 107，79% 沒寫過 Python；Study 3：三週後，N = 69，可以複製貼上。前測 20 題、學習 45 分鐘 24 個單元、後測 20 題，GPT-3.5-turbo-0125 只在學習階段。Study 2 後測 7.9 對 9.0（p = 0.206），迴歸 p = 0.580；Study 3 後測 6.8 對 8.8（p = 0.092），迴歸 p = 0.298，學習階段 +2.614（p = 0.013）。訊息類型：要解答 54.1%、要解釋 24.4%。探索性：複製貼上對「理解」−1.407（p = 0.009），對整體後測 −0.249（p = 0.737）；要解答次數對理解 −0.312，加入總訊息數後 −0.223（p = 0.090）；要解釋次數對理解 +0.249（p = 0.05）。前測高於中位數者對理解 +1.613（p = 0.034）、低於中位數者 −0.950（p = 0.043）。自評學習 +0.338（SE 0.166，p = 0.044，N = 176）。實地資料（Study 1，113 人）用程式碼和 ChatGPT 解答的相似度當代理指標，累計相似度每單位，之後題目的成績 −0.02 到 −0.06。

Kestin、Miller、Klales、Milbourne、Ponti（2025），Scientific Reports 15，連同補充資料。哈佛 PS2，2023 年秋第 9、10 週，修課 233 人、納入 194 人（Group 1 96、Group 2 98），以同儕小組為單位分派。基線 FCI 13.3 對 15.2（p = 0.28）。課堂條件 75 分鐘，其中 15 分鐘考試，作者假定學習時間 60 分鐘。模型 GPT-4-0613。後測中位數 AI 4.5（N = 142）、課堂 3.5（N = 174），前測中位數 2.75（兩組合併）；我從中位數算出增益 1.75 對 0.75。迴歸標準化係數：條件 0.63、前測 0.18、先前 AI 使用經驗 −0.15、作答時間 0.1（不顯著），R² = 0.21。AI 組作答時間中位數 49 分鐘，30% 超過 60 分鐘。感受：投入 4.1 對 3.6、動機 3.4 對 3.1，都顯著；喜歡與成長心態沒有測到差異；四題都沒有問學到多少。83% 的學生說 AI 的解釋和課堂老師一樣好或更好。

De Simone、Tiberti、Barron Rodriguez、Manolio、Mosuro、Dikoru（2025），World Bank PRWP 11125，2025 年 12 月更新版。貝南市 9 所有電腦教室的公立學校，2024-06-03 到 07-11。高一自願報名者抽籤，實驗組 657、對照組 671；做完期末評量 422 與 337。實驗組平均出席率約 72%。主迴歸 N = 654：加權總分 0.310（SE 0.068）、IRT 0.263、英語 0.238（SE 0.068）、AI 知識 0.309、數位技能 0.139（10% 水準）；學校第三學期英語考試 0.206（SE 0.067，N = 636）。逆機率加權：總分 0.272、英語 0.194、學校考試 0.134、數位不顯著。Lee 邊界：英語 0.202 到 0.238。逐一拿掉一所學校：0.156 到 0.360，拿掉最大的一所時只在 10% 水準顯著。異質性：女生交互作用 0.420（同一規格下男生 −0.039，不顯著；作者說受一所女校影響）、基線成績 0.151、社經地位 0.113，都 p < .05。每多出席一天約 0.033 個標準差（以抽籤為工具變數）。每人成本約 48 美元，不含電費與學校設施。學校組成有兩所在兩組間不平衡。

Fischer、Rau、Rilke（2025），IZA DP 18338。柏林工業大學實驗室，2025 年 2 月，分析 334 人（對照 112、全程 102、先讀 120）。教材是 Varian《Intermediate Microeconomics with Calculus》兩段節錄；不能做筆記。acemate 平台的 GPT-4 檢索式家教。test 2 標準化成績：合併 0.227（SE 0.106）；全程 0.337（SE 0.116）；先讀 0.132（SE 0.122）；兩者差 p = 0.066。第一次提問前的時間：先讀組約 11.2 分鐘、全程組約 5.7 分鐘。提問數 6.1 對 7.0，沒有測到差異。信念：對照組認為應先讀約 17 分鐘，兩個 AI 組約 15.5 分鐘。喜歡準備過程：先讀組 +0.308（p < .05），全程組不顯著。考後自估：全程 +0.195（p < .1）、先讀 +0.217（p < .05）。異質性五個調節變項裡，交互作用顯著的只有一個，作者說沒有做多重檢定校正、只能當提示。

Nie、Chandak、Suzara、Malik、Woodrow、Peng、Sahami、Brunskill、Piech（2025），arXiv:2407.09975 v2。Code in Place 2023 春季，報名 8,762 人，第一週後仍活躍的 5,831 人進入實驗，60% 實驗組（3,581）、40% 對照組（2,250）。介入 9 天。通知信開信 77.6%、點進連結 15.1%、測驗前用過 14.2%（510 人）。測驗參加率 44.1% 對 48.5%（−4.3 個百分點，校正後 P = .020，原文另一處寫 .006）；第 6 週作業 −4.6 個百分點；小組出席校正後不顯著。全文 15 個檢定以 Bonferroni 校正。有考的人平均 87.0 對 86.1，兩組中位數都是 95.9。全體意向治療效果：只算有考的人 +0.91［−0.00, 1.89］，補缺漏 +0.67［−0.37, 1.72］，都是 90% 信賴區間。採用者效果（工具變數，補缺漏）+6.86，90% CI［0.30, 14.13］，校正後不顯著。對話主題：概念釐清 37.6% 到 53.3%，想套作業答案 1% 到 4%。低人類發展指數國家（180 人）的參加率方向相反（+14.8 個百分點），校正後不顯著。原文有多處數字前後不一，例如參加率的組別在一處標反。

Huang、Thoeni、Fryer（2025），OSF 預印本 v2。美國東南部一所州立大學行銷學入門課，一個線上班、兩個面授班。最終 253 人（對照 126、實驗 127）。家教以 ChatGPT-4o API 結合課程詞彙、各章摘要與範例題（另一處寫是 Microsoft Azure 建的 RAG 系統）。組別 × 時間：課程興趣 β = −0.02（p = .645）、自我效能 −0.01（p = .739）、考試 0.04（p = .418）。原始分數：對照前測 77.9% → 後測 80.5%，實驗 76.2% → 80.1%；我從表算出差 1.3 個百分點，原文沒有報告組間差異的效果量或信賴區間。前測與後測考的內容不同。組內依登入時期數分四類（None 18、One-time 43、Occasional 19、Regular 15），三項結果都沒有測到差異，這部分是觀察資料。面授學生登入較多（p < .001），沒有工作的學生平均登入 6.02 次、有工作的 2.77 次。

Wang、Ribeiro、Robinson、Loeb、Demszky（2025），arXiv:2410.03017 v2，事先註冊。FEV Tutor 與美國南部一個學區，2024 年 3 月底起兩個月。學區指定 1,787 名學生；有資料的堂次只有 3 到 6 年級。家教人數原文有 900、874、879 幾種寫法；研究開始時有上課的 782 人。每位家教平均約上 5 堂、約 200 分鐘。分析 4,136 堂。Exit ticket 通過：+0.04（SE 0.01），對照 0.62；有作答 +0.02（p < 0.1）；以有作答為條件 +0.03（表上 p < 0.05，內文寫 p < 0.01）。以分派為工具變數估「該堂有用」：+0.14。依家教品質評分最低的三分之一 +9 個百分點，年資最淺的三分之一 +7，沒有表與檢定統計量。MAP 數學 −0.35（SE 0.88）、閱讀 +1.44（SE 1.45），基線不補值時 −0.59 與 +1.56，都不顯著，n 約 1,000。實驗組堂次約 29% 用過工具。API 費用兩個月共 1,419.66 美元。學生問卷五題、家教問卷四題、參與分數都沒有測到差異。

Fan 等（2025），BJET 56(2)，讀的是 arXiv:2412.09315 投稿稿。117 位大學生，英語是第二語言，2023 年 7 到 9 月。流程：前測 30 分鐘、讀寫 120 分鐘、修改 60 分鐘、後測。各組人數稿內前後不一（方法段 CN 30、AI 35、HE 25、CL 27）。修改前作文分數沒有測到差異。進步分數 F = 4.549，p = 0.005；AI 比無支援多 1.970［0.083, 3.858］，比真人專家多 2.120，比檢核工具多 2.200，都經 Tukey 校正後顯著；其餘三對沒有測到差異。知識後測 F = 0.913，p = 0.438；遷移 F = 0.019，p = 0.996。動機四個分量表都沒有測到差異。歷程紀錄：AI 組修改時「定向」比無支援組多，「評估」沒有測到差異，只有檢核工具組的評估增加；作者在討論裡說 AI 組後設認知歷程較少，和這個圖對不上。附錄表格有誤貼（檢核工具組修改後分數和修改前一字不差），刊出版是否更正，我沒有比對。

參考資料

每一條都從頭讀到尾並留有抽取紀錄；讀的版本寫在括號裡。

相關文章

教學文章誰讀不到：WCAG 對圖、程式碼、公式與影片的要求，螢幕閱讀器使用者的研究與 UDL 的實證1 min「做中學」的證據在量什麼：課堂統合分析、ICAP 與 doer effect1 min教學文章裡的程式碼要寫到什麼程度：步驟標籤、追蹤、Parsons 題與跑不跑得起來1 min