這篇要回答的問題是:一篇教學文章裡的術語、符號、公式和英文原文,哪些寫法會讓讀者卡住,作者能做什麼,這些做法各有多少證據。
起因是本站的課程導讀。這幾個月寫下來,卡住讀者的地方有一部分和內容難不難無關,是記號本身出了問題。三個例子:
- Stanford CS229 系列的文章用了大量 LaTeX 公式,寫的時候以為站上會渲染,結果站上當時沒有任何數學渲染,讀者看到的是 LaTeX 原始碼。2026-10-12 補上選用的渲染功能時,那筆 commit 記錄還有 74 篇既有的公式文沒有開啟(到 2026-10-14,站上設了這個選項的檔案有 114 個,含英文版與之後新寫的)。
- Harvard CS50 AI 第 3 週把 constraint 在線性規劃一節譯成「限制式」,在約束滿足問題一節譯成「約束」。審稿時被指出讀者不一定知道兩者是同一個字,後來補了一句交代。
- 站上有一個行內詞彙表:已知的術語第一次出現時加底線,滑鼠移上去或點一下會跳出說明框。形式和下面第一個實驗測的一樣,但說明的內容來源不同,後面對照時再談。
這是「教學文章怎麼寫」系列的第 4 篇。第 1 篇談例子、解釋與開頭;第 9 篇談文中的問題與用語,其中簡短寫過行話的那個實驗,這裡補上它的條件與後續研究;第 2 篇談圖。非母語讀者、翻譯與雙語的完整討論留給之後的篇,這裡只談術語與記號那一部分。
先講這批證據的偏向,因為它決定了這篇能說到哪裡。 我精讀了 12 個來源,加上一篇沒有資料的立場文。它們量的東西五花八門:讀者自評讀起來順不順、外語學習者記住幾個生字、研究者在論文裡找一項資訊花多久、新手寫出的程式有幾成正確、專業開發者找到錯誤的速度、論文被引用幾次。沒有一篇以「讀者讀懂了沒有」為結果,比較兩種記號或術語寫法。 中文與日文的研究我只查了幾組關鍵字,一篇都沒有找到;所以凡是講到中文讀者、中英並列的地方,都是我的推論。
先看結論
| 問題 | 證據 | 強度 |
|---|---|---|
| 行話會讓讀者覺得難讀嗎 | 一個實驗:一般民眾讀有行話的科技短文,自評流暢度較低;另一個實驗在 2020 年 3 月底的 COVID-19 主題上沒有這個效果 | 中;量的是感受與態度,沒有量理解 |
| 滑鼠提示的定義能補救嗎 | 同一個實驗:有沒有滑鼠提示的定義,流暢度沒有差別;沒有記錄多少人真的去看 | 弱 |
| 定義或註解放哪裡 | 外語閱讀的統合分析:有註解記住較多生字;和沒有註解相比,頁邊、超連結與選擇題式都顯著較好,緊貼在字後面的點估計最低;文末詞彙表研究太少估不準 | 有註解 vs 沒有:中到強;形式之間:弱。量的是記生字,不是讀懂 |
| 把定義帶到讀者眼前 | 一個 27 人的可用性研究:在論文裡找資訊快了約 45 秒,答對率沒有變;工具列出的定義不完整時,讀者被誤導 | 弱到中 |
| 非英語母語者讀英文教材卡在哪 | 840 份問卷:讀教材是最常被提到的困難;想要簡單的英文、行內字典;有一小群人寧可讀原文、不要翻譯版 | 受訪者自述;樣本英文程度偏高 |
| 介面翻成母語學得比較快嗎 | Scratch 的觀察資料:用母語介面的人起點較低、之後增加得稍快,差距很小 | 弱;相關 |
| 程式的關鍵字與符號用什麼字 | 一組實驗:結構相同、只把關鍵字換成隨機字元的語言,新手正確率較低;Java 與 Perl 和它分不出高下 | 中低;每組 6 到 13 人 |
| 變數用完整單字還是縮寫 | 72 位專業開發者的實驗:完整單字找錯較快;機器產生的縮寫和單字母之間沒有測到差異 | 中;受試者不是學習者 |
| 公式多會不會讓讀者讀不懂 | 生物與物理論文的引用數都有人算出和正文公式密度負相關;這個相關可不可靠,雙方爭論沒有收斂;沒有人量過理解 | 相關本身:中;推到讀者:沒有證據 |
| 作者怎麼讓公式好讀 | 47 份挑過的文件與 12 位作者訪談:上色、標籤最常見,很費工;沒有讀者資料 | 只描述做法 |
行話:讀者覺得難讀,加了滑鼠提示的定義沒有測到改善
第一個實驗
Olivia Bullock 等人 2019 年的實驗招募了 650 位美國一般民眾(分析時是 640 人),讀三段新科技的說明:自駕車、手術機器人、3D 生物列印。每段三句話,術語版每段放了 10 個術語;白話版把術語換成較簡單的說明,字數相同。另外交叉分派有沒有定義:有定義的組被告知可以把游標移到畫底線的術語上,跳出來的定義和白話版的說明一字不差。
結果有兩個:
- 術語版的讀者,自評的處理流暢度(「讀起來輕不輕鬆、用詞熟不熟」這類 7 點量表題)明顯較低。作者再往下用統計模型連到抗拒被說服、風險感與對技術的支持。
- 有沒有滑鼠提示的定義,流暢度沒有測到差異,和術語的交互作用也不顯著。
三個條件決定這個結果能推多遠。第一,三句話裡有 10 個術語,密度很高,和一篇文章偶爾出現幾個沒解釋的名詞不是同一種情況。第二,實驗沒有記錄多少人真的把游標移過去看定義;作者自己在限制裡寫,滑鼠提示讓「想看就去找」變成一個額外的動作。所以「提示沒用」可能是看了仍然吃力,也可能是多數人沒看,原文分不出來。第三,量的是讀者覺得順不順,作者明說沒有直接量理解。
還有一個摘要沒提的結果:在預測「支持這項技術」的那個模型裡,定義條件本身是顯著的預測變項(方向原文沒有交代),作者沒有解釋。所以不能說定義提示「完全沒有作用」,只能說它沒有讓自評流暢度回升。
作者的建議對象是「第一次向非科學受眾介紹」的訊息,建議是能拿掉的行話就拿掉。原文沒有談教學情境。
第二個實驗:讀者有理由讀下去的時候
Hillary Shulman 與 Bullock 2020 年的實驗在 2020 年 3 月底、美國多數州剛開始封城時做。393 位 MTurk 受試者讀一篇幾百字的宣導短文,主題分三種:COVID-19、洪水風險、聯邦緊急應變政策,各有行話版與白話版,行話版的術語同樣很密。
在政策與洪水兩個主題上,行話版的流暢度都較低,和第一個實驗一致。在 COVID-19 主題上,行話版與白話版沒有測到差異。作者的解讀是:主題緊急時讀者有動機去處理資訊,行話的負面效果就減弱了。
這個解讀要分開看:
- 動機沒有被量到。實驗操弄的是主題,作者把急迫程度當動機的代理。作者自己提出另一個解釋:COVID-19 的術語經過大量報導,可能本來就比較熟。這個實驗分不出是動機還是熟悉度。
- 統計上站得住的是 COVID-19 和政策主題不同。直接比較兩個主題之間行話效果的差異時,洪水和 COVID-19 之間在流暢度與四個結果上,信賴區間都碰到或跨過零,摘要卻把洪水和政策並列。
- 有一列結果方向相反,正文沒有談。控制流暢度之後,行話版的訊息被評為可信度較高、風險知覺較高、抗拒較低。各組的原始平均也是行話組的可信度較高。「行話讓讀者不買帳」只說了經過流暢度的那一條路。
- 受試者因為報酬中途調高分成兩批,晚一週作答的那批流暢度整體低了 0.67 分,和政策主題的行話效果差不多大。作者說原因無法拆開。
兩個實驗合起來能說的是:對沒有特別理由要讀的一般讀者,密集的行話讓文章讀起來比較吃力。讀者對主題有理由投入、或術語本來就常見時,這個效果可能消失。兩個實驗都沒有量讀者讀懂了多少。
定義放在哪裡
外語閱讀的註解
最接近「定義放哪裡」的量化證據,來自外語教學。Akifumi Yanagisawa 等人 2020 年的統合分析合併了 42 個研究、3,802 位學習者。研究的情境是外語學習者讀一篇文章,事先不知道會考字彙;讀完再測他們記住幾成原本不認得的生字。
- 有註解的組,讀完立刻測記住 45.3%,沒註解的組 26.6%;約兩週後測是 33.4% 對 19.8%。
- 依形式分:讓讀者從幾個候選意思裡選一個的選擇題式最好;超連結式(點一下或滑鼠移上去都會出現)與頁邊註解次之。緊接在字後面、寫在句子裡的文內註解,點估計最低,和沒有註解相比沒有達到顯著。
- 文末詞彙表也沒有達到顯著,但它在立即測驗只有 2 個研究,信賴區間從負 28 到正 63 個百分點,是估不準,不是量到效果小。摘要說它和文內註解「最弱」,我從表上看,它的點估計和頁邊註解幾乎一樣。
- 兩兩比較時,文內註解只在立即測驗顯著輸給選擇題式與行間註解;延宕測驗裡任何兩種形式之間都沒有測到差異。
作者對「文內註解為什麼較差」的解釋是推測:註解緊貼在字旁邊,讀者不必處理那個字就拿到答案,所以記不住。這正好點出這份研究和教學文章的距離:它的目標是記住一個外語字,教學文章的目標多半是讀懂眼前這段。如果作者的推測對,讓讀者不用想就拿到意思,對記字不利,對讀懂當下這段卻可能正好有利。我沒有找到以理解為結果、比較註解位置的研究,所以這條我不轉成建議。
把定義帶到讀者眼前
Andrew Head 等人 2021 年的 ScholarPhi 是一個閱讀論文的工具。點一下術語或符號,字的正下方就跳出這篇論文裡最近一次給的定義。另外還有定義清單、把不相關的句子淡化、公式圖解、文前詞彙表。
在動手做之前,他們先觀察 9 位讀者讀自己帶來的論文或教科書。9 人裡有 8 人對某個術語感到困惑,4 人卡在數學符號。讀者多半先從上下文猜,猜不出來就先擱著,希望後面會解釋;拖到後來,可能整段都看不懂。有人說去查定義像是一次「context switch」,會把自己從理解那段的狀態裡拉出來。
正式的可用性研究找了 27 位讀過機器學習論文的人(18 位是博士生),每人用三種介面各答一題「在論文裡找某項資訊」的題目,每題 4 分鐘:
- 全功能版比一般 PDF 閱讀器每題快 45.4 秒,自評也較容易。
- 答對的人數完全一樣:兩種介面都是 27 人次裡 16 次答對。
- 問「T 在這篇論文裡有哪些意思」的那一題,用全功能版的人幾乎都答錯:工具的定義清單沒有列出 T 的所有用法,讀者以為清單是完整的。作者自己寫,這種工具在暗示不正確的資訊時會誤導讀者。
- 實驗裡的定義是人工整理的。同一篇論文用自動方法抽定義,精確率只有 24%、召回率 6%。
自由閱讀的 15 到 20 分鐘裡,點了才出現的定義提示用得最多(符號提示的中位數是 10 次),文前詞彙表用得最少(27 人裡只有 6 人看了 10 秒以上)。這是使用紀錄,沒有對照條件。
這份研究的範圍要記清楚:受試者是研究者,術語是只在這篇論文裡定義的符號與名詞,題目是找資訊不是理解,只用一篇論文。它能支持的是「在讀者已經想查的時候,把定義送到眼前可以省下翻找的時間」,不能支持「這樣讀得比較懂」。
英文術語與非英語母語的讀者
讀者自己怎麼說
Philip Guo 2018 年的問卷掛在程式教學網站 Python Tutor 上,收到 840 份回應,其中 656 份來自非英語母語者。這群人的英文不差:非母語者裡 83% 自評閱讀是熟練或完全流利;全部 840 位受訪者裡,96% 本來就用英文讀程式教材。作者自己說,英文程度低、只讀母語教材的人在這份樣本裡看不到。
回答第 6 題的 384 位非母語者,最常提到的困難是讀教材(35%)。他們舉的例子和術語直接相關:一位法語母語者說,一個技術用字就可以讓整句的意思變模糊;一位羅馬尼亞語母語者說,母語書把術語也翻了,反而看不懂。
回答第 7 題的 464 人,想要的改變是:用簡單的英文、少俚語與文化典故(36%);多用圖(23%);多給範例(21%);行內字典,不必離開正文就能查字(21%)。另有 7% 的回應表示寧可讀英文原文、不要翻譯版,理由是語法本來就是英文、翻譯版術語混亂又過時。
這些是受訪者的說法,不是量出來的效果。「21% 想要行內字典」不能讀成「行內字典有幫助」。作者也提醒,有些困難連英文母語的初學者都有,例如分不清 object、class、instance,或把 while 照日常英文理解,所以不能全算在語言隔閡上。
介面翻成母語
Sayamindu Dasgupta 與 Benjamin Mako Hill 2017 年的研究用 Scratch 的平台資料,比較五個國家(葡萄牙、義大利、巴西、德國、挪威)15,015 位使用者:同一國裡,用母語介面(連積木上的關鍵字都翻了)的人和用英文介面的人,每多分享一個專案,用過的積木種類增加得多快。
結果是兩面的:用母語介面的人,第一個專案用到的積木種類較少;之後增加得稍快。我從它的係數算出,大約要分享 8 個專案才追平,而使用者分享數的中位數是 3。作者用模型估計的實際差距是:分享 16 個專案的活躍使用者,37.9 種對 37.1 種,不到一種積木。作者自己說效果小、是相關不是因果,而且「用過幾種積木」量不到用得對不對、懂不懂。
這份資料比的是整個介面翻成母語對上全英文,沒有「術語保留英文、說明用母語」這種條件,也沒有任何東亞語言。
外語註解的語言
回到 Yanagisawa 的統合分析:把外語生字翻成母語的註解,比用外語解釋的註解多記住一些,但只在約兩週後的測驗達到顯著(差 5.2 個百分點),立即測驗沒有(p = .075)。母語加外語並列的註解只有 3 個研究,和其他兩種都沒有測到差異。用外語解釋的註解本身也明顯比沒有註解好。
這和本站的情況方向相反:它是讀外語文章、註解給母語;本站是讀中文文章、裡面夾著英文術語。所以它回答不了「中文術語後面要不要附英文」。
這一節的缺口:中英並列的術語對中文讀者有沒有幫助,我找不到任何研究。
程式裡的記號:關鍵字、符號與命名
Chris Olah 與 Shan Carter 的〈Research Debt〉把記號和抽象稱為「研究的使用者介面」,並說大家常常卡在最早出現的那套形式,即使它不好;舉的例子是電荷的正負號與 π。這是一篇立場文,沒有資料。記號選擇會不會影響學習者,我找到的實證集中在程式語言,而且範圍很窄。
關鍵字與符號
Andreas Stefik 與 Susanna Siebert 2013 年的研究有兩部分。
問卷部分請大學資工系學生替候選的字評「直不直覺」。自陳沒寫過程式的學生,把 repeat、again、loop 評為最直覺的迴圈用字,把程式裡最常見的 for、while、foreach 評為最不直覺。作者自己說問卷只是線索,不是證明;而且有程式經驗的學生評分不一樣,對 C++ 語法的評分還隨自陳的 C++ 年資上升。作者據此提醒:有經驗的人說某個設計直覺之前,先檢查自己的假設。
實驗部分找沒寫過程式的學生,只給範例程式、不教每一行的意思,要他們在兩小時內照規格寫出六個短程式,再逐個元件評分。比較的語言裡有一個安慰劑:結構照作者自己設計的 Quorum,關鍵字和多數符號換成從 ASCII 表隨機挑的字元。
- 結構相同、只差在關鍵字和符號的兩種語言,兩次實驗都是 Quorum 的正確率較高。這是全文最乾淨的一組比較,支持「關鍵字和符號用什麼字會影響新手」。
- Java 與 Perl 的正確率和安慰劑語言沒有測到差異;Ruby、Python、Quorum 則顯著較高。這不等於「C 風格語法不比隨機好」:每組只有 11 到 13 人,Java 與 Perl 的平均數字上仍高於安慰劑,而且 Ruby、Python、Quorum 和 Java、Perl 直接比,只有 Ruby 對 Java 顯著。
- 判斷相等的那一題,用 Java、Perl、Python、Ruby 的 48 位學生裡只有 1 人把
==寫對;用 Quorum 的=寫對的比例高很多。這是單一題目、沒有做檢定的描述。 - 方向相反的細節:Quorum 為了像英文而加的 then 和 Ruby 的 in,新手的正確率都很低。作者的說法是,多加英文字不一定幫到新手。
作者是 Quorum 的設計者。研究 3 裡 Quorum 勝過 Perl 的結果,在研究 4 沒有重現,作者自己稱為部分沒有複製成功。
識別字命名
Johannes Hofmeister 等人 2017 年的實驗找了 72 位德國的專業 C# 開發者,平均寫程式 14 年。每人讀 15 行的函式找語意錯誤,同一段程式的變數有三種寫法:完整英文單字、機器產生的三子音縮寫(request 寫成 rqs)、單一字母。
- 完整單字的版本,每分鐘找到的錯誤多 19%(和另兩種合併相比)。這是速度,我從它的表換算,中位時間大約短 14% 到 16%。
- 縮寫和單一字母之間沒有測到差異。所以這份資料撐的是「是不是完整單字」,不是標題說的「越短越慢」。
- 找語法錯誤(少括號、分號)時,三種寫法沒有測到差異。
- 縮寫版和單字母版的程式開頭,註解已經列出每個名字的原意;讀者花了較多時間回頭讀註解。
作者自己的保留:縮寫是機器做出來的,常用的縮寫(像迴圈的 i)可能沒有代價;受試者是專業開發者,初學者要另外測;很長的名字可能反而妨礙理解,還沒有測過。
公式:多放少放、放正文還是附錄
公式密度與引用數
Tim Fawcett 與 Andrew Higginson 2012 年的研究數了 1998 年三本生態與演化期刊的全部 649 篇論文,算每頁有幾條獨立成行的公式,再和之後的被引用次數對照。控制頁數與期刊之後,正文每頁多一條公式,被引用次數少 28%;附錄裡的公式沒有測到關聯。
這份資料有幾個限制,有些是作者自己在後續回應裡說的:
- 是相關,不是因果。行內的式子沒有算進去。
- 少掉的引用來自非理論的論文。理論論文的引用和公式密度沒有測到主效果;在長篇論文上,公式多的反而被理論論文引用較多(不分正文與附錄時顯著,分開後只接近顯著)。
- 同期的讀者來函用同一份資料再分析,發現在三本期刊之一,公式密度高的論文反而被引得較多;原作者在回覆裡承認了這個結果。
- 原作者首選的建議是在公式之間加說明文字,搬到附錄是次選。回覆裡他們把主張收窄:問題不在公式,在沒有足夠的文字解釋公式的假設與含意;他們不建議隨意刪公式。
物理學家 Jonathan Kollmer 等人 2015 年拿 Physical Review Letters 兩卷各 1,000 篇做同樣的分組圖,平均被引次數同樣隨公式密度下降,但他們判斷這個下降落在很長的誤差線裡,不可靠。他們沒有做任何統計檢定,誤差線用的是標準差。原作者在 2016 年的評論裡用同一批物理資料跑迴歸,得到每頁多一條公式、被引用少 6%,比生物資料弱很多但顯著。物理學家的回覆把「排除被引超過 100 次的論文」反過來套到生物資料,生物那邊的係數就不顯著了(點估計仍是負的)。
雙方爭的是方法:看分組圖還是跑迴歸、高被引的少數論文算不算、相關能不能推到「少放公式就會多被引」。雙方都同意引用資料很吵,公式密度只解釋很小一部分。沒有任何一方量過讀者讀懂了沒有;被引用次數離「讀者因此讀不懂」很遠。
作者怎麼讓公式好讀
Head 等人 2022 年的研究整理了 47 份文件裡 281 條被加工過的公式,再訪談其中 12 位作者。文件的起點是一份專收「記號設計有意思」的清單,受訪者又是從中挑加工特別精緻的,所以下面的比例只描述這批被挑出來的範例。
- 最常見的加工是上色,70% 的文件至少用顏色把公式裡的一塊連到正文、圖或另一條公式;其次是加文字標籤,標籤多半只有一個片語。
- 被加工的對象近半是一整塊運算式,單一符號只占約三成;多數公式只加工了一部分符號。
- 作者們說這件事很費工:一位說平均一條公式花一小時,八位是把 LaTeX 輸出成圖再用簡報或繪圖軟體加工。也有作者擔心顏色用太多就失效,或標籤一多讀者不知道從哪讀起。
作者自己在限制裡寫:訪談只收到作者的信念,不能告訴人該怎麼加工;要知道對讀者有沒有用,得做實證研究。
這一節的缺口:數學記號的寫法會不會影響讀者讀懂,我沒有找到以讀者理解為結果的研究。Head 等人 2022 年的文獻回顧轉述了一個研究,說讀者讀含符號的數學文本時,理解測驗比讀純文字版本差;原研究我沒有讀,不拿它當依據。
來源說法不同的地方
以下幾組看起來衝突,多半是量的東西不一樣。我把它們並列,不選邊。
定義有沒有用。Bullock 等人的實驗裡,滑鼠提示的定義沒有讓自評流暢度回升。Yanagisawa 等人的統合分析裡,註解(包括點一下或滑鼠移上去才出現的超連結註解)讓外語學習者記住更多生字。ScholarPhi 讓研究者找資訊更快,答對率沒有變。三者的讀者(一般民眾、外語學習者、研究者)與結果(感受、記字、查找速度)都不同。
行話一定扣分嗎。Bullock 的實驗與 Shulman 的政策主題裡,行話讓讀者覺得較難讀;Shulman 的 COVID-19 主題裡沒有。同一份 Shulman 的資料裡,控制流暢度之後,行話版的可信度較高。
註解貼近一點好,還是遠一點好。Yanagisawa 的統合分析裡,緊接在字後面的文內註解點估計最低,作者推測是讀者不必處理那個字。ScholarPhi 把定義放在字的正下方,理由是讀者視線不必離開正文;前導研究裡也有讀者偏好提示勝過側欄,因為不會失去閱讀位置。前者量記字,後者沒有拿不同位置做比較。
用白話的字比較好嗎。Stefik 的問卷裡,新手把 repeat 評得比 for 直覺,實驗裡 Quorum 的 repeat 也比 Ruby 的 for 用得對。同一篇裡,為了像英文而加的 then、in,新手的正確率都很低。
翻成母語比較好嗎。Scratch 資料裡,用母語介面的人之後增加得稍快(起點較低、差距很小)。Guo 的問卷裡,有一小群人寧可讀英文、不要翻譯版,抱怨的是術語被翻掉。前者是全介面翻譯、使用者年齡中位數 15 歲的觀察資料;後者是英文程度不錯的自學者的自述。
公式密度和引用數。Fawcett 與 Higginson 用迴歸得到負相關,在物理資料上也重做出來(較弱);Kollmer 等人認為資料太吵、不能據此下結論,並用排除高被引論文的做法讓生物資料的係數不再顯著。同期的來函還發現三本期刊之一方向相反。
拿本站的做法對照
下面依 2026-10-14 工作目錄裡的寫作規格、站上程式與文章慣例,把和術語、記號有關的做法逐條對到這篇的來源。中間一欄寫的是這篇讀到的研究;寫「本站的選擇」的,是沒有研究在回答這件事。
| 本站現在怎麼做 | 這篇的來源怎麼說 | 判定 |
|---|---|---|
| 寫作指南的台灣用語替換表(例:stack 一律寫「堆疊」,依樂詞網的兩岸對照) | 這批研究沒有一篇在比較同一語言的地區用詞 | 本站的選擇 |
| 寫作指南提醒「術語硬譯」(framing 譯成「框架」常不通) | Guo 的受訪者抱怨的是術語被翻掉、寧可讀原文;寫作指南談的是怎麼譯成自然的中文,兩者不是同一件事 | 本站的選擇 |
| 寫作指南的「流暢度 > 術語密度」 | 那一條出自生成式搜尋引擎引用率的研究,談的是被 AI 引用,不是讀者理解;Bullock 的「處理流暢度」是讀者自評的另一個概念,方向一致 | 依據不同,不能互相支撐 |
| 行內詞彙表:已知術語第一次出現加底線,滑鼠移上去或點擊跳出說明框;程式碼設定了模型金鑰時,說明由語言模型依上下文產生,否則用詞庫裡寫好的定義。正式站的 Worker 設了 Groq 的金鑰、模型供應者設為 groq(2026-10-14 審稿時查設定名稱),金鑰是否有效、有沒有額度沒有驗證。每次讀者叫出說明框,程式會在資料庫的查詢統計表記一次(詞、文章、層級);同一次瀏覽裡,同一個詞、同一個層級只記一次,切換初學/進階層級或重新整理頁面會再記一筆;滑鼠只是路過也會觸發,所以次數不等於真的讀了定義。這份統計我沒有去讀 | Bullock:這種提示沒有讓流暢度回升,也沒有記錄多少人去看;ScholarPhi:提示是最常被使用的功能,查找較快、答對率沒有變,而且實驗裡的定義是人工整理的,工具給的資訊不完整時會誤導讀者 | 當補充,只有相鄰證據;說明由模型產生時,ScholarPhi 說的誤導風險直接相關。不能取代正文的白話說明 |
| frontmatter 的 glossary 欄位「只補不解釋會影響理解的詞」 | 沒有研究在回答「該為哪些詞加定義」 | 本站的選擇 |
| 本站文章的慣例(規格沒有明文):術語第一次出現寫成「中文(英文原文,縮寫)」,例如「約束滿足問題(constraint satisfaction problem,CSP)」 | 外語註解的統合分析裡,緊貼在字後面的形式對記字最弱,但目標不同;Guo 的受訪者想要行內字典、不要術語被翻掉;沒有研究測過中英並列 | 本站的選擇 |
| CS50 AI 第 3 週 constraint 兩種譯名,補一句說明兩者是同一個字 | 沒有研究直接測過;ScholarPhi 的前導研究裡,同一個符號有多種意思時,讀者想知道眼前這處用的是哪一個 | 本站的選擇,有相鄰的觀察 |
公式文必須設 math: true,否則顯示原始碼 | 不需要研究:沒有渲染就沒有記號可讀 | 顯示層的前提 |
| 規格沒有要求公式下方說明符號 | Fawcett 與 Higginson 的首選建議是在公式之間加說明文字;Head 2022 整理的作者常用標籤與上色把公式連到文字;兩者都沒有讀者資料 | 沒有讀者證據;見下一節的建議 |
可以做的事
以下是我依上面的結果做的判斷,每一條寫出依據與它推不到的地方。
- 關鍵術語第一次出現時,在正文寫一句白話說明,詞彙表與說明框當補充。 依據:Bullock 的白話版讀起來比較順,滑鼠提示的定義沒有讓術語版回升;ScholarPhi 的讀者會用提示,但工具給的資訊不完整時會被誤導。推不到的地方:沒有研究測過「保留術語、旁邊加一句說明」,第 9 篇已經把這一點列為推論。
- 同一個概念全篇用同一個詞;非用兩個不可(像 constraint 在兩個領域的慣用譯名不同),在第二個詞第一次出現時交代兩者的關係。一個符號在不同段落有不同意思,也一樣。 依據只有 ScholarPhi 的觀察:符號 T 有多個意思時,讀者想知道眼前用的是哪一個,工具漏列時讀者就答錯。這是相鄰的證據,不是對照實驗。
- 程式範例的變數用完整的英文字;讀者都認得的慣例(迴圈的 i)可以保留。 依據:Hofmeister 的完整單字找錯較快,作者自己說常用縮寫可能沒有代價。推不到的地方:受試者是專業開發者,不是讀教學文的人。
- 獨立成行的公式,下方用一兩句說每個符號是什麼、這條式子在說什麼。 依據:Fawcett 與 Higginson 自己在回覆裡說問題出在公式缺少文字解釋;Head 2022 的作者們用標籤做同一件事。兩者都沒有讀者資料,這一條完全是我的判斷。
- 自己覺得「這個寫法很直覺」時,找一個不熟這個領域的人試讀。 依據:Stefik 的問卷裡,有經驗者對熟悉語法的評分隨年資上升,新手的評分不同;Guo 的受訪者也提議請非母語者試讀教材。
我沒有把「術語密度不要超過多少」寫進來:找不到任何研究訂過門檻。
今晚可以做的三件事
挑一篇自己寫過的教學文章,大約一小時:
- 搜尋全文,找一個同一件事用了兩種說法的詞(中文譯名不一致、中英混用、縮寫和全名交替),統一成一種;統一不了的,在第二種說法第一次出現時加一句「這裡的 X 和前面的 Y 是同一個東西」。
- 找出文中每一條獨立成行的公式,確認下方有一句話說明裡面每個符號代表什麼。沒有的補上。
- 把程式範例裡自己隨手縮寫的變數(
res、tmp、cnt)改成完整的英文字,再跑一次確認結果不變。
這些證據的限制
- 沒有一篇以讀者理解為結果,比較兩種記號或術語寫法。最接近的是外語註解(量記字)、行話實驗(量自評流暢度)、ScholarPhi(量找資訊的時間與答對率)。
- 對象和本站讀者不同。行話實驗是美國一般民眾讀科普短文;註解的統合分析是外語學習者,九成以上是在不說那個語言的國家學它;ScholarPhi 是研究者讀一篇機器學習論文;命名實驗是平均 14 年經驗的德國開發者;語法實驗是沒寫過程式的美國大學生;Scratch 資料的使用者自報年齡中位數 15 歲。
- 材料都很短。行話實驗每段三句;宣導短文約 280 字;命名實驗的程式 15 行;語法實驗每題幾分鐘。
- 公式的研究量的是被引用次數,而且雙方爭論沒有收斂。
- 觀察與自述資料:Fawcett、Kollmer 與 Scratch 是相關;Guo 是開放式問卷,分母是有回答那一題的人,沒提到某種困難不代表沒有。
- 小樣本:ScholarPhi 27 人、每人每種介面一題;語法實驗每組 6 到 13 人,token 層級的比例沒有做檢定。
- 利益關係:Stefik 是受測語言 Quorum 的設計者;Guo 是發問卷那個網站的作者。
- 中文與日文文獻完全沒有涵蓋;數學教育對符號理解的研究,這一輪沒有找到可精讀的全文。
- 我的推論有六處:把行話實驗推到教學文章;註解位置對「讀懂」可能和對「記字」相反;「可以做的事」五條;今晚可以做的三件事;本站詞彙表的判定;中英並列的判定。正文都標了。
- 轉引:Head 2022 文獻回顧裡那句「含符號的數學文本理解較差」,原研究我沒有讀。
- 讀到但沒有引的:〈Research Debt〉的頁面原始碼裡,有一句「代價主要落在新手身上」,那段被註解掉、沒有刊出在頁面上,所以我只引頁面顯示的文字。
- 版本:Yanagisawa 讀的是作者接受稿,Head 2021 讀的是 arXiv 第 3 版,Hofmeister 讀的是作者稿,Guo 讀的是作者個人頁上的定稿;刊出版與這些版本的差異,除了 Guo 以外都沒有核對。Hofmeister 另有 2019 年的期刊擴充版,我沒有讀到。
附錄:各研究的設計與數字
正文每項只留一兩個數字,其餘放在這裡。
Bullock、Colón Amill、Shulman、Dixon(2019),Public Understanding of Science 28。2(術語/白話)× 2(有/沒有滑鼠提示定義)受試者間設計。Qualtrics 美國線上樣本,招募 650 人,各條件人數與自由度對應 640 人(術語 328、白話 312;定義 323、無定義 317),差的 10 人原文沒有交代。三段各三句,術語版每段 10 個術語,字數各版相同,每段至少停留 4 秒。處理流暢度:術語 4.57(SD 1.11)、白話 5.27(SD 0.90),F(1, 636) = 76.03,η² = .11;定義主效果 F = 0.37,p = .543;交互作用 F = 0.17,p = .678。序列中介模型:術語經流暢度、抗拒說服的動機,間接影響風險知覺與支持;預測支持的模型裡定義條件 B = .22,p < .05。作者列的限制:線上非代表性樣本、訊息沒有圖片與脈絡、每人看三則、沒有直接量理解、滑鼠提示引入找定義的行為、橫斷資料做中介。
Shulman 與 Bullock(2020),PLOS ONE 15(10)。2(行話)× 3(主題)受試者間設計,MTurk 393 人,2020-03-24 到 04-04。三頁:引言 78 字、主題 105 字(行話版共 20 個術語,原文沒寫明是否只算這一頁)、建議 98 字,三個主題的建議頁內容相同。流暢度原始平均:COVID 白話 5.22、行話 5.32;洪水 4.95、4.48;政策 5.28、4.53。行話對流暢度的條件效果:COVID B = 0.11(95% CI −0.31 到 0.54);洪水 −0.47(−0.90 到 −0.04);政策 −0.74(−1.17 到 −0.30)。行話 × 洪水(相對 COVID)−0.59(−1.19 到 0.02);行話 × 政策 −0.85(−1.46 到 −0.24)。控制流暢度後行話的直接效果:抗拒 −0.29、可信度 +0.35、風險 +0.33、嚴重度 0.01(不顯著)。COVID 與洪水的調節式中介指數四個結果的區間都碰到或跨過零。報酬批次對流暢度 −0.67。作者列的限制:每個主題只有一組訊息、COVID 術語可能較熟、MTurk 樣本、報酬批次的混淆無法拆開。
Yanagisawa、Webb、Uchihara(2020),Studies in Second Language Acquisition 42(2),讀的是作者接受稿與出版者網站的線上附錄。三層統合迴歸,42 個研究、3,802 人、359 個後測分數,只收附帶學習(受試者事先不知道會考字彙)。效果量是原本不會的字裡學會的比例。有註解 vs 沒有:立即 45.3%(k = 39)對 26.6%(k = 27);延宕(平均 15.9 天後)33.4% 對 19.8%。各形式減無註解(百分點,立即/延宕):選擇題式 25.2/15.6;超連結 18.4/15.2;頁邊 17.8/12.8;文末詞彙表 17.4(k = 2,CI −27.7 到 62.5,不顯著)/10.4(不顯著);行間 16.0(k = 1)/沒有資料;文內 11.0(k = 4,不顯著)/6.5(不顯著)。立即測驗的兩兩比較:選擇題式高於文內(14.2)、行間、頁邊;行間高於文內;延宕沒有任何一對顯著。語言:母語 20.3/16.1、外語 16.3/10.9、母語加外語 23.7/16.0(k = 3);母語對外語立即 p = .075、延宕差 5.2(p = .048)。文本理解度與註解效果各自獨立作用。作者稿正文與表之間有多處數字不一致,本文以表為準。
Head、Lo、Kang、Fok、Skjonsberg、Weld、Hearst(2021),CHI '21,讀的是 arXiv 第 3 版。形成性研究 9 人;四次前導研究共 24 位研究者,得出七條設計動機;正式研究 27 人(18 位博士生、5 位碩士生、3 位大學生、1 位研究人員),受試者內三種介面、三道查找題、每題 4 分鐘。全功能版對一般閱讀器:時間 −45.4 秒(p = .0001)、自評容易 +1.70、信心 +0.78、看過的版面 −25 個百分點;答對率差 0(p = 1.000)。全功能版對只有淡化功能的版本:時間 −27.6 秒(p = .015);只有淡化功能對一般閱讀器在時間上不顯著。答對人次:全功能版 16、淡化版 20、一般閱讀器 16(各 27)。自由閱讀:27 人中 24 人開過符號提示(中位數 10 次)、26 人開過術語提示(中位數 5 次)、21 人開過公式圖解、6 人看文前詞彙表 10 秒以上。自動抽取在實驗論文上:縮寫展開精確率 55%、召回率 43%;術語與符號定義精確率 24%、召回率 6%。作者列的限制:只有一篇論文三道題、自由閱讀時間短、遠端施測、定義人工抽取。
Head、Xie、Hearst(2022),CHI '22。內容分析:47 份文件(網頁文章 15、研究簡報 10、教科書章節 6 等),281 條獨立成行的公式,1,182 個加工(不含空白);每條平均 4.2 個、中位數 3。加工對象:識別字 31.4%、其他運算式 49.9%、整條公式 9.1%。有識別字被加工的公式裡,68.1% 另有識別字沒被加工。字色出現在 41.6% 的公式、70.2% 的文件;標籤出現在 48.9% 的文件,文字標籤 75.9% 只有一個片語。訪談 12 位作者(只有 2 位是教師):8 位用繪圖軟體加工;一位平均一條公式一小時,另一位花 20 分鐘調 LaTeX 標籤;一條 8 個識別字、4 種顏色的公式要 414 個字元的 LaTeX。作者的限制:樣本是挑過的、頻率不一定有代表性、訪談不能告訴人該怎麼加工。
Fawcett 與 Higginson(2012),PNAS 109(29),讀的是 PMC 全文與同期四封來函及作者回覆。1998 年 Evolution、Proceedings B、American Naturalist 全部 649 篇;只數獨立成行的公式;密度平均 0.43 條/頁,有任何公式的 247 篇。負二項迴歸,控制頁數與期刊。不分正文附錄:全部引用每頁多一條少 22%,非理論引用少 27%,理論引用沒有測到關聯(倍數 0.97,p = .735)。分開時:正文密度全部引用少 28%(倍數 0.72,95% CI 0.57–0.92)、非理論少 35%;附錄密度倍數 0.99(0.65–1.52),沒有測到關聯。只留有公式的 247 篇,結果相近。Gibbons 的來函加入期刊交互作用,American Naturalist 的正文密度倍數 2.1;作者回覆承認效果在期刊之間不同,並寫「We do not recommend the indiscriminate removal of equations from scientific papers」。另一封來函(Kane)提議在正文內做可展開的方塊,沒有資料。
Kollmer、Pöschel、Gallas(2015),New Journal of Physics 17。Physical Review Letters 第 94 卷(2005)與第 104 卷(2010)各前 1,000 篇,獨立成行的公式,被引次數含自我引用。全文沒有統計檢定,只有分組平均與標準差的長條圖;照原論文的四組分法,平均被引次數同樣隨密度下降,作者判定在誤差線之內。對生物資料的批評:分組方式會改變圖形、不控制頁數看全部引用時沒有單調下降、被引最多的兩篇公式密度都高。
Higginson 與 Fawcett(2016)評論、Kollmer 等(2016)回覆,New Journal of Physics 18。評論的分析細節在 Zenodo:物理資料 n = 1,906,負二項迴歸(密度、卷別、交互作用),每頁多一條公式倍數 0.94(95% CI 0.90–0.98,p = .002),即少 6%;排除被引超過 100 次的 97 篇後少 8%;再排除沒有公式的少 5%。評論並以模型外推「密度減半會多 476 次引用」。回覆把排除高被引的做法套到生物資料:密度係數 −0.101(p = .171);我換算成倍數約 0.90,方向仍是負的。回覆另說兩卷不該合併、提出子領域人數的替代解釋,並說自己沒有否認相關存在。
Stefik 與 Siebert(2013),ACM Transactions on Computing Education 13(4)。問卷兩份各 166 人(資工系學生,分有無程式經驗)。實驗 3:18 人,Quorum、Perl、安慰劑語言 Randomo 各 6 人,平均正確率 .628、.432、.341;Quorum 對 Randomo p = .004、對 Perl p = .047、Perl 對 Randomo p = .458。實驗 4:72 人,六種語言每組 11 到 13 人:Ruby .558、Python .528、Quorum .508、Perl .429、Java .396、Randomo .344;對 Randomo 顯著的是 Ruby(p = .003)、Python(p = .011)、Quorum(p = .033),Java(p = .922)與 Perl(p = .573)不顯著;真實語言之間只有 Ruby 對 Java 顯著(p = .044)。Quorum 的 repeat 正確使用 58%,Ruby 的 for 18%。C++ 範例的評分依自陳的 C++ 年數上升,迴歸 R² 約 .09。研究 3 的 Quorum 對 Perl 在研究 4 沒有重現(p = .655)。
Hofmeister、Siegmund、Holt(2017),SANER 2017,讀的是作者稿。221 人開始、72 人納入(德國專業 C# 開發者,平均 35.3 歲、程式經驗 14.0 年)。受試者內三種命名,6 段 15 行的函式,一次只顯示 7 行。語意題每分鐘找到的錯誤:完整單字 0.78、縮寫 0.65、單字母 0.66;單字對非單字 t(71) = 2.73,p = .004,d_z = 0.32;縮寫對單字母 t(71) = 0.07,不顯著。語法題 F(2, 142) = 0.8,不顯著。讀開頭註解的時間受命名方式影響(語意題 η² = .07)。原文沒有說明 p 值是單尾還是雙尾,照 t 值推算雙尾約 .008,這是我的推算。
Guo(2018),CHI 2018。Python Tutor 網站上的開放式問卷,2016 年 12 月到 2017 年 8 月,840 份回應(英語母語 184、非母語 656),86 國。非母語者自評英文閱讀:初學 3%、中等 14%、熟練 44%、完全流利 39%。困難(非母語者自述,N = 384/英語母語者旁觀,N = 178):讀教材 35%/29%、技術溝通 24%/49%、讀程式碼 16%/38%、寫程式碼 11%/28%、同時學英文與程式 17%/8%。想要的改變(N = 464):簡單英文 36%、圖與多媒體 23%、範例 21%、行內字典 21%、寧可讀原文 7%。兩人一起編碼,沒有一致性數字。
Dasgupta 與 Hill(2017),Learning @ Scale 2017。葡萄牙、義大利、巴西、德國、挪威的 Scratch 使用者 15,015 人、79,934 個有語言資料的專案;混合效果 Poisson 迴歸。加入控制變項後:母語介面主效果 −0.056、與專案數(取對數)的交互作用 +0.027。第 95 百分位(16 個專案)的使用者:英文介面 37.1 種積木、母語介面 37.9 種;把起點差人為設為零時是 37.1 對 40.1。使用者分享專案數的中位數 3、平均 6。作者列的限制:相關不是因果、社群內容以英文為主、母語是由國家推定、依變項量不到理解。
Olah 與 Carter(2017),Distill。立場文,沒有資料。頁面列了研究債的四項:解說不佳、未消化的想法、不好的抽象與記號、雜訊。
參考資料
每一條都從頭讀到尾並留有抽取紀錄;讀不到的部分寫在括號裡。
- Bullock, Colón Amill, Shulman & Dixon (2019), Jargon as a barrier to effective science communication: Evidence from metacognition(俄亥俄州立大學傳播學院網站上的全文;線上補充材料沒有讀)。
- Shulman & Bullock (2020), Don't dumb it down: The effects of jargon in COVID-19 crisis communication(刊出版與三份附件;OSF 上的資料沒有讀)。
- Yanagisawa, Webb & Uchihara (2020), How do different forms of glossing contribute to L2 vocabulary learning from reading? A meta-regression analysis(共同作者網站上的作者接受稿與出版者網站的線上附錄;刊出版沒有讀;附錄的公式圖與漏斗圖沒有看到)。
- Head et al. (2021), Augmenting Scientific Papers with Just-in-Time, Position-Sensitive Definitions of Terms and Symbols(arXiv 預印本第 3 版)。
- Head, Xie & Hearst (2022), Math Augmentation: How Authors Enhance the Readability of Formulas using Novel Visual Design Practices(刊出版;編碼手冊與補充資料沒有讀)。
- Fawcett & Higginson (2012), Heavy use of equations impedes communication among biologists(PMC 全文;逐篇資料 Dataset S1 沒有讀)。
- 同期來函與回覆:Gibbons (2012)、Fernandes (2012)、Kane (2012)、Fawcett & Higginson (2012), Reply。
- Kollmer, Pöschel & Gallas (2015), Are physicists afraid of mathematics?(刊出版)。
- Higginson & Fawcett (2016), Comment on 'Are physicists afraid of mathematics?'(分析細節在 Zenodo 文件)。
- Kollmer, Pöschel & Gallas (2016), Reply to Comment on 'Are physicists afraid of mathematics?'。
- Stefik & Siebert (2013), An Empirical Investigation into Programming Language Syntax(刊出版;作者的複製資料包沒有取得)。
- Hofmeister, Siegmund & Holt (2017), Shorter Identifier Names Take Longer to Comprehend(研究群著作頁上的作者稿;IEEE 刊出版與 2019 年期刊版沒有讀;圖只讀了圖說)。
- Guo (2018), Non-Native English Speakers Learning Computer Programming: Barriers, Desires, and Design Opportunities(作者個人頁上的定稿)。
- Dasgupta & Hill (2017), Learning to Code in Localized Programming Languages(刊出版)。
- Olah & Carter (2017), Research Debt(Distill 頁面;修訂歷史沒有讀)。
- 本站文章:教學文章的例子與開頭怎麼寫、教學文章裡的問題與用語怎麼寫、教學文章什麼時候該畫圖、Harvard CS50 AI 第 3 週。
Loading...