15–18 組教材把語言模型放進更長的決策迴圈：Embodied Perception、Inference-time Compute、Agent Reasoning、Embodied Agents。此時輸入可能含視覺或環境狀態，輸出也不只是文字，而是下一個工具呼叫或行動。
Inference-time compute 是資源分配問題
增加推論時計算，可以表現為產生更多候選、延長推理軌跡、搜尋、驗證或反覆修正。真正要比較的是固定任務與 budget 下，額外計算是否改善可驗證結果，而不是把較長輸出直接當成較深推理。
實驗時先定義 budget：tokens、wall-clock time、model calls 或金額擇一作主軸；再保存每一步 observation、action、tool result 與 final answer。沒有 trace，就很難區分模型推理錯誤、工具錯誤與環境回傳錯誤。
Reasoning agent 多了狀態與工具
單輪 QA 的評估單位是一個答案；agent 的評估還要包含 task completion、無效步驟、工具失敗、成本與安全約束。比較兩個 agent 前，必須固定工具集合、權限、初始狀態與終止條件。否則差異可能只是某一方拿到更好的環境。
Embodied agent 把錯誤帶進真實迴圈
Embodied perception 讓模型從環境觀察建立狀態；embodied agent 再將語言計畫轉成行動。感知錯誤會一路傳到規劃與執行，因此要保留可回放的 observation-action log，並在高風險動作前設人工作業閘門。
官方課表另列 computer-use agent safety、memory、continual learning 與 speech guest lectures。Course Info 說明當期錄影只提供修課生與 Berkeley 校內旁聽者，課表也沒有為部分場次列出匿名 slides。本系列因此不還原那些講座，只標示它們在課程收尾的問題版圖中存在。
用 final project 收尾
Course Project 依序要求 abstract、midpoint report、presentation 與 final report，將一次 demo 變成可審查的研究過程。校外版本也應保留四個 checkpoint：先寫問題與 baseline，再交中期失敗分析，最後才整理結果。課內的團隊媒合、教師回饋與雲端 credits 不對外提供，必須自行安排同儕 review 與算力上限。
同樣兩次呼叫，為什麼結果不同
以下是自編的教學情境，不是課堂實驗。任務是查詢指定訂單的到貨日期，最多呼叫模型兩次；兩個 agent 使用相同工具、權限與初始資料。成功判準是答案符合訂單工具回傳值。
Agent A 第一次直接猜「週五」，第二次檢查自己的文字後改成「週六」，全程沒有查訂單。Agent B 第一次產生訂單查詢動作，工具回傳「週一」，第二次依 observation 回答「週一」。在這個指定情境，A 不符合判準，B 符合；不是因為 B 寫得比較長，而是它取得了回答需要的證據。
檢查： 如果 B 的工具回傳錯誤，模型卻把錯誤文字當日期，應先把失敗歸到哪裡？答案是先查工具回傳與模型處理錯誤的步驟，不能僅憑 final answer 說模型不會推理。這裡只固定模型呼叫數；若比較延遲或金額，還要把工具成本納入，不能宣稱兩者所有成本相同。
更新紀錄
- 2026-10-11：補上自編教學例子、推理結果與理解檢查答案。
參考資料
Loading...