軟體 Agent 的動作是文字：一段程式、一次工具呼叫。機器人的動作是每秒幾十次的關節指令，而且做錯了不能重跑。CS329A Autumn 2025 第 19 堂由 Physical Intelligence 的 Danny Driess 客座，題目是「Multimodal AI Agents in Robotics」。讀完本文，你應能說明 vision-language-action（VLA）模型怎麼從語言模型長出動作輸出、訓練時會出什麼問題，並能讀懂一張資料消融表。先備是知道視覺語言模型（VLM）能看圖答題，以及梯度會沿著網路往回傳。
先讀第 5 堂：多步驟規劃。機器人也是先拆子任務再執行，只是執行那一層換成了連續動作。
影片狀態：這一場沒有公開錄影或投影片。 2026-10-13 查過 Stanford Online 播放清單、官方課表與其修改歷史、兩位授課老師的頻道，以及講者的個人網站，都沒有這一場的材料。本文改用講者題目類似的公開材料：他是第一作者的 knowledge insulation，以及他列名作者的 π0.5，兩篇都是 Physical Intelligence 的官方研究文章。內容不代表該場實際講了什麼。
從 VLM 到 VLA：動作怎麼輸出
Knowledge insulation 一文把 VLA 的發展分成兩代。第一代（文中舉 RT-2 與 OpenVLA）把每個關節角度切成固定的區間，每個區間配一個 token，讓模型像回答數字題一樣輸出動作。這對撿東西之類的基本操作可行，但不適合高頻、精細、流暢的動作，推論也慢。
第二代從 π0 開始，在 VLM 主幹旁邊加一個「動作專家」（action expert）。它可以讀取主幹的內部表示，但專門用 flow matching 這類連續生成方法輸出動作。文章用大腦比喻：視覺編碼器像視覺皮質，語言模型像前額葉，動作專家像後來才接上去的運動皮質。
問題：動作模組的梯度會傷到主幹
接上動作專家之後，訓練時它的梯度會流回 VLM 主幹。文章的實驗顯示這帶來兩個後果：學得慢很多，而且主幹會流失一部分預訓練得到的知識。具體症狀是不聽指令。文章的例子裡，機器人被要求把湯匙放進碗盤收納盒，卻去抓了垃圾。
純自迴歸的 VLA（文中的 π0-FAST）沒有這個問題，但推論太慢。文章的影片對照中，它才剛開始動作，新方法已經做完了。
作法：擋住梯度，另給主幹一個學動作的目標
Knowledge insulation 做了三件事。
第一，停止動作專家到主幹的梯度。但只做這一步不夠：主幹不再從機器人資料收到訊號，它的表示就不適合控制。文章的摺衣實驗裡，凍結主幹的版本無法完成任務。
第二，讓主幹自己預測離散的 FAST 動作 token。這是一個表示學習目標，讓主幹快速學到和動作有關的表示，動作專家再拿這些表示去產生連續動作。訓練結束後，離散動作就丟掉不用。
第三，同時用一般的視覺語言資料與機器人高階指令資料訓練，維持主幹的語意知識。
文章報告的結果是：在一個收拾餐桌的任務上，π0 要多花到 7.5 倍的訓練步數才追得上新方法，而新方法的推論速度和 π0 一樣快。架構圖標示主幹約 30 億參數、動作專家約 3 億參數。
π0.5：泛化到沒見過的住家
π0.5 一文要回答的問題是：機器人能不能在訓練資料裡沒有的住家完成清理任務。它的主要原則是用異質資料共同訓練：多種機器人的動作資料、網路上的圖文資料、標註了子任務的高階範例，以及人用口語一步步指導的示範。
推論分兩層。模型先用文字輸出一個高階動作，例如從「打掃臥室」推出「拿起枕頭」；再依這個子任務輸出低階動作，形式是一段 50 步、長度 1 秒的連續關節指令。文章說這像一種 chain-of-thought，而且高低兩層是同一個模型。
文章坦白寫了限制：π0.5 不一定第一次就成功，高階判斷與動作指令都常出錯。它也提到未來機器人可以利用自主執行的經驗，在更少監督下變好——這正是整門課「自我改進」主題在實體世界的版本，但文章沒有宣稱已經做到。
一個完整例子：讀資料消融表
π0.5 一文拿掉訓練資料的不同部分，比較結果。下表是文中「沒見過的物件」（OOD）條件下的成功率：
| 訓練資料 | OOD 成功率 |
|---|---|
| 完整 π0.5 | 94% |
| 拿掉網路資料（no WD） | 74% |
| 拿掉其他機器人的跨形體資料（no CE） | 49% |
| 拿掉非行動機器人在多個環境收集的資料（no ME） | 31% |
推理過程：拿掉網路資料掉 94−74=20 個百分點；拿掉跨形體資料掉 94−49=45 個；拿掉多環境資料掉 94−31=63 個。
結果的意思：在這個條件下，三種資料都有貢獻。照數字看，掉最多的是拿掉多環境資料那一列；這批資料來自放進許多不同住家的固定式機器人，不是受測的行動機器人自己收集的。文章圖說強調的則是另一個對比：網路資料對辨認沒見過的物件類別影響最大，其他機器人的資料在所有條件下都重要。本文的讀法是兩種說法看的是不同的比較，並不衝突：在分布內的清理任務上，拿掉網路資料幾乎沒差（成功率 83% 對 82%），到了沒見過的物件才掉 20 個百分點。所以「網路資料有沒有用」的答案取決於你測的是什麼。
文章另有一個規模實驗：訓練環境數增加到大約 100 個時，表現接近直接在測試環境上訓練的對照模型。
變式檢查與答案
先檢查機制。如果只停止動作專家到主幹的梯度，其他什麼都不加，會發生什麼事？答案：主幹的語言能力保住了，但動作會做不好。 主幹不再從機器人資料收到任何訊號，它的表示不適合控制；文章的摺衣實驗裡，凍結主幹的版本無法完成任務。所以才需要讓主幹另外預測離散的 FAST 動作 token，由這個目標提供和動作有關的訓練訊號。
再檢查兩層推論的節奏。以下計算是本文自擬。動作區塊是 50 步、1 秒，所以控制頻率是 50÷1=50 Hz。假設機器人每執行完一個區塊就重新推論一次，一個 2 分鐘的子任務需要 120÷1=120 次低階推論。如果改用推論時間是兩倍的自迴歸模型，會怎樣？答案：每個區塊的等待時間加倍，動作之間會停頓，或者必須執行更久以前算好的動作。 這說明為什麼文章把推論速度和成功率並列為目標；「兩倍」取自文中自迴歸模型完成同一任務花兩倍時間的觀察，用在這裡是簡化的假設。
常見誤解是把這些影片讀成「家用機器人已經能用」。兩篇文章測的是摺衣、收拾餐桌、把物品放進抽屜與居家清理這幾類任務，π0.5 一文附了自家模型失敗的錄影，knowledge insulation 一文的各項成功率也都沒有到 100%。今晚可以做的事：找一段你有興趣的機器人示範影片，查它的測試環境是否出現在訓練資料裡；這是 π0.5 一文用來區分泛化與記憶的那條線。
英文閱讀與表達
本文自擬句：The action expert reads the backbone's representations, but its gradients do not flow back.（動作專家讀取主幹的表示，但它的梯度不會回傳。）Web data helps most when the robot meets unfamiliar objects.（機器人遇到不熟悉的物件時，網路資料的幫助最大。）練習用兩句說明消融表的結論；這是閱讀／表達練習，沒有原音跟讀。
參考資料
Loading...