李宏毅 5/8 這堂先說清楚：「AI 自我成長」沒有明確定義，它是人類漸漸放手的過程。他把機器學習拆成三步，逐一檢查「我」能不能換成 AI：答案可以由 AI 自我修正後當標準答案，reward shaping 可以交給 LLM 寫，loss 可以讓模型自己訂（打分、多數決、entropy），連題目都能讓 proposer 自己出。但實驗一再顯示，完全不靠人會卡在天花板甚至把自己訓練壞；強 AI 訓練比自己弱的 AI 已經做得到，只是還沒超過人類。結論：2026 年 5 月，AI「還在盧比孔河邊」。
上集講的是 AI 自己訂 loss、自己更新參數；下集把另一半補上：AI Agent = Harness + LLM，harness 也能自己長。harness 沒辦法算 gradient，所以常見做法是拿一個語言模型當改寫器，再用類似基因演算法的 pool 保留多個候選（OPRO、GEPA、Darwin Gödel Machine，現成工具是 DSPy）。接著談三個延伸：harness 與參數一起更新效果更好；目標會變時要在「全部丟掉」和「全部背著」之間取捨，而且改 harness 也會遺忘；更新規則本身也能被更新（HyperAgent、Gödel Agent、SEAL），這就是 meta learning。最後李宏毅換了一個類比：參數是基因、context 才是神經元，然後指出現在的 agent 缺的是內在動機，而最可能讓成長失控的，是人給的目標和 AI 自己解讀出來的目標不一致。
長時間研究時，agent 面臨「上下文窒息」：資訊堆積、噪音增加、注意力被稀釋。IterResearch 用馬可夫狀態重建解決這個問題，AREX 用內外雙循環實現遞迴自我改進。兩者回答同一個問題：agent 怎麼在數百輪搜尋後依然保持清晰？
2026 年三個非大廠團隊用不同的 RL 後訓練路線做出 benchmark 黑馬：Ornith 讓模型自己出題自己改進（GRPO self-improvement loop），Nous Research 用 DataForge 合成資料 + Atropos 執行獎勵 RL，MiniMax 在 20 萬個真實環境裡大規模 RL。三條路各有強項，但共同證明了一件事：後訓練 RL 比預訓練規模更重要。
Hermes 的記憶是硬上限的：MEMORY.md 2,200 字元、USER.md 1,375 字元，寫爆不會自動壓縮而是回錯誤讓 agent 自己騰位子。技能則由 curator 背景維護，預設 7 天跑一次、只在閒置 2 小時後啟動，30 天未用標 stale、90 天封存——但從不刪除。真正該打開的開關是 `memory.write_approval` 與 `skills.write_approval`，它們把背景自我改進的寫入變成待審。