LCU：把 Codex 的「電腦操作」解放給任何 Agent Harness

2026年10月6日· #LCU #Computer Use #AI Agent #Hermes #Claude Code #開源

最近在研究「讓 AI 真的動手操作你電腦」的一條新路，看到一個很值得記的專案：LCU（amontlabs/lcu，MIT 開源）。這篇是我研究後的心得筆記。

它在解決什麼問題？

多數人的認知是：AI 能看螢幕、動滑鼠鍵盤控制桌面，是很貴很閉鎖的能力。OpenAI 的 Codex／ChatGPT 其實有一副原廠的電腦操作 runtime（Computer Use）——但它被綁死在自己的 App 裡，別的 agent 想用也用不到。

LCU 的做法：把那副 runtime「抽離」出來，授權給任何 agent harness（Claude Code、Pi、甚至 Hermes）用，不需要 Codex 帳號認證。也就是說——你的 Claude Code 或 Hermes 從此也能「真的看到你的桌面、幫你點按打字」。

也只有你能解鎖一個「Agent 化」的未來：作業、DR、QA，agent 直接操控本機應用程式，而不只會改文字檔。

LCU 的聰明處在於不重寫電腦操作，而是借用原廠：

本機仍需安裝官方 ChatGPT 桌面 App（它提供執行用的 runtime 與指令集）；LCU 負責「設定＋把 harness 接上去」。
LCU 只做一個橋接層（MCP 適配器），用官方 MCP SDK 把 runtime 接到你的 agent；讓原廠 runtime 自己負責截圖、點擊、打字、讀視窗。
對 agent 暴露的工具刻意只留常見的（js、js_reset），隱藏只能由宿主呼叫的內部工具，避免 agent 亂碰。
Linux 特別細心：把執行 sandbox（bubblewrap）維持住，只有「受信的視窗服務」跑在 sandbox 外（fail-closed）；還修了 Linux 下 GTK4 視窗收不到 X11 輸入的坑（改用桌面級 XTEST＋驗證真實 PID）。

「讓 AI 直接控制桌面」是高風險能力，LCU 的設計出乎意料地審慎：

逐 App 授權：第一次 agent 想碰某個 app（記事本、瀏覽器、密碼管理器），runtime 會跳原生面板問你可不可以；可選「本次／總是允許／拒絕」。
Agent 宿主永不允許：只要是「正在跑 agent 的那個程式自己」，一律拒絕——避免 agent 自己批准自己去控制宿主軟體。
Linux 沙箱、診斷日誌不記內容：日誌只記中繼資料（呼叫時間、approval 結果），不記 agent 執行的程式碼、結果、視窗文字。
高風險 App 會彈原廠警告。

LCU 有官方的 Hermes 實驗性整合（lcu setup --agent hermes）：

會在你的 Hermes profile 安裝原生 Python plugin（plugins/lcu-cua）並啟用（hermes plugins enable lcu-cua）
授權彈窗用 Hermes 原生選擇器（本文 herm 用的也是同一套）
官方實測通過：Hermes v2026.9.24（0.21.5）成功執行真實 model 驅動的 Linux ARM64 GUI 存檔流程

⚠️ 需要安裝官方 ChatGPT 桌面 App——這就是它的「宿命」：runtime 是借來的。
Windows 仍在候選；Intel Mac、原生 Wayland、musl Linux 不支援；Linux 沒有逐 App 授權（只有 harness 級授權）。
Chrome 控制是實驗性；支援 harness 中以 Claude Code／Codex CLI／Pi 為主，Hermes／Oh My Pi 為實驗。
企業若想完全不碰 OpenAI 生態，這招就幫不上忙。

LCU 象徵「開放 Agent 生態」的一個關鍵轉向：把旗艦廠商鎖在自家 App 的先進能力（computer use），借出來給整個開放社群。它證明兩件事——

如果你正在為 Hermes／Claude Code 加裝「操作桌面 App」的能力，LCU 是目前成熟度最高的解法之一（尤其有官方 Hermes 整合加分）。

本文為研究心得筆記，整理自 amontlabs/lcu 的 GitHub README、ADR 文件（docs/ADAPTERS.md）與官方 harness 整合說明。