跳到主要內容
Foxyko
AI Agent

Computer Use 是什麼？AI 操作電腦的運作方式、風險與限制

Computer use 讓 AI 看截圖、用滑鼠與鍵盤操作電腦。這篇以 Anthropic 官方文件說明運作迴圈、可用動作、安全風險、限制與成本，以及什麼時候不該用。

Foxyko5 分鐘

簡短回答：Computer use 是讓 AI 先看螢幕截圖、再用滑鼠與鍵盤操作電腦的能力。以 Anthropic 的 API 為例，模型只提出點擊、輸入等動作請求，由你的程式在受控環境執行並回傳新截圖，重複到任務完成。它能處理沒有 API 的軟體，但速度較慢、可能點錯，也有提示詞注入的風險。

本文重點

  • Computer use 讓 AI 透過截圖「看」螢幕，並以滑鼠、鍵盤與捲動完成操作，適合沒有 API 的軟體或跨應用程式的流程。
  • Anthropic 的 computer use 是客戶端工具：模型不直接連到你的電腦，每個動作都由你的應用程式在你控制的環境執行。
  • 最大的風險是提示詞注入：網頁或圖片中的指示可能影響模型。官方建議用專用虛擬機器、限制網路、避開敏感資料，並讓人確認重大決定。
  • 官方列出的限制包括延遲、座標或工具選擇出錯、捲動與試算表操作不穩，不適合要求完美精確的任務。
  • 只在網頁內的任務，Anthropic 文件建議改用 browser use 工具，它不需要完整桌面環境。

Computer use 是什麼？

Computer use（電腦操作）是讓 AI 模型操作電腦介面的能力。模型先取得螢幕截圖，判斷畫面上有什麼，再決定要點擊哪裡、輸入什麼或按哪個快捷鍵。Anthropic 文件把它描述為提供截圖，以及滑鼠與鍵盤控制，讓模型自主操作桌面。

它和一般聊天機器人的差別在於「動手」：聊天機器人只產生文字，computer use 則能打開應用程式、填表單、在不同軟體間複製資料。對沒有 API 的舊系統或跨應用程式的流程特別有用。

Computer use 怎麼運作？

Anthropic 的 computer use 是「客戶端工具」，運作是一個迴圈，由你的應用程式與模型輪流進行：

  1. 提供工具與任務

    在 API 請求的 tools 中加入 computer use 工具集，並送出一個需要操作桌面的任務，例如「把一張貓的圖片存到桌面」。

  2. 模型回覆動作請求

    模型回覆一或多個動作，例如 screenshot、left_click、type，回應的 stop_reason 為 tool_use。一次回覆可以包含好幾個動作，稱為批次動作。

  3. 你的程式執行並回傳結果

    你的應用程式依序在自己的虛擬機器或容器中執行每個動作。screenshot 要回傳圖片，其他動作回傳簡短確認即可；批次中有動作失敗就停止，並把失敗與未執行的狀態回報給模型。

  4. 重複到完成

    模型根據新的截圖判斷是否還需要動作。沒有更多動作時，它會用文字回覆結果。

重點是模型不會直接連到你的電腦：它只提出請求，真正按下滑鼠的是你的程式。這也讓你可以決定在哪個環境、用什麼權限執行，並在每個動作前插入人工確認。

Computer use 可以做哪些動作？

以 Anthropic 目前文件中的 computer_toolset_20260801 為例，一個工具集包含 17 個成員工具。常見的動作分類如下：

類別動作說明
看畫面screenshot、zoom擷取整個畫面；或放大某個區域，看清楚小字與細節
滑鼠left_click、right_click、double_click、left_click_drag、mouse_move、scroll點擊、拖曳、移動與捲動，點擊可搭配 shift、ctrl 等修飾鍵
鍵盤type、key、hold_key輸入文字、按下單鍵或組合鍵（如 ctrl+s），key 可重複 1 到 100 次
等待與位置wait、cursor_position等待應用程式載入（最長 300 秒）；回報游標座標

座標一律以你回傳的截圖像素為準。如果你縮小截圖再回傳，要把模型給的座標換算回真實螢幕，否則會一直偏移。

Anthropic 和 OpenAI 的做法差在哪？

兩家都把這類能力從 API 延伸到產品，但執行的位置不同。以下只比較兩家文件已明確寫出的部分：

面向Anthropic（Claude API）OpenAI（ChatGPT Work 與開發者文件）
誰執行動作你的應用程式在你控制的環境執行ChatGPT Work 的雲端瀏覽器在 OpenAI 的雲端電腦上執行；桌面 App 的 Work 經授權可使用本機檔案與桌面應用程式
登入處理文件提醒在需要登入的應用程式中使用，會提高提示詞注入造成壞結果的風險雲端瀏覽器用安全表單登入，帳密不會被模型看到
確認機制建議由你的應用程式在重大決定前請人確認難以復原或有實際承諾的動作，先在對話中請使用者確認
資料位置截圖與檔案存在你的環境，不由 Anthropic 儲存依 ChatGPT 的資料控制設定處理

OpenAI 的文件也列出 Computer use 工具，其安全檢查文件說明會對該工具進行安全檢查。兩邊的產品與 API 改版都很快，ChatGPT 的 agent 模式就已被 Work 取代，見ChatGPT Agent 還能用嗎。

Computer use、browser use 與 API 整合該選哪一個？

不是所有自動化都需要操作整個桌面。依任務範圍選最小的工具，通常更穩、也更便宜。

方式適合取捨
API 或 MCP 整合軟體提供 API 或連接器時Foxyko 的判斷：直接呼叫通常比看螢幕點按更快、更穩，前提是對方有提供介面
Browser use 工具只在網頁內進行的任務Anthropic 文件說它直接讀取並操作頁面，不需要完整桌面環境
Computer use要操作整個桌面、跨多個應用程式，或沒有 API 的軟體最通用，但最慢、成本較高、風險面最大

MCP 的運作方式見MCP 是什麼。

Computer use 有哪些安全風險？

Anthropic 文件指出，computer use 有不同於一般 API 功能的獨特風險，連上網際網路時風險更高。最主要的是提示詞注入：網頁上的文字或圖片中的指示，可能被模型當成命令而覆蓋你的指示。Anthropic 表示已訓練模型抵抗，並對工具回傳的內容（例如截圖）加一層分類器偵測，但文件明確說預防措施仍然重要。

官方建議的預防措施有四項：

  • 使用權限最小的專用虛擬機器或容器，避免直接傷害你的系統。
  • 不讓模型接觸帳號登入資訊等敏感資料，避免資料被竊取。
  • 把網路限制在允許清單內的網域。
  • 對可能造成實際後果的決定，以及需要明確同意的事項（例如接受 cookie、完成金融交易、同意服務條款），請人確認。

更完整的原理見AI Agent 的提示詞注入，權限設計見AI Agent 權限怎麼設。

Computer use 目前有哪些限制？

  • 延遲。 與人工直接操作相比可能太慢，適合速度不重要的情境，例如背景資訊蒐集與自動化軟體測試，且在受信任的環境中。
  • 視覺精確度。 輸出座標時可能出錯或「幻覺」，可用 zoom 看清小字，並要求每步驗證。
  • 工具選擇。 可能選錯工具或採取意外動作，在冷門軟體或同時操作多個應用程式時可靠度較低。
  • 捲動與試算表。 捲動在某些程式沒有效果，可改用 Page Down 等鍵盤操作；試算表的複雜操作可能需要多次嘗試。
  • 社群平台。 建立帳號、產生並分享內容、冒充人類的能力有限。
  • 成本。 每張截圖約佔 1,000 到 1,800 個輸入 token，宣告預設工具集也會額外增加約 4,500 個輸入 token。

官方的建議是：要仔細檢查動作與紀錄，不要在需要完美精確或涉及敏感使用者資訊的任務中，沒有人工監督就使用。

怎麼安全地試用 computer use？

1. 先建立隔離環境

Anthropic 提供參考實作，是一個 Docker 容器，包含虛擬顯示器、桌面環境，以及 Firefox、LibreOffice 等預裝應用程式。先在這種環境試，不要直接接上你的日常電腦。

2. 從小而明確的任務開始

官方建議指定簡單、定義清楚的任務，並為每一步給明確指示。例如「在試算表裡把 A 欄排序」，比「整理這份資料」好驗收。

3. 要求每一步都驗證

Anthropic 指出模型有時會把動作當成成功，卻沒有檢查結果。可以在提示詞裡要求每步後截圖確認：

每步驗證的提示詞（參考官方建議改寫）
每完成一個步驟，請先截圖，用一句話說明畫面顯示什麼，以及這一步是否成功。
如果沒有成功，請重試；確認成功之後，才進行下一步。
遇到登入、付款、同意條款或需要輸入敏感資料時，先停下來問我。

4. 限制網路與資料

只放行任務需要的網域，不要讓環境裡出現帳密與敏感檔案。

5. 設人工確認、留紀錄、控制迴圈次數

官方範例迴圈設有最大迴圈次數，避免無限迴圈造成意外的 API 費用；文件也建議記錄每個動作以利除錯。若要人工確認，要在每個動作執行前檢查，因為一個批次可能在一回合內完成多步動作。

什麼時候不該用 computer use，有什麼替代方案？

  • 軟體有 API 或 MCP 連接器：直接整合。
  • 任務只在瀏覽器內：用 browser use 工具，或有瀏覽器功能的產品。
  • 需要即時互動、接近人工的操作速度：改用人工或腳本。
  • 要求精確無誤或涉及敏感帳號、付款：交給人處理，或只讓 AI 準備草稿。
  • 想在產品中試用、不想自己架環境：可看有桌面或瀏覽器代理功能的產品，例如Claude Cowork。

相關文章

想先認識基本概念，看AI Agent 是什麼；想知道 ChatGPT 的做法，看ChatGPT Agent 還能用嗎。

資料來源

常見問題

Computer use 和一般聊天機器人有什麼不同？
聊天機器人只產生文字；computer use 讓模型看截圖並提出點擊、輸入等動作，由程式在電腦環境中執行。它能操作沒有 API 的軟體，但速度較慢，也需要更多安全防護。
Computer use 會直接連到我的電腦嗎？
Anthropic 文件說明模型不會直接連到環境，而是提出請求，由你的應用程式在你控制的虛擬機器或容器中執行並回傳截圖。截圖與檔案存放在你的環境。
Computer use 安全嗎？
有風險，主要是提示詞注入。官方建議用專用虛擬機器、避開敏感資料、限制網路網域，並讓人確認重大決定。即使有偵測機制，這些措施仍然重要。
Computer use 和 browser use 差在哪？
Anthropic 文件說，只在網頁內的任務適合 browser use，它直接讀取並操作頁面，不需要完整桌面。需要操作整個桌面或多個應用程式時，才用 computer use。
Computer use 的成本怎麼算？
依一般工具使用計價。每張截圖約 1,000 到 1,800 個輸入 token，預設工具集的定義另外增加約 4,500 個輸入 token；長流程的截圖會累積，建議限制迴圈次數並整理歷史。
主題標籤Computer UseAI Agent自動化

延伸閱讀