跳到主要內容
Foxyko
AI Agent

AI Agent 的提示詞注入是什麼?委派任務前要懂的風險與防護

AI Agent 會讀網頁、檔案與信件,這些內容可能夾帶惡意指令。這篇說明提示詞注入的原理,以及一般使用者可做的七項防護。

Foxyko2 分鐘

本文重點

  • 提示詞注入是指輸入的內容改變了 AI 的行為,結果不是你或開發者預期的。
  • 間接注入更值得注意:Agent 讀到的網頁、檔案或信件裡,可能藏有給 AI 的指令。
  • Agent 能做事(寄信、改檔、跑指令),所以被注入的後果比純聊天更嚴重。
  • 最有效的防護是最小權限,加上高風險動作一律人工確認。

提示詞注入是什麼

OWASP(開放網路軟體安全計畫)把提示詞注入列為大型語言模型應用的首要風險之一,定義是:輸入的內容以非預期的方式改變了模型的行為或輸出。根本原因在於,模型很難分辨哪些文字是「開發者或使用者下的指令」,哪些只是「要處理的資料」。

類型指令從哪裡來例子
直接注入使用者自己輸入在聊天框輸入「忽略前面所有規則」,試圖繞過限制
間接注入Agent 讀取的外部內容網頁、文件或信件裡藏著一段給 AI 的指令,Agent 讀到後照做

兩種都可能是刻意攻擊,也可能是無心造成。對一般使用者來說,間接注入最需要警覺,因為你根本不會看到那段指令。

為什麼 Agent 比聊天機器人更危險

純聊天的 AI 被注入,頂多回出奇怪的答案。但 Agent 擁有工具與權限:可以讀你的信箱、操作檔案、上網、執行指令。同樣一段被藏起來的指令,在 Agent 身上就可能變成真的動作,例如把資料送到別處。判斷任務是否適合交給 Agent,可先看AI Agent 能幫你做什麼。

七項防護原則

以下改寫自 OWASP 建議的緩解方向,並轉成一般使用者與小團隊能執行的做法。

  1. 限縮任務範圍。清楚定義 Agent 的角色與能做的事,不要給它「幫我處理所有事」。
  2. 最小權限。只開放完成任務必要的資料夾、帳號與工具,用獨立的帳號或權杖,不要用你的主帳號。
  3. 高風險動作需人工確認。寄信、付款、刪除、安裝軟體、執行指令,都應該由你按下確認。
  4. 區隔不可信內容。來路不明的網頁、下載的檔案與陌生人寄來的信,要當作不可信資料,不要讓 Agent 把它們當成指令。
  5. 規定輸出格式並檢查。要求固定格式與來源,異常的輸出比較容易被發現。
  6. 過濾輸入與輸出。對敏感資料類別設定檢查,避免把不該出去的內容送出去。
  7. 定期做對抗測試。把模型當成不完全可信的使用者,主動測試它會不會被誘導。

開始使用前的檢查清單

  • 這個 Agent 能碰到哪些資料?有沒有包含不該給它的?
  • 它會讀哪些外部內容?其中有沒有不可信的來源?
  • 哪些動作不可逆?這些動作是否都需要我確認?
  • 出事時,我能不能快速收回權限、還原變更?

接下來

Agent 透過工具連接外部系統的方式可看MCP 完整解析;一般的資料保護習慣可看用 AI 前該知道的安全與隱私基本功。

常見問題

提示詞注入和越獄有什麼不同?
兩者常被一起談,但重點不同。越獄通常是使用者想讓模型繞過它的安全規則;提示詞注入則涵蓋更廣,包括 Agent 讀到的外部內容改變了它的行為,使用者本人甚至可能毫不知情。
只用聊天機器人,需要擔心嗎?
風險較低,因為它沒有工具權限,但仍要留意貼進去的外部內容。一旦開啟瀏覽、連接信箱或讓它執行動作,就要套用上面的防護原則。
怎麼知道 Agent 被注入了?
常見跡象是它做了你沒要求的事,或輸出忽然偏離任務。因為不一定看得出來,所以更需要預先限縮權限,並保留高風險動作的人工確認。
AI 入門入門2 分鐘

用 AI 前該知道的安全與隱私基本功

用 AI 處理工作時,最容易被忽略的不是技術問題,而是「這段資料傳出去之後去了哪裡」。這篇整理五個具體該注意的地方,不用懂技術也能照做。