AI Agent 的提示詞注入是什麼?委派任務前要懂的風險與防護
AI Agent 會讀網頁、檔案與信件,這些內容可能夾帶惡意指令。這篇說明提示詞注入的原理,以及一般使用者可做的七項防護。
Foxyko2 分鐘
本文重點
- 提示詞注入是指輸入的內容改變了 AI 的行為,結果不是你或開發者預期的。
- 間接注入更值得注意:Agent 讀到的網頁、檔案或信件裡,可能藏有給 AI 的指令。
- Agent 能做事(寄信、改檔、跑指令),所以被注入的後果比純聊天更嚴重。
- 最有效的防護是最小權限,加上高風險動作一律人工確認。
提示詞注入是什麼
OWASP(開放網路軟體安全計畫)把提示詞注入列為大型語言模型應用的首要風險之一,定義是:輸入的內容以非預期的方式改變了模型的行為或輸出。根本原因在於,模型很難分辨哪些文字是「開發者或使用者下的指令」,哪些只是「要處理的資料」。
| 類型 | 指令從哪裡來 | 例子 |
|---|---|---|
| 直接注入 | 使用者自己輸入 | 在聊天框輸入「忽略前面所有規則」,試圖繞過限制 |
| 間接注入 | Agent 讀取的外部內容 | 網頁、文件或信件裡藏著一段給 AI 的指令,Agent 讀到後照做 |
兩種都可能是刻意攻擊,也可能是無心造成。對一般使用者來說,間接注入最需要警覺,因為你根本不會看到那段指令。
為什麼 Agent 比聊天機器人更危險
純聊天的 AI 被注入,頂多回出奇怪的答案。但 Agent 擁有工具與權限:可以讀你的信箱、操作檔案、上網、執行指令。同樣一段被藏起來的指令,在 Agent 身上就可能變成真的動作,例如把資料送到別處。判斷任務是否適合交給 Agent,可先看AI Agent 能幫你做什麼。
七項防護原則
以下改寫自 OWASP 建議的緩解方向,並轉成一般使用者與小團隊能執行的做法。
- 限縮任務範圍。清楚定義 Agent 的角色與能做的事,不要給它「幫我處理所有事」。
- 最小權限。只開放完成任務必要的資料夾、帳號與工具,用獨立的帳號或權杖,不要用你的主帳號。
- 高風險動作需人工確認。寄信、付款、刪除、安裝軟體、執行指令,都應該由你按下確認。
- 區隔不可信內容。來路不明的網頁、下載的檔案與陌生人寄來的信,要當作不可信資料,不要讓 Agent 把它們當成指令。
- 規定輸出格式並檢查。要求固定格式與來源,異常的輸出比較容易被發現。
- 過濾輸入與輸出。對敏感資料類別設定檢查,避免把不該出去的內容送出去。
- 定期做對抗測試。把模型當成不完全可信的使用者,主動測試它會不會被誘導。
開始使用前的檢查清單
- 這個 Agent 能碰到哪些資料?有沒有包含不該給它的?
- 它會讀哪些外部內容?其中有沒有不可信的來源?
- 哪些動作不可逆?這些動作是否都需要我確認?
- 出事時,我能不能快速收回權限、還原變更?
接下來
Agent 透過工具連接外部系統的方式可看MCP 完整解析;一般的資料保護習慣可看用 AI 前該知道的安全與隱私基本功。
常見問題
- 提示詞注入和越獄有什麼不同?
- 兩者常被一起談,但重點不同。越獄通常是使用者想讓模型繞過它的安全規則;提示詞注入則涵蓋更廣,包括 Agent 讀到的外部內容改變了它的行為,使用者本人甚至可能毫不知情。
- 只用聊天機器人,需要擔心嗎?
- 風險較低,因為它沒有工具權限,但仍要留意貼進去的外部內容。一旦開啟瀏覽、連接信箱或讓它執行動作,就要套用上面的防護原則。
- 怎麼知道 Agent 被注入了?
- 常見跡象是它做了你沒要求的事,或輸出忽然偏離任務。因為不一定看得出來,所以更需要預先限縮權限,並保留高風險動作的人工確認。
延伸閱讀
AI Agent進階2 分鐘
AI Agent 能幫你做什麼?判斷哪些任務適合交給它的五個問題
不是所有工作都適合交給 AI Agent。這篇用五個問題判斷任務值不值得委派,並說明怎麼設定權限、驗收標準與失敗時的退路。
AI Agent進階4 分鐘
MCP 是什麼?Model Context Protocol 運作方式與安全風險
MCP(Model Context Protocol)是讓 AI 應用連接外部工具與資料的開源標準。本文用白話說明架構、三種能力、最新規格變動,以及使用前的安全檢查。
AI 入門入門2 分鐘
用 AI 前該知道的安全與隱私基本功
用 AI 處理工作時,最容易被忽略的不是技術問題,而是「這段資料傳出去之後去了哪裡」。這篇整理五個具體該注意的地方,不用懂技術也能照做。