跳到主要內容
Foxyko
AI 入門

Token 與上下文視窗是什麼?為什麼 AI 會忘記前面說過的話

Token 是 AI 計算文字的單位,上下文視窗是它一次能看的範圍。這篇用白話說明兩者如何影響費用、長對話與長文件處理。

Foxyko2 分鐘

本文重點

  • Token 是 AI 處理文字的最小單位,大致是「字詞的片段」,不等於一個字或一個詞。
  • 上下文視窗是 AI 一次能同時參考的 token 總量,包含你的輸入與它的回答。
  • 對話或文件超過這個範圍,較早的內容就可能不再被參考,看起來像「忘記」。
  • 同樣的內容,不同語言需要的 token 數不同,非英文通常比英文多。

Token 是什麼

AI 讀文字之前,會先把它切成許多小片段,這些片段就叫 token。切法不一定對應字或詞:一個 token 可能是整個常見單字,也可能只是單字的一部分,甚至包含空格。

OpenAI 的說明文件給了英文的粗略換算:一個 token 約等於 4 個字元,或約四分之三個英文單字,所以 100 個 token 大約是 75 個英文單字。這只是估算,實際數字要看使用的模型和斷詞方式。

換成其他語言時,比例會不一樣。同一份文件,非英文的 token 數相對於字數通常比英文高,使用 API 時費用也可能因此更高。中文的實際換算會因模型而異,需要精確數字時,請用該服務提供的計算工具。

上下文視窗是什麼

上下文視窗(context window)是模型一次能「看到」的 token 上限,包含你送出的提示詞、先前的對話、貼上的文件,以及它正在寫的回答。可以把它想成一張固定大小的桌面:桌面放滿了,要放新東西就得拿掉舊的。

情況桌面上發生什麼事你會看到的現象
短對話、短文件內容全部放得下AI 能完整參考每一句話
對話拉得很長較早的訊息被截掉或壓縮AI 好像忘了你一開始設定的規則
貼入超長文件超出上限,無法全部放入被拒絕、被截斷,或只讀到一部分

實際上該怎麼做

  1. 重要規則放在最前面,並在長對話中重述。需要 AI 持續遵守的格式或限制,每隔一段時間再貼一次。
  2. 換主題就開新對話。舊內容佔空間,也可能干擾新任務。
  3. 長文件先請 AI 摘要,再針對重點追問。不要一次把所有資料全塞進去。
  4. 把固定背景存成專案或範本。每次重貼太耗空間,可參考Claude Projects 教學。

各家的實際上限

上下文視窗的大小與計費方式會隨模型和方案更新,本文不列具體數字。要用在正式工作前,請查看各服務官方的模型說明頁,並以當下的資訊為準。

接下來

如果你剛開始接觸 AI,可先看AI 入門路線,把整體觀念建立起來。

常見問題

Token 數會影響費用嗎?
透過 API 使用時,費用通常按輸入與輸出的 token 數計算。一般的聊天訂閱方案則多半是用量額度或次數限制,細節以各服務的方案說明為準。
為什麼 AI 回答到一半會中斷?
回答長度有上限,加上輸入已佔用視窗,剩下的空間不夠時就可能被截斷。可以請它「接著上一段繼續」,或把任務拆成幾個較短的部分。
上下文視窗越大越好嗎?
不一定。視窗大可以放進更多資料,但內容越多,模型越可能漏掉細節,速度和成本也可能增加。整理過的精簡資料通常比整本貼進去更有效。
AI 入門入門4 分鐘

AI 入門怎麼開始?零基礎的四週學習路線

零基礎學 AI 不需要先懂原理或程式。這是一條四週的 AI 入門路線:選一個工具、練習把需求說清楚、認識 AI 會出錯的地方,再接進日常工作。