跳到主要內容
Foxyko

微調Fine-tuning

也常被稱為:Fine-tuning、精調、微調訓練

一句話解釋

用特定資料繼續訓練既有模型,讓它學會特定的風格、格式或任務模式。

該用微調的時機

微調真正擅長的是教模型「怎麼做」,而不是「知道什麼」

  • 固定的輸出格式。每次都要吐出特定結構的 JSON、特定欄位的報表。
  • 特定的語氣風格。品牌口吻、法律文書、醫療摘要的既定寫法。
  • 難以用文字描述的判斷。你有大量標註好的範例,但說不清楚判斷標準。
  • 壓縮提示詞成本。原本要用很長的指令才能達到的效果,微調後可以用很短的提示達成——高流量情境下省下來的 token 相當可觀。

該用別的方法的時機

你的需求該用什麼為什麼
讓模型使用內部文件RAG資料可即時更新、能附出處,改資料不必重訓
調整語氣、增加限制提示詞幾分鐘就能試完,改一次成本近乎為零
讓模型知道最新消息工具/搜尋微調不會讓模型獲得即時資訊
固定格式輸出先試結構化輸出多數模型原生支援,不需訓練
微調是最後才考慮的選項,不是第一個。

實務上的順序

  1. 先把提示詞寫好。 多數「模型表現不佳」的問題,其實是指令不夠清楚。
  2. 需要外部知識就上 RAG。
  3. 兩者都到極限,且問題是「行為模式」而非「知識」時,才考慮微調。

這個順序不是保守,而是成本效益的實話:每往下一階,投入的時間和金錢就跳一個量級,而能解決的問題種類反而更窄。

常見問題

微調可以讓模型記住我的資料嗎?
效果不好,而且是常見的誤用。微調擅長教「怎麼做」,不擅長教「記住什麼」。想讓模型使用特定資料,RAG 幾乎總是更好的選擇——可以隨時更新、可以附出處、也不會因為資料變動就要重訓。
微調需要多少資料?
取決於任務,但通常比多數人想的少。教一個明確的輸出格式,幾百筆高品質範例可能就夠。品質遠比數量重要——一千筆不一致的範例,會比兩百筆一致的範例效果更差。
主題標籤微調模型訓練

更新於 全部術語