微調Fine-tuning
也常被稱為:Fine-tuning、精調、微調訓練
一句話解釋
用特定資料繼續訓練既有模型,讓它學會特定的風格、格式或任務模式。
該用微調的時機
微調真正擅長的是教模型「怎麼做」,而不是「知道什麼」:
- 固定的輸出格式。每次都要吐出特定結構的 JSON、特定欄位的報表。
- 特定的語氣風格。品牌口吻、法律文書、醫療摘要的既定寫法。
- 難以用文字描述的判斷。你有大量標註好的範例,但說不清楚判斷標準。
- 壓縮提示詞成本。原本要用很長的指令才能達到的效果,微調後可以用很短的提示達成——高流量情境下省下來的 token 相當可觀。
該用別的方法的時機
| 你的需求 | 該用什麼 | 為什麼 |
|---|---|---|
| 讓模型使用內部文件 | RAG | 資料可即時更新、能附出處,改資料不必重訓 |
| 調整語氣、增加限制 | 提示詞 | 幾分鐘就能試完,改一次成本近乎為零 |
| 讓模型知道最新消息 | 工具/搜尋 | 微調不會讓模型獲得即時資訊 |
| 固定格式輸出 | 先試結構化輸出 | 多數模型原生支援,不需訓練 |
實務上的順序
- 先把提示詞寫好。 多數「模型表現不佳」的問題,其實是指令不夠清楚。
- 需要外部知識就上 RAG。
- 兩者都到極限,且問題是「行為模式」而非「知識」時,才考慮微調。
這個順序不是保守,而是成本效益的實話:每往下一階,投入的時間和金錢就跳一個量級,而能解決的問題種類反而更窄。
常見問題
- 微調可以讓模型記住我的資料嗎?
- 效果不好,而且是常見的誤用。微調擅長教「怎麼做」,不擅長教「記住什麼」。想讓模型使用特定資料,RAG 幾乎總是更好的選擇——可以隨時更新、可以附出處、也不會因為資料變動就要重訓。
- 微調需要多少資料?
- 取決於任務,但通常比多數人想的少。教一個明確的輸出格式,幾百筆高品質範例可能就夠。品質遠比數量重要——一千筆不一致的範例,會比兩百筆一致的範例效果更差。
相關術語
更新於 .全部術語