上下文學習 是什麼?
In-context Learning — 上下文學習 的完整解釋
上下文學習 (In-context Learning) 指的是大型語言模型無需額外訓練,僅通過輸入範例即可學習新任務的能力。
容易混淆
上下文學習 vs 微調 上下文學習不改模型權重 微調會用新資料更新權重 最關鍵的區別是現場學,還是重新訓練一部分模型
上下文學習 vs 少樣本學習 少樣本學習是更大的概念 上下文學習是大型語言模型常見的做法之一 最關鍵的區別是整體目標,還是具體機制
記住這句就好
不改權重,直接看範例學。
實際案例
格式轉換 你只要在提示裡給幾個輸入輸出對,模型就能照著把資料改成你要的格式。
臨時分類 今天要把留言分成正向、負向和中立,明天換標準時,只要改提示範例就能重做。
深入了解
上下文學習很吃提示品質和範例選擇,範例越貼近任務,效果通常越好。 它也受上下文窗口限制,所以能放進去的示例數量不是無限的。
情境判斷
Q1: 你不想重新訓練模型,只想臨時教它新格式,會先想到什麼? → 上下文學習。
Q2: 任務很固定、長期都要同一種輸出,還只靠提示範例嗎? → 看情況,這時微調可能更穩定。
相關術語
常見問題
上下文學習最大的優點是什麼?
不用改模型就能快速適應新任務。
它有什麼限制?
對提示很敏感,而且受上下文長度限制。
怎麼提高效果?
選對範例、把任務說清楚、讓輸出格式固定。