上下文學習(In-context Learning)是什麼?

上下文學習 (In-context Learning) 指的是大型語言模型無需額外訓練,僅通過輸入範例即可學習新任務的能力。|本頁含完整原理、應用場景、iPAS 考試重點與 3 個常見問答。

上下文學習(In-context Learning)是什麼? 大型語言模型自然語言處理

你有沒有只給 AI 幾個例子,它就突然知道怎麼做新任務?

你可以把上下文學習想成模型在提示裡現場學規則。 它不用先改權重,只靠你放進去的範例和說明,就能臨時適應新任務。

你可以把它想成一個把抽象概念拉回日常判斷的提示,先知道它解決什麼問題,再看技術細節。

容易混淆

上下文學習 vs 微調 上下文學習不改模型權重 微調會用新資料更新權重 最關鍵的區別是現場學,還是重新訓練一部分模型

上下文學習 vs 少樣本學習 少樣本學習是更大的概念 上下文學習是大型語言模型常見的做法之一 最關鍵的區別是整體目標,還是具體機制

記住這句就好

不改權重,直接看範例學。

實際案例

格式轉換 你只要在提示裡給幾個輸入輸出對,模型就能照著把資料改成你要的格式。

臨時分類 今天要把留言分成正向、負向和中立,明天換標準時,只要改提示範例就能重做。

深入了解

上下文學習很吃提示品質和範例選擇,範例越貼近任務,效果通常越好。 它也受上下文窗口限制,所以能放進去的示例數量不是無限的。

情境判斷

Q1: 你不想重新訓練模型,只想臨時教它新格式,會先想到什麼? → 上下文學習。

Q2: 任務很固定、長期都要同一種輸出,還只靠提示範例嗎? → 看情況,這時微調可能更穩定。

常見問題

上下文學習最大的優點是什麼?

不用改模型就能快速適應新任務。

它有什麼限制?

對提示很敏感,而且受上下文長度限制。

怎麼提高效果?

選對範例、把任務說清楚、讓輸出格式固定。