上下文窗口(Context Window)是什麼?

上下文窗口是指,大型語言模型一次性能處理的最大 Token 數量,超過此限制模型便會遺忘先前的內容|本頁含完整原理、應用場景、iPAS 考試重點與 3 個常見問答。

上下文窗口(Context Window)是什麼? 自然語言處理大型語言模型

你有沒有發現,聊天聊太長,AI 好像會忘記前面說過的事?

你可以把上下文窗口想成「模型一次能看見的文字長度」:在這個範圍裡,它還記得你說了什麼,超過後就看不到更早的內容。

它很重要,因為很多對話、文件分析和長文推理都受這個限制影響,窗口太小時,模型就容易漏掉前文資訊。

容易混淆

上下文窗口 vs 長期記憶 vs token 上限

上下文窗口:單次可處理的內容範圍

長期記憶:跨次對話仍可保存的資訊

token 上限:窗口大小常用的計量方式

最關鍵的區別:上下文窗口是「這一回合看得到多少」,不是永久記住多少。

記住這句就好

視野越大,模型越不容易忘前文。

實際案例

長篇文件摘要

前:文件一拉長,前面的定義常被漏掉

後:增加上下文窗口,或先分段摘要,再合併成總結

客服對話

前:聊到第三輪後,模型忘了客戶前面提過的訂單號

後:把關鍵資訊持續放回上下文,讓模型維持對話脈絡

算法與應用

上下文窗口常和注意力機制、token、檢索增強生成一起討論

在產品設計上,它會影響提示長度、文件切片策略、對話保留和成本控制

窗口變大不是毫無代價,計算成本通常也會跟著上升

情境判斷

Q1(直覺題): 如果模型忘了你前面兩千字說過的規則,可能和上下文窗口有關嗎?

→ 有,很可能是因為超出可見範圍。

Q2(判斷題): 上下文窗口越大,就一定越好嗎?

→ 不一定。窗口大通常更能記住前文,但成本、速度和實作難度也會上升。

常見問題

上下文窗口和記憶力是一樣的嗎?

不一樣,它只是單次可讀範圍,不是人類式記憶。

為什麼有些模型能處理長文件,有些不行?

主要差在窗口大小、推理成本和設計策略。

超過窗口的內容會怎樣?

通常會被截掉,模型就看不到了。