上下文窗口 是什麼？

Context Window — 上下文窗口 的完整解釋

上下文窗口是指，大型語言模型一次性能處理的最大 Token 數量，超過此限制模型便會遺忘先前的內容

容易混淆

上下文窗口 vs 長期記憶 vs token 上限

上下文窗口：單次可處理的內容範圍

長期記憶：跨次對話仍可保存的資訊

token 上限：窗口大小常用的計量方式

最關鍵的區別：上下文窗口是「這一回合看得到多少」，不是永久記住多少。

記住這句就好

視野越大，模型越不容易忘前文。

實際案例

長篇文件摘要

前：文件一拉長，前面的定義常被漏掉

後：增加上下文窗口，或先分段摘要，再合併成總結

客服對話

前：聊到第三輪後，模型忘了客戶前面提過的訂單號

後：把關鍵資訊持續放回上下文，讓模型維持對話脈絡

算法與應用

上下文窗口常和注意力機制、token、檢索增強生成一起討論

在產品設計上，它會影響提示長度、文件切片策略、對話保留和成本控制

窗口變大不是毫無代價，計算成本通常也會跟著上升

情境判斷

Q1（直覺題）： 如果模型忘了你前面兩千字說過的規則，可能和上下文窗口有關嗎？

→ 有，很可能是因為超出可見範圍。

Q2（判斷題）： 上下文窗口越大，就一定越好嗎？

→ 不一定。窗口大通常更能記住前文，但成本、速度和實作難度也會上升。

常見問題

上下文窗口和記憶力是一樣的嗎？

不一樣，它只是單次可讀範圍，不是人類式記憶。

為什麼有些模型能處理長文件，有些不行？

主要差在窗口大小、推理成本和設計策略。

超過窗口的內容會怎樣？

通常會被截掉，模型就看不到了。