你有沒有發現,聊天聊太長,AI 好像會忘記前面說過的事?
你可以把上下文窗口想成「模型一次能看見的文字長度」:在這個範圍裡,它還記得你說了什麼,超過後就看不到更早的內容。
它很重要,因為很多對話、文件分析和長文推理都受這個限制影響,窗口太小時,模型就容易漏掉前文資訊。
容易混淆
上下文窗口 vs 長期記憶 vs token 上限
上下文窗口:單次可處理的內容範圍
長期記憶:跨次對話仍可保存的資訊
token 上限:窗口大小常用的計量方式
最關鍵的區別:上下文窗口是「這一回合看得到多少」,不是永久記住多少。
記住這句就好
視野越大,模型越不容易忘前文。
實際案例
長篇文件摘要
前:文件一拉長,前面的定義常被漏掉
後:增加上下文窗口,或先分段摘要,再合併成總結
客服對話
前:聊到第三輪後,模型忘了客戶前面提過的訂單號
後:把關鍵資訊持續放回上下文,讓模型維持對話脈絡
算法與應用
上下文窗口常和注意力機制、token、檢索增強生成一起討論
在產品設計上,它會影響提示長度、文件切片策略、對話保留和成本控制
窗口變大不是毫無代價,計算成本通常也會跟著上升
情境判斷
Q1(直覺題): 如果模型忘了你前面兩千字說過的規則,可能和上下文窗口有關嗎?
→ 有,很可能是因為超出可見範圍。
Q2(判斷題): 上下文窗口越大,就一定越好嗎?
→ 不一定。窗口大通常更能記住前文,但成本、速度和實作難度也會上升。
常見問題
上下文窗口和記憶力是一樣的嗎?
不一樣,它只是單次可讀範圍,不是人類式記憶。
為什麼有些模型能處理長文件,有些不行?
主要差在窗口大小、推理成本和設計策略。
超過窗口的內容會怎樣?
通常會被截掉,模型就看不到了。