電商客服 AI 需要即時促銷資訊又要品牌語氣,哪種策略最合理?
某電商平台導入生成式 AI 客服助理,用於自動回覆顧客詢問。營運需求包含:需即時反映每日更新的促銷活動與商品資訊,同時維持品牌一致的回覆語氣,且企業希望避免因模型重新訓練所造成的成本增加與系統不穩定。在此情境下,下列哪一種技術策略最合理?
一家電商平台導入生成式 AI 客服助理,要求能即時反映每日更新的促銷活動與商品資訊,同時維持品牌一致的回覆語氣,且企業希望避免因模型重新訓練造成的成本增加與系統不穩定。
問你:同時滿足「即時資訊更新」「固定品牌語氣」「避免重新訓練模型」,最合理的技術策略是哪一種?
一句話總結
面對「每日更新的即時資訊 + 固定品牌語氣 + 不重新訓練模型」這三個需求,最合理的方案是用 Prompt Engineering 控制語氣風格(寫死在系統提示詞,不需訓練),搭配 RAG 把最新促銷資訊即時引入(每天更新資料庫,不需重訓模型)。
先感受問題:客服 AI 的兩個互相拉扯的需求
「快購電商」的技術主管阿明,負責導入 AI 客服系統。系統每天要回答幾千個顧客問題,其中最麻煩的是:
需求一:即時性。每天都有新促銷(今天買一送一、明天打 85 折、後天某商品限時搶購),客服 AI 必須知道今天的最新活動,才能正確回答「這個商品有活動嗎?」
需求二:語氣一致。品牌風格要親切、正式,不能出現「親親」「嗨嗨」這類口語,也不能太冷漠。這個語氣要所有回覆都一致。
需求三:不重新訓練模型。Fine-tuning 一次要跑好幾個小時、成本高,而且每次訓練完模型行為都可能有些微變化(系統不穩定)。每天更新活動就每天訓練一次,根本不可行。
阿明需要的方案:一個「語氣固定、資訊即時、不重訓模型」的架構。
各種單一方案為什麼都不夠?
- 只做 Fine-tuning:把品牌語氣和促銷內容都訓練進模型,但促銷天天變,天天重訓是不可能的。即使做一次,下次活動更新後模型就過時了
- 只做 RAG:促銷資訊可以即時更新,但 RAG 只負責把資料引入,不負責語氣風格。模型不知道要用什麼語氣回覆,語氣會不一致
- 只用提示詞(Prompt Engineering):能控制語氣,但提示詞放不下所有每日更新的促銷明細,超過 Context Window 就失效
- 增量 Fine-tuning:每天做一次增量訓練,資源消耗仍然很大,且每次訓練都可能帶來輕微的模型行為漂移,系統穩定性難以保證
- 核心缺口:語氣控制和即時資訊是兩個不同層面的問題,需要兩種工具分別處理
Prompt Engineering + RAG 組合怎麼解
Prompt Engineering 解決語氣問題:在系統提示詞(System Prompt)裡設定固定的語氣指令,例如「你是快購電商的客服助理,請用親切、正式的語氣回覆,不使用縮寫和網路流行語,每句話結尾要感謝顧客」。這個提示詞一旦設定好,所有對話都會遵守,不需要重新訓練模型。語氣永遠一致。
RAG 解決即時資訊問題:每天把最新的促銷活動和商品資訊更新進向量資料庫,當顧客問「今天有什麼活動?」,系統從向量庫找出最新相關資訊,把這些資訊夾帶在提示詞裡傳給模型,模型根據這些即時資料回覆。不需要重新訓練模型,資訊更新直接改向量庫就好。
兩者組合:Prompt Engineering 管語氣(固定)、RAG 管資訊(即時)、模型本身不需要重新訓練。三個需求全部滿足。
這就是選項 C 描述的:透過 Prompt Engineering 控制回覆風格,並以 RAG 引入最新商品與活動資訊。
技術版:三種技術各自的責任分工
這道題很好地展示了三種技術在企業 AI 應用中的分工:
- Fine-tuning(微調):負責「讓模型學習特定能力或風格」,把知識燒進模型本身。適合固定的領域知識、特定的輸出格式、專業術語理解。不適合頻繁更新的資訊(每次更新需重新訓練)。
- RAG(檢索增強生成):負責「讓模型取用即時外部資料」,不改變模型本身,只在每次對話時動態引入最新資訊。適合頻繁更新的資料(促銷、新聞、文件庫)。
- Prompt Engineering:負責「在每次對話中引導模型的行為和輸出格式」,透過設計系統提示詞控制語氣、格式、限制行為。適合需要固定輸出風格或行為約束的場景。
三者的組合策略:企業 AI 應用通常不是單用一種,而是根據需求組合:Fine-tuning(領域知識)+ Prompt Engineering(風格控制)+ RAG(即時資訊)是最常見的完整組合。這道題的情境不需要 Fine-tuning,所以只用 Prompt Engineering + RAG 就夠了。
為什麼出題者要考這題:AI 規劃師需要能清楚分析業務需求,並為每個需求選對對應的技術工具,而不是用一個工具硬做所有事。
為什麼其他選項是錯的
A僅進行 Fine-tuning,使模型同時學習品牌語氣與即時促銷內容
只做一次 Fine-tuning,把語氣風格和所有促銷資訊都訓練進模型。
題目明確說要避免「重新訓練造成的成本增加與系統不穩定」。Fine-tuning 訓練一次就夠了語氣,但促銷每天變,每天都要重新訓練,成本極高。而且 Fine-tuning 把資訊燒進模型,促銷過期後模型還記得舊的,可能給顧客錯誤資訊。
以為 Fine-tuning 一次就能解決所有問題的人。Fine-tuning 適合固定知識,不適合每日變動的資訊。
B僅導入 RAG 更新促銷資訊,期望模型直接從檢索內容學習品牌語氣
只用 RAG 更新資訊,期待模型能從檢索到的促銷文件中學到語氣風格。
RAG 引入的是「資料內容」,不是「語氣指令」。模型看到促銷文件後,不會自動知道要用什麼品牌語氣回覆。語氣控制需要明確的提示詞引導,不能靠 RAG 的資料文件「教」。這個選項沒有解決語氣一致性的問題。
以為 RAG 可以解決所有問題的人。RAG 很強,但它只能提供資訊,不能控制語氣。語氣控制需要 Prompt Engineering。
D持續進行增量 Fine-tuning,以確保活動資訊同步更新
每隔一段時間做增量訓練,把新的促銷資訊加入模型訓練資料,保持資訊更新。
增量 Fine-tuning 仍然是「重新訓練模型」的一種形式,題目明確要避免因訓練造成的成本增加和系統不穩定。每次增量訓練都有人力、算力成本,且可能引起模型行為漂移(Catastrophic Forgetting 問題)。RAG 不訓練模型,直接更新資料庫,比增量訓練高效得多。
認為「增量訓練」比「整個重訓」好所以選 D 的人。增量訓練確實成本較低,但跟 RAG 相比仍然太重。而且增量訓練無法解決語氣問題,需要搭配其他方案。
同個考點下次怎麼變形
什麼情況下應該用 Fine-tuning 而不是 RAG 來更新模型知識?
Fine-tuning 和 RAG 都能讓模型「知道更多」,什麼時候選哪個?
Fine-tuning 適合:固定的領域知識、特定的輸出格式、需要模型改變「行為方式」(如語氣、格式習慣)、資訊更新頻率低。RAG 適合:頻繁更新的資訊、私有文件庫、需要即時反映最新資料、不想重新訓練模型。
System Prompt(系統提示詞)在語氣控制上的作用是什麼?
提示詞不是使用者寫的嗎?System Prompt 是什麼?
System Prompt 是開發者設定的背景指令,在每次對話開始時傳給模型,使用者看不到。它用來設定模型的角色(你是什麼助理)、行為限制(不要討論什麼主題)、輸出格式(用什麼語氣)。用它控制語氣不需要訓練模型,修改 System Prompt 就能即時改變行為。
RAG + Prompt Engineering 組合,哪個部分需要定期維護?
這個組合上線後可以完全不管嗎?
RAG 的向量資料庫需要定期更新(新增或刪除過期資訊),促銷活動結束後要從資料庫移除,避免模型給出過期資訊。Prompt Engineering 相對穩定,但品牌語氣如果有調整,System Prompt 也要更新。模型本身不需要重新訓練。
如果電商平台還需要 AI 能回答非常專業的技術類產品問題(如電器規格),應該加什麼?
RAG + Prompt Engineering 加上技術規格問答,還需要什麼嗎?
可以把技術規格文件放進 RAG 的向量資料庫,讓模型查閱。如果產品線非常複雜、術語極為專業,可以考慮對語言模型做 Fine-tuning 讓它更熟悉領域術語。促銷資訊用 RAG(即時更新)、語氣用 Prompt Engineering(固定)、領域知識用 Fine-tuning(一次訓練),三者各司其職。
Catastrophic Forgetting(災難性遺忘)是什麼?為什麼它讓增量 Fine-tuning 有風險?
增量訓練不是把新知識加進去就好嗎?
神經網路在學習新任務時,常常會「忘記」之前學到的知識,這現象叫災難性遺忘(Catastrophic Forgetting)。每次增量訓練加入新促銷資訊,模型可能略微遺忘之前學到的語氣或其他知識,導致系統行為不穩定,這正是題目說要避免的「系統不穩定」問題。RAG 完全不改變模型,所以沒有這個問題。
想再往下看,這 5 個
- 檢索增強生成(Retrieval-Augmented Generation)從外部向量資料庫即時檢索資訊注入提示詞,讓模型回覆每日更新的促銷資料,本題正解的即時資訊元件
- 提示工程(Prompt Engineering)透過 System Prompt 設定固定語氣與品牌風格,不需重新訓練模型,本題正解的語氣控制元件
- 微調(Fine-tuning)本題刻意排除的技術路線,因為促銷資訊每日更新,無法承擔重複訓練的成本與系統不穩定風險
- 系統提示詞(System Prompt)每次對話開始前由開發者設定的背景指令,用於定義語氣規範與品牌風格,是本題 Prompt Engineering 的具體實現工具
- 向量資料庫(Vector Database)RAG 架構的核心儲存元件,將促銷活動文字轉為向量索引,每天更新後即可讓模型即時取用最新資訊