iPAS AI 應用規劃師 初級 科目二 生成式 AI 應用與規劃

少樣本學習(Few-shot Learning)的主要特徵是什麼?

原題 30

某市政府環保局想建立一個垃圾分類查詢系統,讓市民輸入物品名稱後自動判斷分類。由於垃圾種類繁多,但每種分類的訓練範例有限,工程師決定採用少樣本學習(Few-shot Learning)技術。下列何者為少樣本學習(Few-shot Learning)的主要特徵?

白話

市政府要建一個垃圾分類查詢系統,讓市民輸入物品名稱就能知道怎麼分類。麻煩的是,每種分類的訓練資料很有限,工程師決定用少樣本學習(Few-shot Learning)來解決這個問題。

問你:Few-shot Learning 的主要特徵是什麼?

點選你的答案。

01 總結

一句話總結

Few-shot Learning 的核心特徵是:給模型少量示例(幾個到幾十個),它就能舉一反三處理新任務,不需要重新蒐集大量標注資料,也不是完全不需要示例。

02 情境

先感受問題:垃圾分類種類太多,每類只有幾筆資料怎麼辦?

假設你在「台南市環保局」幫忙建垃圾分類 AI 系統。台南市把垃圾分成 30 幾個類別:一般垃圾、資源回收(紙、塑膠、金屬、玻璃各別)、廚餘、有害廢棄物、大型家具、電子廢棄物……

問題是:「廢電池」這個分類每個月被問到的次數很少,資料庫裡只有 15 筆歷史查詢紀錄;「廢藥品」更少,只有 8 筆。傳統機器學習需要每個類別至少幾百筆才能訓練,這些類別根本不夠用。

但這些類別偏偏很重要,搞錯了可能造成環境污染。

你需要一種方法:只給幾個示例(「這是廢電池,屬於有害廢棄物」「這是廢油漆,屬於有害廢棄物」),模型就能學會辨認這個類別的其他物品。這就是 Few-shot Learning。

03 對照

傳統方法面對稀少類別的困境

在 Few-shot Learning 之前,工程師面對「每類樣本少」的問題,只有幾個選擇,都不理想:

  1. 蒐集更多資料:雇人去標注更多「廢電池」案例,但現實中這類物品確實少見,蒐集幾百筆要花很多時間
  2. 合併類別:把「廢電池」「廢藥品」「廢油漆」都合成「有害廢棄物」一個大類。但這樣查詢時就無法告訴市民具體要怎麼丟
  3. 規則式系統:手動寫關鍵字規則(「電池」→有害廢棄物)。規則會有漏網之魚(市民可能輸入「AA 電池」「充電電池」「鈕扣電池」,每種要單獨設規則)
  4. 放棄這些稀少類別:只做能收集到足夠資料的類別,其他一律回答「請洽環保局」。服務品質大打折扣
  5. 資料增補(Data Augmentation):用各種方法人工生成更多訓練資料。但對語意複雜的分類效果有限
04 解法

Few-shot Learning 怎麼解

Few-shot Learning 的核心思路是:預訓練好的大型模型已經有豐富的語言理解能力,只需要幾個示例就能「快速領悟」新任務的模式。

在垃圾分類系統中,Few-shot Learning 的實際運作方式有兩種:

方式一:提示詞示例(In-context Learning)。在每次查詢時,把幾個示例放進提示詞:「廢電池 → 有害廢棄物;廢藥品 → 有害廢棄物;廢油漆 → 有害廢棄物;請問:舊溫度計屬於?」模型看到示例就能類推。

方式二:小樣本微調(Few-shot Fine-tuning)。用幾十筆示例對預訓練模型做輕量級微調,讓它專注學習這個分類任務的模式,不需要從頭訓練。

台南市環保局用 Few-shot Learning,只需要每個類別 5-20 個示例,就能讓系統識別出「舊溫度計、廢針筒、過期農藥」都屬於有害廢棄物,準確率大幅提升。

這就是選項 B 講的:透過少量任務示例,引導模型適應新情境或新分類需求

技術版:Few-shot Learning 的類型與適用場景

Few-shot Learning 是元學習(Meta-learning)領域的重要技術,其核心思想是「學習如何學習」:模型不只學習特定任務,更學習從少量示例中快速適應新任務的能力。

Few-shot 的三個層次:Zero-shot(零示例,完全依賴預訓練知識)、One-shot(一個示例)、Few-shot(幾個到幾十個示例)。相對地,傳統監督學習需要幾千到幾萬筆資料。

在 LLM 中的 Few-shot 實作:大型語言模型(如 GPT-4)具有強大的 In-context Learning 能力,把幾個示例放進提示詞就能引導模型執行新任務,不需要重新訓練模型參數。這是 Few-shot Learning 在生成式 AI 應用中最常見的形式。

Few-shot 的適用條件:需要底層模型有足夠強的預訓練能力(如大型語言模型、CLIP);示例要有代表性(選錯示例會引導模型往錯方向走);任務複雜度不能太高(過於複雜的任務還是需要更多訓練資料)。

為什麼出題者要考這題:Few-shot Learning 在 2023 年後因 GPT-4 等模型的崛起而變得非常實用,規劃師必須知道它解決的是「每類樣本少」的問題,並能區分它和 Zero-shot(完全不需示例)的差別。

05 陷阱

為什麼其他選項是錯的

A需重新蒐集大規模標注資料,以確保模型具備穩定表現

字面在說什麼

要讓模型表現好,就要蒐集大量有標籤的資料重新訓練。

為什麼不對

這說的是「傳統監督學習」的做法,也正是 Few-shot Learning 想要解決的問題。Few-shot 的核心特徵就是「不需要大量資料」,只用少量示例就能運作。A 和 Few-shot 的精神完全相反。

誰會選錯

對 Few-shot Learning 沒有概念,以為「好的 AI 一定要大量資料」的人。

C不需任何範例輸入,即可完成新任務推論

字面在說什麼

完全不給任何示例,模型也能做新任務。

為什麼不對

這說的是 Zero-shot Learning,不是 Few-shot Learning。「Few」的意思就是「幾個」,需要幾個示例。完全不需要示例是 Zero-shot 的特徵。兩個概念很像但不同,考試常考這個區分。

誰會選錯

把 Few-shot 和 Zero-shot 混在一起,或者認為「少量示例」等於「不需要示例」的人。

D僅適用於自然語言處理任務,對其他模態效果有限

字面在說什麼

Few-shot Learning 只在 NLP 領域有效,圖片、聲音等任務效果不好。

為什麼不對

這是錯誤的。Few-shot Learning 在電腦視覺(如 CLIP 模型辨識新類別)、語音辨識、甚至機器人控制等領域都有廣泛應用。Few-shot 是一個跨模態的技術概念,不限於 NLP。

誰會選錯

接觸 Few-shot 的場景主要是 GPT 的提示詞工程,因此誤以為這個技術只屬於語言領域的人。

06 變形

同個考點下次怎麼變形

變形 1

Zero-shot、One-shot、Few-shot Learning 三者最核心的差別是什麼?

直覺

名字差不多,數字不同,實際上差在哪?

答案

差別在給模型的示例數量:Zero-shot 完全不給示例(靠預訓練知識推論);One-shot 給一個示例;Few-shot 給幾個到幾十個示例。示例越多,模型對新任務的理解通常越準確,但 Few-shot 的優勢正是少量示例就夠用。

變形 2

在 GPT 這類語言模型的提示詞中做 Few-shot,跟傳統 Fine-tuning 的 Few-shot 有什麼差別?

直覺

兩個都叫 Few-shot,但感覺做法不一樣。

答案

提示詞 Few-shot(In-context Learning):示例放在對話提示詞裡,不修改模型參數,每次推論都要帶著示例,適合快速實驗;Fine-tuning Few-shot:用少量示例真正更新模型權重,一次調整後推論時不需要帶示例,效率更高但需要訓練資源。

變形 3

選擇 Few-shot 的示例時,什麼樣的示例品質最重要?

直覺

示例不就是隨便給幾個嗎?

答案

示例品質關鍵在三點:代表性(示例要涵蓋這個類別的典型特徵,而非邊緣案例);多樣性(多個示例應該展示不同的面向,不要全部相似);格式一致(輸入輸出格式要和實際查詢一致,避免模型混淆)。

變形 4

垃圾分類系統加了新類別「廢棄太陽能板」,用 Few-shot Learning 只需要幾個示例就能讓系統學會,為什麼傳統機器學習做不到這件事?

直覺

傳統機器學習加新類別很難嗎?

答案

傳統機器學習的分類模型學到的是「在所有已知類別中找到邊界」,加一個新類別需要重新訓練整個模型,而且新類別要有足夠資料。Few-shot Learning 建立在預訓練模型的廣泛知識上,「廢棄太陽能板」的概念已存在於模型知識中,幾個示例只是告訴模型「這個概念在我們系統裡屬於這個分類」。

變形 5

Few-shot Learning 最不適合什麼樣的任務類型?

直覺

Few-shot 這麼好用,有什麼場景不適合嗎?

答案

三類不適合的場景:需要高精確度、低容錯的任務(如醫療診斷,幾個示例的模型不夠可靠);需要精確數字計算的任務(語言模型的數學能力靠示例引導效果有限);大量長尾分類且分類差異細微的任務(幾個示例難以完整描述細微差別)。這些場景仍需要大量標注資料的傳統方法。

07 延伸

想再往下看,這 5 個

  • 少樣本學習(Few-shot Learning)只需少量示例就能讓模型適應新任務的學習方法,利用預訓練模型的廣泛知識進行快速遷移,是解決稀少類別問題的重要技術
  • 零樣本學習(Zero-shot Learning)完全不提供示例,模型純靠預訓練知識和任務描述就能完成新任務的能力,大型語言模型是目前 Zero-shot 能力最強的系統
  • 上下文學習(In-context Learning)透過在提示詞中放入示例來引導語言模型行為,不修改模型參數,是 GPT 系列模型 Few-shot 應用的主要方式
  • 元學習(Meta-learning)「學習如何學習」的機器學習方法,訓練模型快速適應新任務的能力,Few-shot Learning 是其重要應用方向
  • 資料增補(Data Augmentation)用技術手段從現有少量資料生成更多訓練資料的方法,包含文字改寫、同義詞替換、回譯等,常與 Few-shot Learning 搭配使用以提升效果
出處

iPAS 經濟部產業人才能力鑑定 ・ 115 年第一次 iPAS AI 應用規劃師 初級 科目二 生成式 AI 應用與規劃 第 30 題

查看官方原文 PDF