TF-IDF 在長文本上為什麼會判斷失準？

1. TF（詞頻）：「這個詞在這篇文章裡有多頻繁？」
2. IDF（逆文件頻率）：「這個詞在所有文章裡有多罕見？」（罕見 = 重要）
3. TF × IDF：在「這篇文章裡頻繁」且「在所有文章裡罕見」的詞，分數最高
4. 長文章問題：所有詞的出現次數都增加，但 TF 公式有分母（總詞數）理論上自動平衡，但常見詞累積效應仍然比關鍵詞更大

TF（Term Frequency，詞頻）

衡量一個詞在「這篇文章裡」有多常出現。除以總詞數是為了讓不同長度的文章可以比較。

IDF（Inverse Document Frequency，逆文件頻率）

衡量一個詞在「所有文章裡」有多罕見。「的」出現在每篇文章，IDF 接近 0；「理賠糾紛」只在少數文章出現，IDF 很高。

log

取對數是為了壓縮極端值。沒有 log 的話，「出現在 1 篇 vs 出現在 100 篇」的 IDF 差距會太誇張。

df_t

Document Frequency of term t。包含詞 t 的文件數量。df_t 越大，代表這個詞越「普通」，IDF 越低。

用數字說明長文本問題。假設兩篇文章都說到「理賠」3 次：

# 短文（100 字）
TF("理賠", 短文) = 3 / 100 = 0.030

# 長文（1000 字）
TF("理賠", 長文) = 3 / 1000 = 0.003  # 低了 10 倍

# 功能詞「的」在長文出現 100 次
TF("的", 長文) = 100 / 1000 = 0.100  # 是「理賠」的 33 倍！

# 假設 IDF("的") = 0.01（超低，每篇都有）
# 假設 IDF("理賠") = 3.0（高，只在投訴裡出現）

TF_IDF("的", 長文)    = 0.100 × 0.01 = 0.001
TF_IDF("理賠", 長文)  = 0.003 × 3.0  = 0.009
# 「理賠」還是贏，但差距被大幅壓縮了
# 加上其他高頻詞的干擾，整體排名就會偏掉

用 scikit-learn 計算 TF-IDF 的示範：

from sklearn.feature_extraction.text import TfidfVectorizer

docs = [
    "牛排非常好吃份量足服務也很熱情",  # 短評
    "這家餐廳的牛排真的讓我印象深刻牛排的熟度剛剛好牛排的醬汁也很棒牛排真的值得再來"  # 長評
]
vectorizer = TfidfVectorizer()
tfidf_matrix = vectorizer.fit_transform(docs)

# 查看各詞的 TF-IDF 分數
import pandas as pd
df = pd.DataFrame(
    tfidf_matrix.toarray(),
    columns=vectorizer.get_feature_names_out()
)
print(df[["牛排", "好吃", "印象"]].round(3))

蓋住公式，說出 TF-IDF 長文本失準的機制：

1. TF = 詞出現次數 / 文件總詞數
2. 文章越長，分母（總詞數）越大
3. 常見詞（的、了）在長文章裡出現次數暴增，TF 值依然很高
4. IDF 壓制不夠用，常見詞的最終 TF-IDF 分數過高，關鍵詞排名受影響